데이터 품질을 위한 데이터 아키텍처 전략

불량한 데이터 품질은 보다 데이터 중심적이 되고자 하는 조직이 직면한 가장 큰 장벽 중 하나입니다. 시기적절한 비즈니스 결정, 잘못된 비즈니스 프로세스, 수익 기회 상실, 비즈니스 이니셔티브 실패, 복잡한 데이터 시스템은 모두 데이터 품질 문제에서 비롯될 수 있습니다. 이러한 문제 중 하나만 발생해도 조직은 비용을 많이 지불할 수 있습니다. 이 모든 것을 다 처리해야 한다면 엄청난 괴로움을 겪을 수 있습니다.

정확성, 완전성, 일관성 등 기업 데이터의 품질을 결정하는 요소는 여러 가지가 있습니다. 하지만 그에 걸맞은 인정을 받지 못하는 또 다른 데이터 품질 요소가 있습니다. 바로 데이터 아키텍처입니다.

올바른 데이터 아키텍처는 비즈니스 인텔리전스 및 데이터 과학 사용 사례를 위해 데이터를 수집, 전송, 저장, 보호, 사용 및 공유하는 방법을 결정하는 프레임워크를 제공하기 때문에 조직이 데이터 품질을 개선하는 데 도움이 될 수 있습니다.

기업용 데이터 웨어하우스와 비즈니스 인텔리전스 플랫폼으로 대표된 1세대 데이터 아키텍처는 수천 개의 ETL 작업, 테이블, 보고서가 특징이었으며, 이는 소수의 전문 데이터 엔지니어만이 이해한 것으로, 이로 인해 비즈니스에 미흡한 긍정적 영향을 미쳤습니다. 차세대 빅 데이터 플랫폼과 데이터 엔지니어로 구성된 중앙 팀이 운영하는 장기 배치 작업은 종종 데이터 레이크의 늪으로 이어졌습니다.

두 접근 방식 모두 일반적으로 데이터 수집, 처리, 정리, 집계 및 제공과 같은 기계적 기능을 중심으로 구성된 모놀리식 중앙 집중식 아키텍처였습니다. 이로 인해 데이터 환경의 지속적인 변화, 데이터 소스 및 데이터 소비자의 확산, 사용 사례에 필요한 다양한 변환 및 데이터 처리, 변화에 대한 대응 속도 등 여러 차원에 따른 데이터 통합 및 확장을 방해하는 조직적, 기술적 병목 현상이 발생했습니다.

데이터 메시 및 데이터 패브릭과 같은 최신 데이터 아키텍처는 온프레미스, 하이브리드 및 멀티클라우드 환경에서 새로운 데이터 소스를 쉽게 연결하고 사용 사례별 데이터 파이프라인의 개발을 가속화하는 것을 목표로 합니다. 제품 관리로서의 데이터로 발전하는 효과적인 데이터 라이프사이클 관리와 결합된 최신 데이터 아키텍처를 통해 조직은 다음을 수행할 수 있습니다.

• 데이터 관리자가 데이터 규정 준수, 보호 및 보안을 보장하도록 허용
• 데이터의 출처, 데이터의 변경 사항, 데이터 사용자를 파악하여 데이터에 대한 신뢰도 향상
• 소스 가까이에서 데이터 품질 문제를 모니터링하고 식별하여 다운스트림 프로세스 또는 워크로드에 미치는 잠재적 영향을 최소화
• 효과적인 데이터 관리를 위해 데이터 플랫폼과 신기술을 효율적으로 도입
• 검색 및 발견이 가능하도록 메타데이터를 적용하여 기존 데이터와 새로운 데이터를 컨텍스트화
• 데이터 프로파일링 수행(데이터 세트의 요약을 검사, 분석 및 생성하는 프로세스)
• 데이터 중복 및 파편화 감소

데이터 아키텍처는 데이터 자산 및 데이터 관리 리소스의 구조를 결정하므로 조직이 이러한 작업을 얼마나 효과적으로 수행하는지에 중요한 역할을 합니다. 즉, 데이터 아키텍처는 더 높은 데이터 품질을 위한 비즈니스 전략의 기본 요소입니다. 최신 고품질 데이터 품질 관리 솔루션의 핵심 기능을 갖춘 조직은 다음을 수행해야 합니다.

• 메타데이터 및 AI 관련 기술(ibm.com 외부 링크)로 수동 데이터 품질 프로세스를 보강하여 조직 전체에 데이터 거버넌스 적용
  
• 사전 구성된 규칙에 따라 데이터 품질 모니터링 수행
• 데이터 모델링 계보를 구축하여 데이터 품질 문제의 근본 원인 분석 수행
• 데이터 세트의 값을 즉시 이해할 수 있도록 설정
• 인터페이스 전반에서 적절한 데이터 위생 실천

데이터 전략은 데이터 설계자가 데이터 품질을 개선하는 데이터 아키텍처를 만들고 구현하는 데 도움이 될 수 있습니다. 효과적인 데이터 전략을 개발하기 위한 단계는 다음과 같습니다.

예를 들어, 금융 기관은 규정 준수를 개선하고 비용을 절감하며 수익을 늘리기 위해 노력할 수 있습니다. 이해관계자는 특정 데이터 유형에 대한 비즈니스 사용 사례를 식별할 수 있습니다. 예를 들어, 수집된 실시간 데이터에 대해 분석을 실행하여 의사 결정을 자동화하여 비용 절감을 유도할 수 있습니다.

이 단계에는 조직 전체의 모든 데이터를 식별하고 중앙 집중식 또는 통합 인벤토리 목록으로 분류하여 데이터 사일로를 제거하는 작업이 포함됩니다. 목록에는 각 데이터 세트의 위치와 이를 기반으로 하는 애플리케이션 및 사용 사례가 자세히 설명되어 있어야 합니다. 다음으로, 주요 사용 사례에 필요한 데이터를 선택하고 해당 데이터가 포함된 데이터 도메인의 우선 순위를 정합니다.

조직 전체에서 사용되는 데이터에 대한 명명 규칙과 정렬된 데이터 형식(데이터 클래스)은 부서(도메인)와 사용 사례 전반에 걸쳐 데이터 일관성과 상호 운용성을 보장하는 데 도움이 됩니다.

비즈니스 목표 달성을 위해 데이터를 최적화할 수 있는 변경 사항을 결정하세요. 연구를 통해 데이터 패브릭 및 데이터 메시와 같은 다양한 유형의 최신 데이터 아키텍처를 조사하면 비즈니스 요구 사항에 가장 적합한 데이터 구조를 결정하는 데 도움이 될 수 있습니다.

KPI를 생성하고 아키텍처의 성공 척도를 데이터 품질을 얼마나 잘 지원하는지와 연결하는 고급 분석을 사용하세요.

기업은 분기당 3~4개의 데이터 도메인에서 데이터 아키텍처 및 거버넌스를 구현하기 위한 롤아웃 계획을 개발할 수 있습니다.

잘 설계된 데이터 아키텍처는 조직이 데이터를 보고, 사용하고, 논의하는 방식을 구성하는 투명성과 표준화를 통해 데이터 품질의 기반을 만듭니다.

앞서 언급했듯이 데이터 패브릭은 이러한 아키텍처 중 하나입니다. 데이터 패브릭은 데이터 디스커버리, 거버넌스 및 데이터 품질 관리를 자동화하고 하이브리드 클라우드 환경에 분산된 데이터에 대한 데이터 접근을 간소화합니다. 이는 데이터를 생성하고 활용하는 애플리케이션뿐 아니라, 데이터 웨어하우스, 방대한 빅데이터를 저장하는 데이터 레이크, 비정형 데이터를 저장하는 NoSQL 데이터베이스, 그리고 SQL을 사용하는 관계형 데이터베이스와 같은 다양한 데이터 저장소를 모두 포함할 수 있습니다.

데이터 패브릭과 IBM Cloud Pak for Data의 이점에 대해 자세히 알아보세요.