증강 데이터 관리: 데이터 패브릭과 데이터 메시 비교

데이터 패브릭과 데이터 메시는 하이브리드 멀티클라우드 에코시스템에서 엔터프라이즈 데이터를 이해하고, 관리하고, 작업할 때 발생하는 조직의 변화와 복잡성을 해결하기 위해 고안된 새로운 데이터 관리 개념입니다. 좋은 소식은 이 두 가지 데이터 아키텍처 개념이 상호 보완적이라는 점입니다. 하지만 데이터 패브릭과 데이터 메시란 정확히 무엇이며, 엔터프라이즈 데이터를 활용하여 더 나은 의사 결정을 내리기 위해 이러한 데이터 관리 솔루션을 사용하는 방법은 무엇일까요?

Gartner는 데이터 패브릭을 '데이터 및 연결 프로세스의 통합 계층 역할을 하는 설계 개념으로, 데이터 패브릭은 기존의 검색 가능하고 추론 가능한 메타데이터에 대한 지속적인 분석을 활용하여, 하이브리드 및 멀티클라우드 플랫폼을 포함한 모든 환경에서 통합 및 재사용 가능한 데이터 세트의 설계, 배포 및 활용을 지원한다'고 정의합니다. [1]

데이터 패브릭 아키텍처 접근 방식은 조직의 데이터 접근을 간소화하고 셀프서비스 데이터 소비를 용이하게 할 수 있습니다. 이러한 접근 방식은 일반적인 산업 사용 사례에서 데이터 사일로를 해체하여 데이터 거버넌스, 데이터 통합, 단일 고객 뷰, 신뢰할 수 있는 AI 구현을 형성할 새로운 기회를 제공합니다.

데이터 패브릭의 추상화 계층은 고유한 메타데이터 기반이므로, 모든 데이터 소스를 모델링하고 통합하며 쿼리하고, 데이터 파이프라인을 구축하며, 실시간으로 데이터를 통합하는 작업이 더 쉬워집니다. 또한 데이터 패브릭은 머신 러닝을 사용하여 데이터 플랫폼 전반에서 수작업을 자동화하여 데이터 관측성 및 데이터 품질을 개선해 데이터에서 인사이트 도출하는 과정을 간소화합니다. 이를 통해 데이터 소비자의 데이터 엔지니어링 생산성 및 가치 실현 시간이 개선됩니다.

Forrester에 따르면 '데이터 메시는 사용하는 조직 내부 또는 전체의 복잡한 대규모 환경에서 분석 데이터를 공유, 액세스, 관리하기 위한 분산형 사회기술적 접근 방식'입니다. [2]

데이터 메시 아키텍처는 비즈니스 도메인 또는 기능별로 데이터 소스를 데이터 소유자와 일치시키는 접근 방식입니다. 데이터 소유권 탈중앙화를 통해, 데이터 소유자는 각자 영역에 맞는 데이터 제품을 만들 수 있습니다. 즉, 데이터 소비자(데이터 과학자 및 비즈니스 사용자 모두)가 데이터 분석 및 데이터 과학에 이러한 데이터 제품의 조합을 사용할 수 있습니다.

데이터 메시 접근 방식의 가치는 데이터 제품 생성을 데이터 엔지니어에게 의존하여 데이터 제품을 다운스트림으로 정제하고 통합하는 것이 아니라, 비즈니스 도메인을 가장 잘 알고 있는 주제 전문가에게 업스트림으로 전달한다는 것입니다.

또한 데이터 메시는 게시 및 구독 모델을 활성화하고 API를 활용하여 데이터 제품의 재사용을 가속화하므로, 데이터 소비자는 신뢰할 수 있는 업데이트를 포함하여 필요한 데이터 제품을 더 쉽게 얻을 수 있습니다.

데이터 패브릭과 데이터 메시는 공존할 수 있습니다. 실제로 데이터 패브릭을 통해 데이터 메쉬를 구현할 수 있는 세 가지 방법이 있습니다.

1. 데이터 소유자에게 데이터 자산 카탈로그 작성, 자산을 제품으로 변환, 페더레이션 거버넌스 정책 준수와 같은 데이터 제품 생성 기능을 제공합니다.
2. 데이터 소유자와 데이터 소비자가 카탈로그에서 데이터 제품 게시, 데이터 제품 검색 및 찾기, 데이터 가상화를 활용하거나 API를 사용하여 데이터 제품을 쿼리하거나 시각화하는 등 다양한 방식으로 데이터 제품을 사용할 수 있도록 지원합니다.
3. 데이터 패브릭 메타데이터의 인사이트를 사용하여 데이터 제품 생성 프로세스의 일부 또는 데이터 제품 모니터링 프로세스의 일부로 패턴에서 학습하여 작업을 자동화합니다.

 데이터 관리와 관련하여 데이터 패브릭은 데이터 제품을 만들고 데이터 제품의 라이프사이클을 관리하는 데 드는 많은 작업을 자동화하여 데이터 메시를 구현하고 최대한 활용하는 데 필요한 기능을 제공합니다. 데이터 패브릭 기반의 유연성을 활용하면 데이터 메시를 구현하여 데이터가 온프레미스 또는 클라우드 중 어디에 상주하는지와 무관하게 사용 사례 중심 데이터 아키텍처를 계속 활용할 수 있습니다.