데이터 패브릭이란 무엇인가요?

지난 10년 동안 하이브리드 클라우드, 인공 지능, 사물인터넷(IoT), 엣지 컴퓨팅의 발전은 빅데이터의 기하급수적인 성장을 이끌었습니다. 이러한 급증으로 인해 방대한 양의 데이터가 서로 다른 사업부에 흩어져 있는 등 점점 더 복잡해지는 데이터 환경이 만들어졌습니다.

IBM 기업가치연구소(IBV)의 2025년 연구에 따르면 CEO의 50%가 최근 투자 속도 때문에 조직의 기술 연결이 단절되었다고 답했습니다.  결과적으로 데이터 통합 및 거버넌스는 데이터 사일로, 보안 위험, 의사 결정 병목 현상과 같은 문제를 극복하는 데 매우 중요해졌습니다.

데이터 패브릭은 머신 러닝(ML), 활성 메타데이터, 애플리케이션 프로그래밍 인터페이스 (API) 및 기타 기술로 지원되는 통합된 엔드 투 엔드 데이터 관리 기능을 제공합니다.

이것은 단순한 소프트웨어가 아니라, 조직의 온프레미스 및 멀티클라우드 환경 전반에 걸쳐 데이터 레이크, 데이터 웨어하우스, SQL 데이터베이스 및 기타 소스에 존재하는 데이터를 통합된 관점에서 바라볼 수 있게 해주는 설계 접근 방식입니다. 이 접근 방식을 사용하면 조직은 분산된 데이터를 하나의 위치나 데이터 저장소로 이동시킬 필요도 없고, 완전히 분산된 방식만을 고수할 필요도 없습니다.

이러한 핵심 기능은 데이터 사일로와 증가하는 데이터 볼륨을 해결할 뿐만 아니라 비즈니스 사용자를 위한 간단한 셀프 서비스 데이터 접근을 가능하게 합니다. 그 결과, 실시간 데이터와 고품질의 과거 데이터로 구성된 네트워크가 형성되어, 전사적으로 디지털 전환 및 비즈니스 인텔리전스(BI) 이니셔티브를 가속화합니다. 동시에 자동화된 거버넌스는 안전하고 규정을 준수하는 데이터 전략을 보장합니다.

많은 조직이 정형, 반정형 및 비정형 데이터의 폭발적인 증가로 인해 기존의 데이터 관리 방식에 어려움을 겪고 있습니다. 이러한 문제는 데이터 웨어하우스, 데이터 레이크, 하이브리드 클라우드 환경의 확산으로 인해 더욱 심화되고 있습니다.

이러한 스토리지 시스템은 일반적으로 대용량 데이터를 위한 저렴한 솔루션으로 활용됩니다. 그러나 적절한 메타데이터 관리가 제대로 이루어지지 않아 데이터를 효과적으로 찾고 해석하고 사용하기가 어려운 경우가 많습니다.

사일로화된 데이터는 이러한 복잡성을 가중시킵니다. 역사적으로 기업은 HR, 공급망 및 고객 정보를 위한 별도의 데이터 플랫폼을 보유하고 있었으며, 중복되는 데이터 유형과 요구 사항에도 불구하고 각각 독립적으로 운영되었습니다.

이러한 문제로 인해 다크 데이터, 즉 방치되고 신뢰할 수 없는 정보로 간주되어 결국 사용되지 않는 정보가 방대하게 쌓이게 됩니다. 실제로 기업 데이터의 약 60%가 분석되지 않은 상태로 남아 있습니다.¹

기업은 이러한 문제를 해결하기 위해 데이터 패브릭을 사용합니다. 최신 아키텍처는 데이터를 통합하고, 거버넌스를 자동화하며, 대규모 데이터 접근을 가능하게 합니다. 서로 다른 시스템에 분산된 데이터를 연결함으로써, 데이터 패브릭은 의사결정자들이 이전에는 보이지 않았던 연관성을 발견하고, 기존에는 활용되지 않았을 데이터를 통해 더 가치 있는 비즈니스 성과를 도출할 수 있도록 합니다.

데이터 민주화와 의사 결정 향상이라는 이점 외에도, 데이터 패브릭 솔루션은 이제 엔터프라이즈 AI 워크플로우에 필수적인 요소로 자리 잡고 있습니다. IBM IBV의 2024년 연구에 따르면 CFO의 67%가 최고 경영진이 신기술을 빠르게 활용하는 데 필요한 데이터를 보유하고 있다고 답했습니다. 그러나 기술 리더의 29%만이 데이터가 생성형 AI를 효율적으로 확장하는 데 필요한 품질, 접근성, 보안을 갖추고 있다는 데 동의한다고 답했습니다.

조직은 데이터 패브릭을 사용하여 거버넌스 및 개인정보 보호 요구 사항이 자동으로 적용되어 AI 시스템에 데이터를 전달할 수 있는 신뢰할 수 있는 데이터 인프라를 보다 쉽게 구축할 수 있습니다.

• 데이터 카탈로그
• 데이터 통합
• 데이터 거버넌스 및 보안
• 셀프 서비스 데이터 액세스
• 통합된 라이프사이클

데이터 패브릭 아키텍처는 데이터 자산의 세부적인 라이브러리인 데이터 카탈로그를 활용합니다. 이러한 카탈로그는 지식 그래프, 시맨틱, AI를 활용하는 액티브 메타데이터를 사용하여 데이터 자산을 실시간으로 구성함으로써, 사용자가 자신의 사용 사례에 적합한 데이터를 빠르고 쉽게 찾을 수 있도록 도와줍니다. 이 메타데이터는 또한 분류 체계, 소유권 및 활동 정보, 연관된 자산 등을 통해 서로 다른 데이터에 대한 공통된 비즈니스 이해를 제공합니다.

데이터 패브릭에서는 데이터 통합 프로세스를 통해 서로 다른 데이터 소스의 데이터를 통합하고, 일관된 구조로 변환한 뒤, 데이터 분석 및 의사 결정에 활용할 수 있도록 제공합니다. 이 연결은 배치 처리, 실시간 데이터 통합, 변경 데이터 캡처(CDC)와 같은 다양한 통합 방식으로 이루어집니다. 스마트한 통합 프로세스를 통해 스토리지 비용을 최소화하면서 성능을 극대화할 수 있습니다.

데이터 패브릭은 데이터 거버넌스 및 데이터 보안 정책을 대규모로 생성하고 적용할 수 있는 통합된 방식을 제공합니다. 예를 들어, 사용자 그룹이나 데이터 분류와 같은 메타데이터를 통해 민감한 데이터에 대한 접근 제어를 쉽게 자동으로 연결할 수 있습니다. 데이터 패브릭은 신뢰할 수 있고 보호된 비즈니스용 데이터를 통해 조직이 AI를 운영할 수 있도록 지원합니다.

데이터 패브릭은 데이터 소비를 위한 마켓플레이스 역할을 합니다. 데이터 프로파일링 및 메타데이터 관리와 같은 주요 거버넌스 기능을 통해 데이터 엔지니어, 데이터 과학자 및 비즈니스 사용자가 고품질 데이터를 신속하게 검색, 액세스, 협업할 수 있도록 지원합니다. 사용자는 데이터 자산을 검색하고, 태그를 지정하고, 주석을 달고, 댓글을 추가할 수 있습니다. 따라서 IT 부서에 대한 의존도가 크게 줄어듭니다.

데이터 패브릭은 데이터 패브릭 수명 주기 전반에 걸친 엔드 투 엔드 관리 기능도 포함합니다. 이 접근 방식은 머신 러닝 운영(MLOps)과 AI를 활용함으로써 데이터 파이프라인과 같은 데이터 패브릭 아키텍처의 다양한 구성 요소를 구성, 구축, 테스트, 배포, 최적화 및 모니터링하는 데 있어 통합된 경험을 제공합니다.

데이터 메시는 특정 비즈니스 도메인(예: 마케팅, 영업 또는 고객 서비스)별로 데이터를 구성하여 특정 데이터 세트의 생산자에게 더 많은 소유권을 제공하는 분산형 데이터 아키텍처입니다.

데이터 패브릭은 데이터 메시와 공존하며, 종종 데이터 메시의 기능을 향상시킵니다. 데이터 제품 생성 및 글로벌 거버넌스 시행과 같은 데이터 메시의 주요 구성 요소를 자동화할 수 있습니다.

데이터 레이크하우스는 기존 데이터 관리 플랫폼의 단점을 해결하기 위해 등장했습니다. 이는 데이터 레이크의 유연한 데이터 저장 기능과 데이터 웨어하우스의 고성능 분석 기능을 결합합니다.

데이터 패브릭은 데이터 레이크하우스 및 기타 데이터 플랫폼의 진화에서 다음 단계로 간주될 수 있습니다. 조직은 이를 사용하여 데이터 관리를 간소화하고 레이크하우스 데이터에 대한 액세스를 개선합니다. 데이터 공유를 촉진하고, 데이터 통합 및 거버넌스를 자동화하고, 셀프서비스 데이터 소비를 지원하는 데 도움이 되며, 이는 스토리지 리포지토리만으로는 제공할 수 없는 기능입니다.

개별 데이터 저장 시스템과는 달리, 데이터 패브릭은 데이터 환경 전반에 걸쳐 유연성을 제공할 수 있어, 새로운 데이터가 지속적으로 쌓일수록 데이터를 이동하기 어려워진다는 ‘데이터 중력’ 문제를 완화할 수 있습니다. 데이터 패브릭은 데이터 이동, 변환 및 통합에 필요한 기술적 복잡성을 제거하여 기업 전체에서 모든 데이터를 사용할 수 있도록 합니다.

그렇다면 데이터 패브릭은 어떻게 이를 달성할 수 있을까요?

데이터 패브릭은 다양한 데이터 서비스를 사용합니다. 작동 방식을 이해하려면 데이터 가상화, 페더레이션된 활성 메타데이터 및 머신 러닝이라는 세 가지 기본 구성 요소를 살펴보는 것이 도움이 됩니다.

데이터 가상화는 데이터를 물리적으로 이동하지 않고도 데이터에 액세스할 수 있습니다. 기존의 ETL(추출, 변환, 로드) 프로세스를 사용하는 대신, 데이터 가상화 툴은 다양한 소스에 직접 연결하여 필요한 메타데이터만 통합합니다. 그런 다음 사용자가 마치 중앙 저장소에 있는 것처럼 실시간으로 데이터를 검색하고 액세스할 수 있는 가상 데이터 계층을 생성합니다.

페더레이션된 활성 메타데이터를 사용하면 데이터를 더 쉽게 검색하고 사용할 수 있습니다. 정적이고 수동으로 관리되는 기존의 패시브 메타데이터와 달리, 페더레이션된 액티브 메타데이터는 지식 그래프와 AI/ML 기술을 활용하여 메타데이터를 지속적으로 분석하고, 패턴을 감지하며, 다양한 시스템과 형식 전반에 걸쳐 데이터를 통합합니다.

이러한 시스템은 자동으로 데이터에 태그를 지정하고, 프로파일링하고, 분류할 수 있습니다. 또한 메타데이터 변경 사항을 기반으로 경고 또는 작업을 트리거하여 데이터 에코시스템을 더 탄력적이고 자율적으로 관리할 수 있도록 합니다.

머신 러닝은 데이터 패브릭 내에서 중요한 프로세스를 자동화하여 고급 지능형 데이터 아키텍처로 만듭니다. ML을 사용하여 거버넌스 정책을 자동으로 시행하고, 실시간 인사이트를 생성하고, 보안 취약점을 감지하고, 데이터 리니지를 추적하고, 데이터 품질 문제를 수정하는 등의 작업을 수행할 수 있습니다.

데이터 패브릭 아키텍처는 비즈니스 요구 사항에 따라 다르지만 공통된 기능을 공유합니다. Forrester의 Enterprise Data Fabric Enables DataOps 보고서에 따르면 데이터 패브릭은 일반적으로 여섯 가지 기본 구성 요소로 구성됩니다.²

1. 데이터 관리: 이 계층은 데이터 거버넌스, 보안 및 품질을 담당합니다.
   
   
2. 데이터 수집: 이 계층은 다양한 소스(온프레미스 및 클라우드 데이터 모두)의 데이터를 패브릭으로 결합합니다.
   
   
3. 데이터 처리: 이 계층은 데이터를 변환, 통합, 정리하여 회사 전반의 팀이 사용할 수 있도록 합니다.
   
   
4. 데이터 오케스트레이션: 이 계층은 다양한 데이터 시스템에서 데이터의 이동을 관리하여 사용할 수 있도록 합니다.
   
   
5. 데이터 디스커버리: 이 계층에서는 데이터 카탈로그 및 메타데이터 관리를 사용하여 사용자가 데이터를 쉽게 찾고 이해할 수 있도록 지원합니다.
   
   
6. 데이터 접근: 이 계층은 대시보드 및 기타 데이터 시각화 툴을 통한 데이터 소비를 용이하게 하고 올바른 권한을 보장합니다.

데이터 패브릭은 전반적인 데이터 관리 및 액세스를 개선할 뿐만 아니라 다음과 같은 비즈니스 이점도 제공합니다.

• 효율성 향상
• 데이터 민주화
• 위험 완화
• 확장성 및 민첩성