데이터에서 가치를 창출하려면 데이터의 위치와 관계없이 적절한 데이터를 적시에 제공하는 것이 중요하다는 것을 데이터 리더로서 잘 알고 계실 겁니다. 이러한 능력은 데이터 전략의 일부로 최신 데이터 아키텍처를 구축하는 데 달려 있습니다.
목적에 맞는 데이터 아키텍처는 비즈니스 요구 사항을 데이터 및 시스템 요구 사항으로 변환하고, 조직 전체의 데이터 보호 및 흐름을 관리합니다. 모든 경우에 적용되는 공식이 아니라는 점을 기억하세요. 이 프레임워크는 비즈니스 요구 사항에 따라 추진되어야 하고, 단기적 및 장기적 목표를 지원해야 합니다. IBM 전문가 연구소의 데이터 엘리트 아키텍트인 Paul Christensen은 "구조화된 단일 저장 데이터 아키텍처의 시대는 지났습니다."라고 말합니다. "오늘날의 비즈니스는 이동 중이거나 저장된 데이터, 다양한 형태의 데이터, 다양한 수준의 품질과 신뢰도를 가진 데이터에 의해 주도되고 있습니다."
온프레미스와 클라우드에 데이터가 그 어느 때보다 많이 분산되어 있는 만큼, 데이터 아키텍처 솔루션은 비즈니스의 특수한 요구 사항을 충족하고, 데이터 분석을 적용하며, 데이터와 AI를 규모에 맞게 사용하는 데 꼭 필요합니다. 오늘날 대부분의 조직에서 현대적인 데이터 아키텍처는 단순한 선택이 아니라 시급히 필요한 요소입니다.
적합한 기술을 선택하기 위한 전문적인 요구 사항을 어떻게 찾고 결정할 수 있을까요? 데이터 토폴로지는 실제 시나리오를 분류하고 관리하여 데이터의 사용자, 용도, 제약 조건, 흐름을 고려하고 향후 요구 사항에 대해 우수한 탄력성을 갖춘 최신 데이터 아키텍처를 구축하는 데 도움이 됩니다.
클라우드 현대화의 부상이 반드시 복잡성이나 비용을 줄이거나, 데이터 사일로를 제거하거나, 거버넌스 및 규정 준수를 관리하는 것은 아닙니다. 사실 연구에 따르면 데이터의 68%가 사용되지 않고 있습니다.¹
데이터 패브릭은 데이터 접근을 간소화하고 셀프서비스 데이터 소비를 촉진하여 더 나은 의사 결정을 내릴 수 있는 아키텍처 접근 방식입니다. 데이터 패브릭은 조직 내에서 필요한 데이터 흐름, 프로세스 및 해당 데이터의 소비자를 지원하기 위한 적절한 제어 기능을 포함합니다. 이 최신 데이터 아키텍처는 지능적이고 자동화된 기능을 통해 다양한 데이터 파이프라인과 클라우드 환경의 엔드투엔드 통합을 원활하게 지원합니다.
데이터 패브릭은 '데이터를 설명하는 데이터'라고도 하는 페더레이션된 활성 메타데이터를 기반으로 합니다. 데이터베이스 또는 데이터 소스 및 대상도 핵심 구성 요소입니다. 이러한 소스는 트랜잭션, 운영 또는 하이브리드 트랜잭션 및 분석 처리, AI, 비즈니스 인텔리전스, 보고 또는 고급 분석 등 필요한 모든 워크로드를 지원할 역량을 바탕으로 선택해야 합니다.
"고객은 최대 9개의 서로 다른 데이터베이스 유형과 각 데이터베이스의 여러 인스턴스를 갖고 있을 수 있습니다. 데이터 패브릭은 고객이 관리하려는 데이터 사일로와 데이터 파편화에 질서를 부여합니다."라고 IBM의 데이터베이스 포트폴리오 제품 리더인 Edward Calvesbert가 설명합니다.
데이터 패브릭은 가상화 계층을 통해 기존 시스템, 데이터베이스, 데이터 레이크, 데이터 웨어하우스, 인메모리 리포지토리 등 여러 소스의 실시간 데이터를 통합합니다. 이러한 소스는 트랜잭션, 운영 또는 분석 워크로드를 실행하고 정형 및 비정형 데이터 유형을 저장할 수 있습니다. 이 오케스트레이션을 통해 데이터 환경의 모든 지점에서 도달할 수 있는 중앙 집중형 구조를 구현하게 됩니다.
이와 같은 엔드투엔드 기능을 갖춘 데이터 패브릭은 다양한 소스의 데이터를 성공적으로 결합, 액세스 및 관리할 수 있도록 지원하여 비즈니스 사용자, 데이터 과학자, 데이터 엔지니어 및 데이터 분석가가 데이터를 활용할 수 있습니다. 또한 AI 애플리케이션의 연료가 되는 관리형 데이터 세트를 제공하여 AI와 같은 영역에서 대규모 혁신을 가능하게 만듭니다.
지금까지 데이터 패브릭에 대해 알아보았습니다. 그렇다면 데이터 기반 아키텍처에서 회사 전반의 데이터 사용을 간소화하는 또 다른 접근 방식인 데이터 메시는 무엇일까요?
데이터 패브릭과 데이터 메시는 모두 데이터 아키텍처의 개념입니다. 각 솔루션은 사용 사례 중심으로 설계되어 데이터 확산, 데이터 거버넌스 및 데이터 가용성 문제를 해결하고자 합니다. 데이터 패브릭과 데이터 메시 접근 방식은 모두 지속적인 데이터 검색과 셀프서비스 데이터 지식 카탈로그를 활용합니다. 좋은 소식은 이러한 데이터 아키텍처 개념이 상호 보완적이라는 점입니다.
그렇다면 차이점은 무엇일까요? 데이터 메시 아키텍처는 기술 독립적인 도메인별 아키텍처로서 분석 사용 사례를 위해 설계됩니다. 이에 비해 데이터 패브릭 아키텍처는 운영 및 분석 사용 사례에 모두 사용할 수 있게 설계되었습니다. 데이터 패브릭은 모든 데이터 자산에 대한 통합된 뷰를 제공하지만, 실제 데이터 스토리지는 분산형, 중앙 집중형 또는 이 두 가지가 혼합된 형태일 수 있습니다. 마찬가지로 데이터 패브릭 아키텍처는 연합형에서 분산형에 이르기까지 다양한 조직 구조를 지원합니다. 마지막으로, 데이터 패브릭 아키텍처는 인공 지능과 머신 러닝 기술을 사용하여 데이터 디스커버리, 데이터 분류 및 정책 시행을 자동화합니다.
1 데이터에 대한 재고: 더 많은 비즈니스 데이터의 활용 – 엣지에서 클라우드까지(PDF, ibm.com 외부 링크), Seagate Technology, 2020년 7월.
2 데이터 무결성 동향: 2021년의 최고 데이터 책임자 관점(ibm.com 외부 링크). Corinium, 2021년 6월 18일.