데이터 제품이란 무엇인가요?

데이터 제품은 제품 중심적 사고와 전통적인 제품 개발 원칙을 적용하여 개발됩니다. 이러한 접근 방식은 사용자 요구 사항을 이해하고, 고부가가치 기능의 우선순위를 정하며, 피드백을 기반으로 반복 개발하는 과정을 포함합니다. 궁극적으로 데이터를 특정 사용자 문제를 해결하기 위한 제품으로 취급합니다. 

데이터 제품은 검색 가능하고, 상호 운용 가능하며, 실행 가능하도록 구축됩니다. 비즈니스 사용자와 데이터 분석가부터 데이터 과학자, 데이터 관리자 및 엔지니어에 이르기까지 모든 사람이 기업 내에 갇힌 데이터에서 의미 있는 가치를 추출할 수 있습니다. 

데이터 제품이라는 개념은 2019년 IT 컨설팅 회사 ThoughtWorks의 기술 책임자인 Zhamak Dehghani가 데이터 메시 아키텍처의 핵심 구성 요소로 데이터 제품을 소개하면서 주목받기 시작했습니다. 데이터 메시는 특정 비즈니스 도메인(예: 마케팅, 영업, 고객 서비스)별로 데이터를 조직화하여 해당 데이터 세트 생산자에게 더 많은 소유권을 제공하는 탈중앙화된 데이터 아키텍처입니다.

데이터 제품이 효과적으로 작동하려면 다음과 같은 몇 가지 주요 특성을 보여야 합니다.

McKinsey에 따르면, 데이터 기반 기업은 고객 확보 가능성이 23배, 수익성 가능성이 19배 더 높습니다. 그러나 데이터 기반 의사 결정에 대한 수요가 증가하고 있음에도 불구하고 많은 조직은 데이터 거버넌스 프레임워크가 충분하지 않아 데이터 사일로, 공급업체 종속, 규정 준수 위험과 같은 장애물에 계속 직면하고 있습니다.

이러한 문제를 해결하기 위해 일부 조직은 데이터를 운영의 부산물이 아닌 관리되고 소비 가능한 자산으로 간주하는 Data-as-a-Product 접근 방식을 채택하고 있습니다.

Data-as-a-Product 방법론은 데이터를 비즈니스 의사결정에 활용하고 사용자 경험을 향상시키기 위해 데이터를 구조화하고 관리하는 데 중점을 둡니다. 이러한 기반 위에서 데이터 제품은 구조화된 셀프 서비스형 데이터 관리 방식을 제공하여 기술 팀에 대한 의존도를 줄이고 실시간 의사 결정을 지원합니다. 

데이터 제품에 투자하는 조직은 데이터 접근성, 상호 운용성, 데이터 스토리지 및 거버넌스를 개선할 수 있습니다. 업계를 불문하고 데이터 제품은 자동화를 강화하고, 데이터 기반 의사 결정을 지원하며, 기업이 데이터 전략을 장기 비즈니스 목표와 일치시키는 데 기여할 수 있습니다. 조직은 강력한 데이터 플랫폼, 머신 러닝 모델 및 시각화 툴을 활용하여 팀이 데이터를 극대화할 수 있도록 역량을 강화할 수 있습니다. 

데이터 제품은 종종 조직 내 다양한 역할을 강화하여 이러한 이점을 달성합니다. 

• 데이터 과학자와 AI 엔지니어는 데이터와 관련 항목에 더 빠르게 액세스하여 AI 및 ML 솔루션의 개발과 배포를 가속화합니다. 

• 데이터 엔지니어는 자동화된 테스트, 배포 및 데이터 큐레이션의 이점을 활용하여 파이프라인이 데이터 제품 계약에 명시된 데이터 품질 표준 및 서비스 수준 계약을 충족하는지 확인할 수 있습니다. 

• 데이터 분석가와 소비자는 도메인별 요구 사항에 부합하는 적시성 있고 신뢰할 수 있는 데이터를 수신하며, 중앙 IT 팀에 의존하지 않고도 신속하게 업데이트할 수 있습니다. 

• 데이터 관리자는 데이터 계약을 통해 강력한 거버넌스와 규정 준수를 유지할 수 있으며, 명확한 가이드라인을 설정하여 데이터를 보호하고 보안을 유지합니다. 

조직이 데이터를 관리하는 방식은 수동적이고 자산 기반(Asset-based)이었던 접근 방식에서 능동적이고 제품 중심(Product-driven)의 전략으로 진화하고 있습니다.

기존에는 기업들이 데이터를 주로 수집하고 저장해야 하는 대상으로 취급해왔습니다. 이러한 접근 방식은 데이터를 중앙 데이터 웨어하우스 또는 소스 시스템에 저장하고, 재무, 마케팅 등 주제 영역별로 조직화하며, 중앙화된 팀에 소유권을 부여합니다. 성공 여부는 종종 저장된 테라바이트 단위의 데이터 양으로 측정되며, 단순히 데이터를 더 많이 보유하면 직원들이 이를 사용할 것이라는 기대가 존재합니다. 

그러나 메타데이터는 일반적으로 IT 부서에서 정의하며, 데이터 소비자에게는 비즈니스 친화적이지 않은 경우가 많습니다. 그 결과, 데이터 자산에 대한 많은 노력은 비즈니스 문제를 해결하기 위해 데이터를 선제적으로 사용하는 대신 발생한 일을 되돌아보는 설명 분석 및 보고를 중심으로 이루어집니다. 

반면, data as a product 관점은 저장에서 활용 및 가치 창출로 초점을 이동시킵니다. 데이터 제품은 데이터 제품 라이프사이클을 거치며 설계, 테스트, 반복 개발되며, 이는 애자일 또는 DataOps 방법론을 따르는 소프트웨어 제품과 유사합니다.

소유권은 도메인별로 구성되며(예: 마케팅 전문가가 관리하는 마케팅 데이터 제품), 이를 통해 데이터의 적합성과 품질을 유지할 수 있습니다. 또한 데이터는 비즈니스에서 주도하는 풍부한 메타데이터를 사용하여 특정 소비 요구 사항에 맞게 선별됩니다. 이를 통해 비즈니스 사용자가 데이터 제품을 쉽게 검색하고 이해할 수 있습니다.

데이터 소유자는 데이터 제품에 대한 책임을 지므로 최종 사용자와의 피드백 루프를 통해 제품 사용, 품질 및 제품에서 파생되는 가치를 지속적으로 모니터링합니다.  

성공은 단순히 얼마나 많은 테라바이트가 저장되었는지가 아니라 데이터가 의사 결정을 개선하고, 수익을 창출하고, 비용을 절감하는 방법에 따라 측정됩니다. 결과적으로 데이터 제품 이니셔티브는 예측 및 처방 모델링과 같은 고급 분석을 통해 비즈니스 문제를 해결할 수 있습니다. 

잘 구성된 데이터 제품은 조직의 에코시스템 내에서 기능성과 사용성을 구현하는 여러 구성 요소로 구성됩니다. 

• 데이터 소스: 데이터베이스, 데이터 웨어하우스, 데이터 레이크, 데이터 레이크하우스 또는 실시간 데이터 스트림을 포함하는 데이터의 출처입니다. 

• 데이터 파이프라인: 데이터를 분석에  적합한 구조화된 형식으로 수집, 정리,변환 및 로드하는 자동화된 워크플로입니다.

• 데이터 모델 및 스키마: 데이터 조직을 표준화하여 접근성과 의미론적 일관성을 향상시키는 정의된 구조입니다. 이러한 경우 쿼리와 변환을 위해 SQL을 사용하는 경우가 많습니다. 

• 인터페이스 및 API: 비즈니스 애플리케이션 및 앱과의 통합을 촉진하는 메커니즘으로, 원활하고 안전한 데이터 액세스를 보장합니다. 

• 시각화 및 대시보드: 대화형 보고서 또는 분석 디스플레이를 통해 인사이트를 제공하여 데이터 해석을 지원하는 사용자 친화적인 도구입니다. 

• ML 모델: 데이터 내 패턴을 분석하는 예측 알고리즘으로, 고급 컴퓨팅을 통해 정보 기반 의사 결정을 지원합니다. 

• 보안 및 거버넌스 제어: 데이터 거버넌스 규정 준수를 보장하고, 데이터 리니지를 추적하고, 액세스 제어를 관리하여 데이터 무결성과 보안을 유지하는 정책 및 조치입니다. 

데이터 제품은 데이터의 품질과 정제 수준에 따라 분류할 수 있습니다. 데이터 제품 유형에는 다음이 포함됩니다. 

구조화된 제품 관리 라이프사이클에 따라 데이터 팀은 지속적으로 가치가 있고 확장 가능한 그리고 변화하는 비즈니스 요구 사항에 맞게 조정되는 데이터 제품을 구축할 수 있습니다. 

​데이터 제품 라이프사이클의 주요 단계는 다음과 같습니다. 

1. 정의: 비즈니스 목표, 사용 사례, 설계 사양 및 데이터 계약을 정의합니다. 여기에는 조건, 약관 및 서비스 수준 계약과 같은 속성이 포함됩니다. 
   
   
2. 개발: 테이블, 뷰, 모델, 파일 및 대시보드와 같은 데이터 제품 구성 요소를 구축합니다. 그런 다음 데이터 계약에 대해 테스트합니다. 
   
   
3. 패키지: 데이터 제품 구성 요소를 재사용 가능한 패키지로 선별하고, 데이터 카탈로그 또는 기타 데이터 스토리지 툴 내에서 쉽게 검색할 수 있도록 비즈니스 및 기술 메타데이터로 보강합니다.
   
   
4. 관리: 데이터 계약에 따라 데이터 제품의 액세스 권한을 관리합니다. 
   
   
5. 게시: 검색을 위해 데이터 제품을 포털에 게시합니다.  
   
   
6. 소비: 조직 전반의 소비자가 다양한 과제를 해결하기 위해 데이터 제품에 쉽게 액세스할 수 있도록 합니다. 향후 반복을 위한 개선 사항에 대한 소비자 피드백을 수집합니다.​ 
   
   
7. 모니터링 및 반복: 사용량, 품질 및 접근성 모니터링과 같은 지속적인 활동을 수행합니다. 게시된 데이터 제품의 버전 변경에 대한 릴리스 관리를 구현합니다.​​ 
   
   
8. 폐기: 사용 부족이나 규정 준수 부족 등의 이유로 데이터 제품을 폐기합니다. 제품을 사용 중단하고, 소비자에게 알리고, 제품을 보관하고, 리소스를 정리하세요. 

여러 업계의 조직이 데이터 제품을 사용하여 비즈니스 가치를 창출하고 전략적 이니셔티브를 지원하며 중요한 비즈니스 문제를 해결합니다.  

데이터 제품의 실제 예는 다음과 같습니다.

• 한 대형 국립은행은 여러 채널에서 실시간 신용 위험 점수부터 AI 챗봇에 이르기까지 60개의 다양한 사용 사례를 지원하는 단일 고객 데이터 제품을 구현했습니다. 그 결과, 이 은행은 연간 6천만 달러의 추가 수익을 올리고 4천만 달러의 손실을 방지할 수 있었습니다. 
  
  
• 한 소비재(CPG) 기업은 데이터 제품을 도입하여 데이터 활용을 간소화하고 효율성과 확장성을 개선했습니다. 50개 이상의 교차 기능 팀을 배치하여 데이터 기반 솔루션을 구현함으로써 2년 동안 EBITDA를 18% 증가시켰습니다.

데이터 제품을 성공적으로 개발하려면 데이터 소비 이해, 데이터 상호 작용 매핑, 시장 가치 테스트, 확장을 위한 반복 작업을 포함하는 전략적 접근이 필요합니다. 

데이터 제품을 만드는 첫 번째 단계는 조직 내에서 현재 데이터 소비를 분석하는 것입니다. 이 단계에는 대상 사용자를 식별하고, 사용자가 소비하는 데이터를 이해하고, 해당 데이터가 사용자에게 중요한 이유를 이해하는 작업이 포함됩니다.  

볼륨, 빈도, 민감도 및 유형 측면에서 데이터 사용량을 검토하면 어떤 데이터 세트가 가장 가치가 있는지에 대한 인사이트를 얻을 수 있습니다. 영향력이 큰 사용자 그룹을 우선순위에 두면 조직은 초기 노력을 비즈니스 임팩트가 가장 클 가능성이 높은 영역에 집중하도록 할 수 있습니다. 

데이터 소비 패턴이 명확해지면 다음 단계는 데이터 여정을 매핑하는 것입니다. 실제 데이터 상호 작용에 대한 상세 맵을 만들면 다양한 시스템과 팀 간의 데이터 흐름을 시각화하는 데 도움이 됩니다.  

이러한 맵은 데이터 제품에 대한 새로운 수익 창출 사용 사례를 브레인스토밍하기 위한 기초 역할을 할 수 있습니다. 데이터 제품이 비즈니스 프로세스를 어떻게 개선할 수 있는지에 대한 가설을 세우면 조직이 원시 데이터를 의미 있고 실행 가능한 인사이트로 전환하는 방법을 모색하는 데 도움이 될 수 있습니다. 

검증된 인사이트를 확보한 후 다음 단계는 반복하고 확장하는 것입니다. 조직은 중앙 IT 팀에만 의존하는 대신, 비즈니스 도메인과 팀이 데이터 제품을 개선하고 향상할 수 있도록 권한을 부여하여 민첩성과 혁신을 촉진할 수 있습니다. 개선이 이루어지면 프로젝트를 더 많은 팀과 도메인으로 확장하여 데이터 제품이 효과적으로 확장되고 비즈니스 가치를 지속적으로 창출할 수 있도록 할 수 있습니다.