제품형 데이터(DaaP)란 무엇인가요?

제품형 데이터라는 개념은 데이터 자산의 잠재력을 최대한 활용하고자 하는 조직에게 인기 있는 데이터 전략으로 부상했습니다.

DaaP는 원시 데이터를 구조화되고 접근 가능하며 가치 있는 제품으로 전환합니다. 이러한 전환을 통해 조직은 문서, 데이터 세트 및 디지털 기록으로 구성된 수십 년에 걸쳐 축적된 데이터를 전략적 의사 결정 및 고객 참여에 중요한 인사이트의 풍부한 저장소로 볼 수 있습니다.

데이터의 잠재력은 종종 사일로 내에 가려져 있어 접근이 어렵고 활용도가 떨어집니다. DaaP의 출현과 함께 이러한 문제가 해결되었으며, 이는 접근성, 거버넌스 및 유용성을 강조하는 데이터 관리에 대한 체계적인 접근 방식을 지원합니다. 이 방법론은 다른 소비자 제품과 마찬가지로 데이터도 고객, 직원, 파트너 등 사용자의 특정 요구 사항을 충족하도록 세심하게 관리하고 구성해야 한다는 원칙에 뿌리를 두고 있습니다.

DaaP와 데이터 제품은 서로 관련되어 있지만 데이터 관리 내에서 서로 다른 목적을 수행합니다.

DaaP는 특히 데이터 메시 원칙의 맥락에서 데이터 관리를 위한 전체적인 방법론으로, 데이터를 조직 내외부의 다양한 사용자에게 제공할 수 있는 시장성 있는 제품으로 취급하도록 설계되었습니다. DaaP에는 코드, 해당 데이터 및 메타데이터, 그리고 이를 실행하는 데 필요한 모든 인프라가 포함되어 있습니다.

소매 회사를 위해 설계된 고객 인사이트 플랫폼은 DaaP의 좋은 예입니다. 이 플랫폼은 매장 내 구매, 온라인 쇼핑 행동, 고객 서비스 상호 작용 및 소셜 미디어 참여와 같은 여러 접점에서 고객 데이터를 집계하여 각 고객의 선호도, 행동 및 구매 패턴에 대한 포괄적인 보기를 생성합니다.

반면, 데이터 제품은 데이터를 활용하여 분석 대시보드 및 예측 모델과 같은 실행 가능한 인사이트와 솔루션을 제공하는 데 중점을 둡니다. 특정 문제를 해결하고, 정교한 데이터 처리 기술의 지원을 받으며, 제품 관리자, 데이터 과학자 및 최종 사용자를 포함한 광범위한 대상을 수용합니다. 데이터 제품의 예로는 비즈니스 분석 대시보드, 챗봇 또는 Amazon에서 쇼핑할 때 볼 수 있는 것과 같은 추천 시스템 등이 있습니다.

두 개념 모두 데이터 관리 및 거버넌스라는 공통된 기반을 두고 있으며, 궁극적인 목표는 데이터의 내재적 가치를 극대화하는 것입니다.

기업이 비즈니스 인사이트를 생성하고 의사 결정을 자동화하는 데 데이터를 광범위하게 액세스하고 사용할 수 있도록 하기 위해 고급 데이터 스토리지 기술에 투자하기 시작하면서 솔루션이 의도한 대로 확장되지 않아 데이터 엔지니어는 다양한 문제에 직면했습니다. 데이터가 오류로 가득 차 있고, 불완전하며, 의미 없거나 진실하지 않은 경우가 많았고,이 데이터를 생성한 소스 도메인에 대한 이해가 거의 없었기 때문에 엔지니어는 모르거나 이해하지 못한 것을 수정하는 데 어려움을 겪었습니다.

데이터 엔지니어들은 최신 분산 아키텍처 설계에 대한 접근 방식을 바꿔야 할 필요성을 인식했습니다. 이들은 지원하고자 하는 특정 비즈니스 도메인을 중심으로 아키텍처를 구성하는 새로운 방법론을 채택하는 것이 중요하다는 것을 깨달았습니다. 이 접근 방식은 기능적이고 사용자 친화적인 셀프 서비스 데이터 인프라를 개발하기 위해 제품 사고를 통합합니다.¹

제품 사고는 제품의 기능 그 이상으로, 사용자의 공감을 얻고 시장에서 돋보일 수 있는 의미 있는 솔루션을 만드는 것입니다. 이는 아이디어 구상부터 출시, 반복에 이르기까지 제품 개발 프로세스의 모든 단계에 영향을 미치는 철학입니다. 엔지니어들은 데이터를 제품으로 취급함으로써 조직 내에서 데이터의 사용과 가치를 크게 향상시킬 수 있다는 것을 깨달았습니다.

조직이 데이터 세트를 제품으로 취급하는 접근 방식을 채택함에 따라 특정 비즈니스 영역 내에 조직 전체에서 데이터 관리 및 배포를 담당할 도메인 팀이 구성되었습니다. 이는 데이터의 주요 소비자, 즉 데이터 과학자와 엔지니어의 사용자 경험에 더 중점을 두기 위함입니다.

이러한 도메인 팀은 API(애플리케이션 프로그래밍 인터페이스)를 통해 데이터를 공유하며, 여기에는 포괄적인 문서, 견고한 테스트 환경, 명확한 성과 지표가 함께 제공됩니다.

성공적인 DaaP는 다음 요구 사항을 충족해야 합니다.

1. 쉽게 검색 가능
2. 주소 지정 가능
3. 신뢰성
4. 잘 문서화됨
5. 다른 데이터 제품과 연동 가능
6. 보안

즉, DaaS 방법론에서 데이터는 찾기 쉽고, 신뢰할 수 있고, 표현하는 내용이 명확해야 하며, 다른 데이터와 통합할 수 있어야 하며, 무단 액세스로부터 보호되어야 합니다.

DaaP는 항공 여행과 같고 모든 데이터는 항공 여행자와 같아서 조직과 사용자는 모든 데이터 포인트가 어디에서 왔는지, 어떤 변화를 겪었고 어디로 향할 것인지 알아야 합니다. 이를 데이터 리니지라고 하며 DaaP를 효과적으로 도입하는 데 중요한 요소입니다. 조직은 IBM InfoSphere, AWS Glue 또는 Cloudera Data Hub와 같은 툴을 사용해 메타데이터를 관리하고 데이터 여정을 추적하여 투명성을 보장하고 혼란을 방지할 수 있습니다.

각 여행자는 적절한 심사를 거친 후 비행기에 탑승합니다. 항공사가 비행기가 승객을 수용할 수 있을 만큼 크고 견고해야 하는 것처럼, 조직은 증가하는 데이터 볼륨과 여러 액세스 요청을 수용할 수 있도록 확장 가능한 인프라를 사용해야 합니다. 조직의 특정 비즈니스 요구 사항과 시장 부문에 따라 조직이 선택할 수 있는 다양한 클라우드 기반 플랫폼, 오픈 소스 솔루션 및 상용 플랫폼이 있습니다.

이제 항공편 정보가 필요한데 시스템이 다운되었다고 상상해 보세요. 이로 인해 여행자의 신뢰가 깨지고 항공사는 신뢰할 수 없고 비효율적인 항공사로 간주됩니다. 이것이 바로 DaaP 툴이 지속적으로 서비스를 제공해야 하는 이유입니다. 또한 조직이 데이터 복구 및 중복성에 대한 명확한 계획과 보고서를 제공해야 하는 이유이기도 합니다.

보안 검색대를 거치지 않고는 항공 여행이 불가능한 것처럼 DaaP도 마찬가지입니다. 역할 기반 액세스 제어, 데이터 암호화 및 침입 탐지 시스템과 같은 보안 기능은 민감한 데이터를 보호하고 GDPR 및 HIPAA와 같은 규정을 준수하도록 보장합니다. 데이터 품질 모니터링, 카탈로그 작성 및 변경 관리를 포함한 거버넌스 관행은 조직의 데이터가 신뢰할 수 있고 액세스 가능하도록 보장합니다.

DaaP의 핵심은 데이터 세트의 세심한 오케스트레이션에 있습니다. 이러한 데이터 세트는 대규모 데이터 파이프라인의 설계, 구성 및 관리와 관련된 데이터 엔지니어링 관행에 의해 선별됩니다. 이러한 파이프라인은 엔드투엔드 프로세스를 통해 데이터 소스에서 데이터를 전송하여 원시 데이터를 데이터 웨어하우스 또는 데이터 레이크에 저장된 구조화된 고품질 정보로 변환합니다. 데이터 플랫폼은 이러한 운영의 기반으로, 데이터 팀이 데이터 분석 및 데이터 과학 작업을 효율적으로 수행하는 데 필요한 인프라와 툴을 제공합니다.

데이터 모델과 스키마는 데이터 웨어하우스 또는 데이터 레이크 내에서 데이터를 구성, 저장 및 연결하는 방법을 정의하기 때문에 이러한 맥락에서 매우 중요합니다. 이를 통해 데이터 소비자, 즉 인사이트를 도출하고 이 데이터를 기반으로 애플리케이션을 구축하는 비즈니스 분석가, 데이터 과학자 및 애플리케이션 개발자가 데이터를 검색, 액세스 및 사용할 수 있도록 보장합니다. SQL(구조화된 쿼리 언어)은 데이터와 상호 작용하는 중추적인 툴로, 데이터 사용자가 특정 요구 사항을 충족하기 위해 데이터 세트를 쿼리, 조작 및 분석할 수 있게 해줍니다.

데이터 팀은 메트릭을 사용하여 데이터 제품의 품질, 성능 및 가치를 평가합니다. 이러한 메트릭은 반복 및 지속적인 개선 프로세스를 안내하여 데이터 소비자의 피드백과 비즈니스 요구 사항의 변화에 따라 데이터 제품이 발전할 수 있도록 합니다.

API는 데이터 제품이 최종 사용자와 애플리케이션에 전달되는 통로입니다. 이러한 솔루션은 액세스를 용이하게 하여 데이터 소비자가 운영 보고부터 고급 머신 러닝 및 인공 지능(AI) 프로젝트에 이르기까지 다양한 사용 사례에서 데이터를 통합하고 사용할 수 있도록 합니다. 이 통합 기능은 DaaP 수명 주기에서 잘 설계된 API 전략의 중요성을 강조하여 데이터에 대한 액세스뿐만 아니라 실행 가능성도 보장합니다.

DaaP 내에 머신 러닝과 AI를 적용하면 기업은 예측 인사이트를 확보하고 의사 결정 프로세스를 자동화할 수 있습니다. 기업은 과거 데이터로 훈련된 머신 러닝 모델을 활용하여 미래 트렌드를 예측하고 운영을 최적화하며 개인화된 고객 경험을 창출할 수 있습니다. 이러한 고급 데이터 사용은 새로운 데이터, 새로운 사용 사례 및 데이터 소비자의 피드백을 기반으로 데이터 제품을 지속적으로 개선하고 향상시키는 DaaP의 반복적인 특성을 보여줍니다.

DaaS는 생성 시점부터 유지 관리, 시간 경과에 따른 진화에 이르기까지 데이터 제품의 라이프사이클을 관리할 수 있도록 지원합니다. 여기에는 계획, 개발, 배포 및 반복을 포함한 일련의 단계가 포함되며, 각 단계에는 데이터 팀, 비즈니스 이해관계자 및 데이터 소비자 간의 긴밀한 협업이 필요합니다. 이러한 라이프사이클 접근 방식을 통해 데이터 제품이 관련성과 가치를 유지하고 비즈니스 목표에 부합하도록 유지할 수 있습니다.

조직 내에서 데이터를 더 유용하게 활용하려면 데이터 세트가 찾기 쉽고 신뢰할 수 있으며 다른 데이터와 잘 작동할 수 있어야 합니다. 조직 내에서 DaaP 데이터를 쉽게 검색하고 주소를 지정할 수 있도록 하는 것은 중앙 집중식 레지스트리 또는 카탈로그의 구현에 달려 있습니다. 이 레지스트리는 소유권, 소스 및 리니지와 같은 메타데이터를 포함하여 사용 가능한 모든 DaaP 데이터를 자세히 설명하여 데이터 소비자, 엔지니어 및 과학자가 관련 데이터 세트를 효율적으로 찾을 수 있도록 해야 합니다.

데이터의 진실성에 대한 서비스 수준 목표(SLO)를 수립하고, 처음부터 엄격한 데이터 정리 및 무결성 테스트를 적용함으로써 조직은 사용자의 데이터에 대한 신뢰를 강화할 수 있습니다. 또한, 데이터는 자체 설명이 가능해야 하며 상호 운용성을 위한 글로벌 표준을 준수하여 다양한 도메인에서 데이터를 통합할 수 있어야 합니다. 데이터 제품 소유자와 엔지니어의 역할은 이 에코시스템에서 매우 중요하며, 이들은 사용자에게 만족을 주고 품질 표준을 충족하기 위해 DaaP 데이터의 라이프사이클 관리를 정의하고 주도합니다. 이러한 접근 방식에는 데이터와 소프트웨어 엔지니어링 기술의 결합이 필요할 뿐만 아니라 기술 환경 내에서 혁신, 기술 공유 및 부서 간 협업 문화를 조성해야 합니다.

DaaS는 기업이 데이터 관리, 선택, 맞춤화 및 제공에 소비자 기반 제품 원칙을 반영하여 모든 데이터를 가치 있는 제품으로 보도록 장려합니다. 이러한 접근 방식은 고객 중심의 툴과 사고방식을 바탕으로 제작자에서 소비자까지 고품질 데이터의 원활한 흐름을 촉진합니다. 데이터를 매장에서 볼 수 있는 상품과 같다고 상상해 보세요. DaaP 방법론에 따라 조직은 데이터를 실제 상품과 마찬가지로 주의 깊게 다루어야 합니다.

즉, 진정으로 유용한 데이터만 수집하고 저장하며, 데이터가 명확하고 체계적이며 사용자 친화적으로 표시되도록 하고, 데이터가 업계 또는 도메인 컨텍스트에 맞는지 확인해야 합니다. 이러한 요소가 갖추어지면 DaaP를 통해 조직 내에서 고품질 데이터를 배포할 수 있습니다. 오일이 처리되어 기계 작동을 돕는 것과 같은 원리입니다.

조직 내에 DaaP 접근법을 적용한다는 것은 이해관계자들의 의견을 일치시키고 정보를 지속적으로 제공한다는 것을 의미하며, 데이터를 고품질 제품으로 취급하고 관리하는 사고방식을 개발하고, 데이터 메시 개념의 주요 원칙 중 하나인 분산형 데이터 아키텍처에 대한 개발 접근 방식인 셀프 서비스 툴을 구축하거나 이에 투자하는 것을 의미합니다.

DaaP를 채택하면 데이터 개인정보 보호 문제, 변화에 대한 조직의 저항, 직원 간의 데이터 이해 능력 향상의 필요성 등 여러 가지 과제가 발생합니다. 이러한 장애물을 극복하려면 전략적 계획, 조직의 동의, 기술 및 인재에 대한 투자가 필요합니다.

다양한 지역과 규칙이 포함된 글로벌 마켓플레이스에서 데이터 개인정보 보호 규정을 탐색하고 준수하는 것은 극복해야 할 가장 큰 과제입니다. 조직은 DaaP 제품이 모든 위치에서 엄격한 규정을 준수하도록 하기 위해 전문 지식과 리소스가 필요합니다.

데이터 유출 사고가 뉴스의 헤드라인을 장식하고 있으며, 소비자들은 조직이 데이터를 어떻게 사용하는지 점점 더 잘 알게 되었습니다. 투명한 데이터 처리 관행과 DaaP 내 데이터 사용에 대한 명확한 문서화를 통해 신뢰를 구축하는 것은 사용자층의 신뢰를 얻는 데 매우 중요합니다. DaaP를 고려하는 모든 조직은 데이터 침해 및 무단 액세스로부터 데이터를 보호하기 위한 강력한 보안 조치가 필요합니다. 여기에는 암호화, 액세스 제어 및 데이터 거버넌스 프레임워크 구현이 포함됩니다.

성공적인 DaaP는 올바른 하드웨어와 소프트웨어를 보유하는 것만이 아닙니다. 항상 그렇듯이 새로운 툴에는 변화에 대한 저항이 따릅니다. 확립된 조직 문화는 DaaP에 의해 도입된 데이터 소유권, 공유 및 접근성의 변화에 저항할 수 있습니다. 효과적인 변화 관리 전략과 명확한 커뮤니케이션은 여러 부서가 통제력이나 경쟁 우위 상실에 대한 두려움 없이 기꺼이 데이터를 공유하고자 하는 의지와 능력을 갖추도록 하는 데 필수적입니다. 협업을 촉진하고 모든 이해관계자에게 DaaP의 이점을 입증하는 것은 매우 중요하며, 혼란과 무대응을 피하기 위해 데이터 거버넌스 및 제품 소유권에 대한 명확한 역할과 책임을 설정해야 합니다.

성공적인 DaaP 이니셔티브를 위한 인간의 도전은 여기서 끝나지 않습니다. DaaP는 조직 전체가 데이터에 관심을 가져야 하므로, 데이터 이해 능력이 부족한 직원과 조직 간에 격차가 발생할 수 있습니다. 다양한 직급의 직원들이 DaaP의 기술 및 비즈니스 가치를 완전히 이해하지 못할 수 있으며, 교육 및 훈련 프로그램은 이러한 격차를 해소하는 데 도움이 될 수 있습니다. 많은 직원이 DaaP 제품에서 인사이트를 분석하고 추출하는 데 어려움을 겪을 수 있지만, 사용자 친화적인 툴과 데이터 해독 능력에 대한 교육을 제공하면 직원들의 역량을 강화할 수 있습니다. 또한 기술팀은 복잡한 데이터 인사이트를 비기술적인 이해관계자를 위해 실행 가능한 정보로 변환해야 합니다.