사후 대응에서 사전 예방형 데이터 품질로 전환

Steve Gotlieb은 여러 산업 분야에 걸쳐 소프트웨어 제품을 제공하는 다국적 소프트웨어 기업인 Autodesk의 데이터 엔지니어링 및 시각화 부문 선임 관리자입니다. 그는 북미와 싱가포르의 글로벌 데이터 엔지니어링 및 플랫폼 팀을 관리하고 있습니다. 그의 팀은 데이터 기반 솔루션을 지원하는 강력하고 안정적인 데이터 플랫폼을 위해 재사용 가능한 구성 요소를 구축하는 데 중점을 두고 있습니다.

Steve는 자체 데이터 활용 접근 방식을 촉진하고 조직 전체에서 원활한 데이터 통합 및 활용을 가능하게 하는 데이터 메시 개념을 지원하기 위해 데이터 품질을 핵심 플랫폼 구성 요소로 강조하며 팀을 이끌고 있습니다.

Steve의 팀과 Autodesk의 다른 데이터 엔지니어링 팀이 반복적으로 직면한 한 가지 중요한 과제는 데이터 문제가 발생했을 때 너무 늦게 문제를 인식하는 경우가 많다는 것입니다. Steve의 팀은 데이터 누락, 지연되거나 오래된 데이터, null 값이 있는 잘못된 데이터 등의 문제를 해결하기 위해 사후 대응적으로 접근할 수밖에 없었습니다.

팀에서 데이터 문제를 인지할 무렵에는 이미 문제가 발생한 지 한 달 이상이 지나 회사의 귀중한 시간과 리소스가 소모되기 일쑤였습니다.

"이전에 맞춤형 데이터 품질 관리(DQM) 시스템이 있었지만 수동적이고 확장할 수 없는 솔루션이었습니다." Steve는 이렇게 설명합니다. "DQM 시스템은 쿼리 실행을 통해 실행 횟수를 모니터링했지만 데이터 품질 문제를 사전에 탐지하지는 못했습니다. 데이터 문제에 대한 알림은 일관되지 않고 지연되었으며, 명확한 소유권 없이 이메일이나 Slack 메시지를 통해 도착하는 경우가 많았습니다."

Steve와 그의 팀은 사전 예방적인 기능이 강화된 접근 방식의 필요성을 인식하고 데이터 관측성 솔루션을 평가하기 시작했습니다. Monte Carlo Data와 Datafold를 포함한 다양한 옵션을 검토했지만, IBM watsonx.data integration(이전 Databand) 소프트웨어의 데이터 관측 가능성 기능이 특히 두드러졌습니다. Autodesk의 혁신 문화에 힘입어 혁신 스프린트를 구성하여 여러 부서의 팀을 한데 모아 잠재적인 솔루션을 살펴보고 소개했습니다. Autodesk의 수석 데이터 엔지니어인 Preeti Taneja는 이 평가에서 중추적인 역할을 했습니다. 그녀의 팀은 단 1주일 동안 데이터 관측 가능성이 데이터 품질 프로세스를 어떻게 변화시킬 수 있는지를 입증해야 했습니다.

IBM watsonx.data integration(이전 Databand)이 소스 시스템의 변화를 감지하고 워크플로 실패 시 실시간 알림을 제공할 수 있는지 평가했습니다. 결과는 놀라웠습니다. Apache Airflow, dbt, Spark, Snowflake와 같은 Autodesk의 현대적인 데이터 스택과의 원활한 통합과 즉각적인 알림 제공 기능이 강한 인상을 남겼습니다.

“현대적인 데이터 스택과의 손쉬운 통합 덕분에 즉시 가치를 확인할 수 있었습니다.”라고 Preeti는 말합니다. “즉각적인 알림을 받기 시작했을 때, 이는 선제적인 데이터 품질 관리 기능의 진가를 실감하는 순간이었습니다.”

내부 평가 이후 IBM watsonx.data integration(이전 Databand)은 명확한 선택지로 선정되었고, 팀은 해당 솔루션 도입을 추진하게 되었습니다.

Steve의 팀은 다양한 활용 사례 전반에서 데이터 사고를 모니터링하기 위해 IBM watsonx.data integration(이전 Databand)을 매일 사용하고 있으며, 주요 사례는 다음과 같습니다.

• 탐지 시간 단축: 몇 주, 며칠이 걸리던 탐지 시간이 0으로 단축됩니다.
  
  
• 배치 처리 모니터링: 1,000개 이상의 DAG를 적극적으로 모니터링합니다.
  
  
• 인라인 테스트: 팀은 인라인 테스트 기능을 활용해 데이터 품질 문제를 실시간으로 감지하며, 이는 데이터 무결성을 유지하는 데 매우 중요합니다.
  
  
• 데이터 제품 지원: Autodesk 고객에게 분석 정보와 제품 내 메시지를 제공하는 파이프라인을 지원합니다.
  
  
• 머신러닝(ML) 및 AI 파이프라인 모니터링: ML 및 AI 팀을 지원하는 파이프라인을 모니터링해 데이터 처리 전 과정에서 데이터 품질이 유지되도록 지원합니다.