Steve Gotlieb은 여러 산업 분야에 걸쳐 소프트웨어 제품을 제공하는 다국적 소프트웨어 기업인 Autodesk의 데이터 엔지니어링 및 시각화 부문 선임 관리자입니다. 그는 북미와 싱가포르의 글로벌 데이터 엔지니어링 및 플랫폼 팀을 관리하고 있습니다. 그의 팀은 데이터 기반 솔루션을 지원하는 강력하고 안정적인 데이터 플랫폼을 위해 재사용 가능한 구성 요소를 구축하는 데 중점을 두고 있습니다.

Steve는 자체 데이터 활용 접근 방식을 촉진하고 조직 전체에서 원활한 데이터 통합 및 활용을 가능하게 하는 데이터 메시 개념을 지원하기 위해 데이터 품질을 핵심 플랫폼 구성 요소로 강조하며 팀을 이끌고 있습니다.

Steve의 팀과 Autodesk의 다른 데이터 엔지니어링 팀이 반복적으로 직면한 한 가지 중요한 과제는 데이터 문제가 발생했을 때 너무 늦게 문제를 인식하는 경우가 많다는 것입니다. Steve의 팀은 데이터 누락, 지연되거나 오래된 데이터, null 값이 있는 잘못된 데이터 등의 문제를 해결하기 위해 사후 대응적으로 접근할 수밖에 없었습니다.

팀에서 데이터 문제를 인지할 무렵에는 이미 문제가 발생한 지 한 달 이상이 지나 회사의 귀중한 시간과 리소스가 소모되기 일쑤였습니다.

"이전에 맞춤형 데이터 품질 관리(DQM) 시스템이 있었지만 수동적이고 확장할 수 없는 솔루션이었습니다." Steve는 이렇게 설명합니다. "DQM 시스템은 쿼리 실행을 통해 실행 횟수를 모니터링했지만 데이터 품질 문제를 사전에 탐지하지는 못했습니다. 데이터 문제에 대한 알림은 일관되지 않고 지연되었으며, 명확한 소유권 없이 이메일이나 Slack 메시지를 통해 도착하는 경우가 많았습니다."

Steve와 그의 팀은 사전 예방적인 기능이 강화된 접근 방식의 필요성을 인식하고 데이터 관측성 솔루션을 평가하기 시작했습니다. Monte Carlo Data 및 Datafold를 비롯한 다양한 옵션을 살펴보았지만, IBM® Databand 관측성 소프트웨어가 단연 돋보였습니다. Autodesk의 혁신 문화에 힘입어 혁신 스프린트를 구성하여 여러 부서의 팀을 한데 모아 잠재적인 솔루션을 살펴보고 소개했습니다. Autodesk의 수석 데이터 엔지니어인 Preeti Taneja는 이 평가에서 중추적인 역할을 했습니다. Taneja의 팀이 Databand를 통해 어떻게 데이터 품질 프로세스를 혁신할 수 있는지 증명하는 데 주어진 시간은 단 일주일에 불과했습니다.

이들은 Databand가 소스 시스템의 변경 사항을 탐지하고 워크플로우 오류 발생 시 실시간 알림을 제공할 수 있는지 평가했습니다. 결과는 놀라웠습니다. Databand와 Autodesk의 최신 데이터 스택(예: Apache Airflow, dbt, Spark 및 Snowflake)이 원활하게 통합되고 즉각적인 알림을 제공하는 것은 강한 인상을 남겼습니다.

"Databand를 최신 데이터 스택과 손쉽게 통합하여 즉시 가치를 실현할 수 있었습니다." Preeti는 이와 같이 설명합니다. "즉각적인 알림을 받기 시작했을 때 Databand의 사전 예방적 데이터 품질 기능을 실감하고 놀라지 않을 수 없었습니다."

내부 평가 결과 Databand가 확실한 승자로 떠올랐고, 팀은 이 솔루션의 구현을 추진하기 시작했습니다.

Steve의 팀은 매일 Databand를 사용하여 다음과 같이 다양한 사용 사례에서 데이터 인시던트를 모니터링합니다.

• 일괄 처리 모니터링: Databand는 생산 일괄 처리를 모니터링하는 데 광범위하게 사용됩니다. 1,000개 이상의 DAG가 Databand로 모니터링됩니다.
  
  
• 인라인 테스트: Databand의 인라인 테스트 기능을 사용하여 데이터 품질 문제를 실시간으로 탐지하며 이 기능은 데이터 무결성을 유지하는 데 중요한 역할을 합니다.
  
  
• 데이터 제품 지원: Databand는 Autodesk 고객에게 인사이트와 제품 내 메시징을 제공하는 파이프라인을 지원합니다.
  
  
• 머신 러닝(ML) 및 AI 파이프라인 모니터링: Databand는 또한 ML 및 AI 팀을 지원하는 파이프라인을 모니터링하여 데이터 처리의 모든 단계에서 데이터 품질을 유지하는 데 기여합니다.