从被动反应到主动提高数据质量

Steve Gotlieb 是 Autodesk 的数据工程和可视化高级经理，Autodesk 是一家跨国软件公司，为多个行业提供软件产品。他负责管理北美和新加坡的全球数据工程和平台团队。他的团队专注于构建可重用的组件，以帮助创建支持数据驱动型解决方案的强大而可靠的数据平台。

在他的领导下，Steve 开始倡导数据质量作为核心平台组件，以支持数据网格概念，促进自带数据方法并使整个组织能够顺利进行数据集成和利用。

Steve 的团队和 Autodesk 的其他数据工程团队反复面临的一个重大挑战是：出现数据问题时，他们往往是最后一个知道的。Steve 的团队被迫采取被动方法来解决问题，无论是数据丢失、数据延迟或陈旧，还是数据不正确且为空值。

当团队意识到数据问题时，问题可能已经存在一个月或更长时间，因此浪费了公司宝贵的时间和资源。

“我们之前有一个定制的数据质量管理 (DQM) 系统，但它是一种被动且不可扩展的解决方案，”Steve 说，“DQM 系统依靠运行查询来监控运行次数，但它不会主动检测数据质量问题。有关数据问题的通知不一致且延迟，通常通过电子邮件或 Slack 消息送达，没有明确的所有权。”

Steve 和他的团队开始评估数据可观察性解决方案，并且认识到他们需要采取更积极主动的方法。他们探索了各种选项，包括 Monte Carlo Data 和 Datafold，但 IBM® Databand 可观察性软件脱颖而出。Autodesk 的创新文化促使他们安排了一次创新冲刺，召集跨职能团队来探索和展示潜在的解决方案。Autodesk 首席数据工程师 Preeti Taneja 在本次评估中发挥了关键作用。她的团队只有一周的时间来展示 Databand 如何转变数据质量流程。

他们评估了 Databand 是否能够检测源系统的变化并在工作流出现故障时提供实时警报。结果令人印象深刻。Databand 与 Autodesk 现代数据堆栈（例如 Apache Airflow、dbt、Spark 和 Snowflake）的无缝集成以及提供即时警报的能力给人留下了深刻的印象。

“Databand 易于与我们的现代数据堆栈集成，这使我们能够立即看到价值，”Preeti 说，“当我们开始收到即时警报时，Databand 的主动数据质量功能才真正让我们惊叹不已。”

经过内部评估，Databand 成为明显的赢家，并带领团队继续推进其实施。

Steve 的团队每天使用 Databand 来监控各种用例中的数据事件，包括：

• 批处理监控：Databand 广泛用于监控生产批处理。Databand 主动监控超过 1,000 个 DAG。
  
  
• 内联测试：团队使用 Databand 的内联测试功能来实时检测数据质量问题，这对于维护数据完整性至关重要。
  
  
• 数据产品支持：Databand 支持为 Autodesk 客户提供洞察和产品内消息传递的管道。
  
  
• 机器学习 (ML) 和 AI 管道监控：Databand 还监控支持 ML 和 AI 团队的管道，帮助确保在数据处理的所有阶段保持数据质量。