从被动反应到主动提高数据质量

Steve Gotlieb 是 Autodesk 的数据工程和可视化高级经理，Autodesk 是一家跨国软件公司，为多个行业提供软件产品。他负责管理北美和新加坡的全球数据工程和平台团队。他的团队专注于构建可重用的组件，以帮助创建支持数据驱动型解决方案的强大而可靠的数据平台。

在他的领导下，Steve 开始倡导数据质量作为核心平台组件，以支持数据网格概念，促进自带数据方法并使整个组织能够顺利进行数据集成和利用。

Steve 的团队和 Autodesk 的其他数据工程团队反复面临的一个重大挑战是：出现数据问题时，他们往往是最后一个知道的。Steve 的团队被迫采取被动方法来解决问题，无论是数据丢失、数据延迟或陈旧，还是数据不正确且为空值。

当团队意识到数据问题时，问题可能已经存在一个月或更长时间，因此浪费了公司宝贵的时间和资源。

“我们之前有一个定制的数据质量管理 (DQM) 系统，但它是一种被动且不可扩展的解决方案，”Steve 说，“DQM 系统依靠运行查询来监控运行次数，但它不会主动检测数据质量问题。有关数据问题的通知不一致且延迟，通常通过电子邮件或 Slack 消息送达，没有明确的所有权。”

Steve 及其团队着手评估数据可观察性解决方案，他们意识到需要采取更主动的管控方式。他们深入了解了多款方案，包括 Monte Carlo Data 和 Datafold，而 IBM watsonx.data integration（前身为 Databand）软件的数据可观察性尤为突出。Autodesk 的创新文化推动企业开展创新冲刺活动，集结跨职能团队深入了解并展示潜在解决方案。Autodesk 首席数据工程师 Preeti Taneja 在本次评估工作中发挥了关键作用。她的团队仅有一周时间来展示数据可观察性如何优化数据质量管控流程。

他们评估了 IBM watsonx.data integration（前身为 Databand）能否检测源系统变更，并在工作流故障时发出实时警报。最终效果十分出色。该方案可与 Autodesk 的现代数据栈无缝集成，包括 Apache Airflow、dbt、Spark 和 Snowflake，其即时警报功能更是令人印象深刻。

“与我们现代数据栈的便捷集成，让我们快速看到了实际价值，”Preeti 表示。“当我们开始收到即时警报时，其主动式数据质量管控能力真正让我们感到惊喜。”

经过内部评估， IBM watsonx.data integration（前身为 Databand）成为最优选择，团队随即推进方案落地。

Steve 的团队每日使用 IBM watsonx.data integration（前身为 Databand），监控各类用例中的数据事件，具体包括：

• 缩短检测时间：将以往耗费数周和数天的检测时间缩短为零。
  
  
• 批处理监控：实时监控超过 1,000 个 DAG。
  
  
• 内联测试：团队借助内联测试功能实时检测数据质量问题，这对保障数据完整性至关重要。
  
  
• 数据产品支持：为向 Autodesk 客户输送洞察分析与产品内消息的管道提供支撑。
  
  
• 机器学习 (ML) 与 AI 管道监控：监控支撑 ML 与 AI 团队的管道，保障数据处理全流程的数据质量。