为了实现持续的 Apache Airflow 可观察性和监控,IBM® Databand 采用了无缝 Airflow 整合功能。
企业的数据运行状况比任务或运行故障都更为复杂。您需要确认 Airflow 管道将按时提供完整且准确的数据。更重要的是,您需要在数据质量问题影响下游消费者之前发出警报。
将 Airflow 环境与 IBM Databand 整合,可提供持续的 Airflow 可观察性。通过集中管道元数据、日志和状态,Databand 可提供始终如一地交付高质量数据所需的洞察分析。
Databand 提供各种监控、警报和分析功能,可帮助企业监控 Airflow DAG 的运行状况和可靠性。通过支持企业监控多个 Airflow 实例,为全公司范围的 DAG 提供集中式跟踪系统。
整合 Databand 的 Airflow 连接器涉及简单的三步流程:
Databand 的全套功能有助于简化和集中企业的 Apache Airflow 可观察性。
借助强大的预防性警报,随时掌握因任务持续时间长而面临延迟交付风险的 Airflow 管道。此外,还可以发现数据量中的异常情况,并了解数据质量问题,例如一些通常悄无声息的来源对数据集架构造成的重大更改。
警报可直接指向事件发生的位置,以便企业深入问题根源,并缩短工程的平均解决时间。发现问题根本原因所需的一切均可在易于使用的仪表板上查看,包括管道输入和输出、错误跟踪、日志、数据源、参数、xcom 和用户指标。
Databand 的综合仪表板可以将所有的 Airflow 可观察性活动集中一处,轻松突出每个高风险 Airflow DAG 的所有重要指标。您可以利用关键数据资产的可视化工具和图表,查看管道指标是否在正确的范围内,以及 Airflow 吞吐量是否按计划交付。