Apache Airflow 可观察性整合
查看文档 预约实时演示
Apache Airflow 流程的插图

为了实现持续的 Apache Airflow 可观察性和监控,IBM® Databand 采用了无缝 Airflow 整合功能。

企业的数据运行状况比任务或运行故障都更为复杂。您需要确认 Airflow 管道将按时提供完整且准确的数据。更重要的是,您需要在数据质量问题影响下游消费者之前发出警报。

将 Airflow 环境与 IBM Databand 整合,可提供持续的 Airflow 可观察性。通过集中管道元数据、日志和状态,Databand 可提供始终如一地交付高质量数据所需的洞察分析。

用例
观察和监控 Airflow 集群

Databand 可与最热门的托管 Airflow 集群整合,包括 Google Cloud Composer、Astronomer 和 Amazon MWAA。

数据管道事件主动警报

对元数据异常或缺失数据进行分析并发出警报,然后跟踪管道故障、数据质量问题以及影响数据交付的问题的根本原因。

用于持续跟踪的集中式管道元数据

借助所有 Airflow 实例的全局概览,Databand 可以轻松跟踪管道状态、运行持续时间、数据量和数据质量指标。

改善数据管道运行状况

获取 DAG、数据流和基础架构层面的可见性,以提高管道可靠性。

工作原理

Databand 提供各种监控、警报和分析功能,可帮助企业监控 Airflow DAG 的运行状况和可靠性。通过支持企业监控多个 Airflow 实例,为全公司范围的 DAG 提供集中式跟踪系统。

整合 Databand 的 Airflow 连接器涉及简单的三步流程:

  1. 在 Airflow 集群上安装 Databand 的 dbnd-airflow-auto-tracking Python 包
  2. 配置新的 Airflow Syncer,以便在 Databand 用户界面创建 Airflow Syncer
功能

Databand 的全套功能有助于简化和集中企业的 Apache Airflow 可观察性。

动态数据可观察性

借助强大的预防性警报,随时掌握因任务持续时间长而面临延迟交付风险的 Airflow 管道。此外,还可以发现数据量中的异常情况,并了解数据质量问题,例如一些通常悄无声息的来源对数据集架构造成的重大更改。

根本原因分析

警报可直接指向事件发生的位置,以便企业深入问题根源,并缩短工程的平均解决时间。发现问题根本原因所需的一切均可在易于使用的仪表板上查看,包括管道输入和输出、错误跟踪、日志、数据源、参数、xcom 和用户指标。

360 度全方位可见性

Databand 的综合仪表板可以将所有的 Airflow 可观察性活动集中一处,轻松突出每个高风险 Airflow DAG 的所有重要指标。您可以利用关键数据资产的可视化工具和图表,查看管道指标是否在正确的范围内,以及 Airflow 吞吐量是否按计划交付。

采取下一步行动

立即使用 IBM Databand 实现主动数据可观测性,以便先于用户了解到何时出现数据运行状况问题。

预约实时演示
更多探索方式 文档 博客帖子 演示中心 资源