Para permitir la observabilidad y supervisión continuas de Apache Airflow, IBM® Databand ofrece una integración perfecta con Airflow.
La salud de sus datos es más compleja que el fallo de una tarea o una ejecución. Debe estar seguro de que sus canalizaciones de Airflow le proporcionarán datos completos y precisos a tiempo. Y lo que es más importante, necesita alertas sobre problemas de calidad de los datos antes de que afecten a los consumidores posteriores.
La integración de sus entornos Airflow con IBM® Databand permite la observabilidad continua de Airflow. Al centralizar los metadatos, los registros y el estado de las canalizaciones, Databand proporciona la información que necesita para distribuir sistemáticamente datos de alta calidad.
Databand se integra con los clústeres Airflow gestionados más populares, incluidos Google Cloud Composer, Astronomer y Amazon MWAA.
Analiza las anomalías en los metadatos o los datos que faltan y le avisa del problema. A continuación, rastrea la causa raíz de los fallos de canalización, los problemas de calidad de los datos y el impacto de estos problemas en sus entregas de datos.
Con una visión general de todas sus instancias de Airflow, Databand facilita la supervisión del estado de las canalizaciones, los tiempos de ejecución, los volúmenes de datos y las métricas de calidad de los datos.
Obtenga visibilidad de los DAG, los flujos de datos y los niveles de infraestructura para mejorar la fiabilidad de las canalizaciones.
Databand ofrece una serie de funciones de monitorización, alerta y análisis para ayudarle a controlar el estado y la fiabilidad de sus DAG de Airflow. Al permitirle monitorizar varias instancias de Airflow, proporciona un sistema de supervisión centralizado para los DAG de toda la empresa.
La integración con el conector Airflow de Databand es un sencillo proceso de tres pasos:
- Instale el paquete Python dbnd-airflow-auto-tracking de Databand en su clúster de Airflow
- Configure un nuevo Airflow Syncer para crear un Airflow Syncer en su interfaz de usuario de Databand
Todas las capacidades de Databand permiten simplificar y centralizar la observabilidad de Apache Airflow.
Gracias a las potentes alertas preventivas, puede mantener el control de las canalizaciones de Airflow que corren el riesgo de sufrir retrasos en la entrega debido a la larga duración de los trabajos. Además, puede descubrir anomalías en el volumen de datos y obtener una mayor visibilidad de los problemas de calidad de los datos, como los cambios radicales en la estructura de su conjunto de datos procedentes de fuentes que normalmente pasarían desapercibidas.
Las alertas le llevan directamente al lugar donde se está produciendo un incidente para que pueda profundizar en el problema y reducir el tiempo medio de resolución para los ingenieros. Todo lo que necesita para encontrar la causa raíz de un problema se reúne en un único panel de control fácil de usar, incluidas las entradas y salidas de la canalización, las trazas de errores, los registros, la fuente de datos, los parámetros, los xcoms y las métricas de usuario.
Con todas sus actividades de observabilidad de Airflow en un solo lugar, el completo panel de control de Databand permite destacar fácilmente todas las métricas importantes de cada uno de sus principales DAG de Airflow. Las visualizaciones y gráficos de sus datos críticos le permiten ver si las métricas de canalizaciones están dentro de los rangos correctos y si el flujo de Airflow se ajusta al plan de entregas.