Para permitir la observabilidad y supervisión continuas de Apache Airflow, IBM® Databand ofrece una integración perfecta con Airflow.
El estado de sus datos es más complejo que la falla de una tarea o una ejecución. Debe estar seguro de que sus canalizaciones de Airflow le proporcionarán datos completos y precisos a tiempo. Y lo que es más importante, necesita alertas sobre problemas de calidad de los datos antes de que afecten a los consumidores posteriores.
La integración de sus entornos de Airflow con IBM Databand permite la observabilidad continua de Airflow. Al centralizar los metadatos, los registros y el estado de las canalizaciones, Databand proporciona los insights que necesita para distribuir sistemáticamente datos de alta calidad.
Databand se integra con los clústeres Airflow gestionados más populares, incluidos Google Cloud Composer, Astronomer y Amazon MWAA.
Analice y alerte sobre anomalías de metadatos o datos faltantes, luego rastree la causa principal de las fallas en la canalización, los problemas de calidad de los datos y los problemas de impacto en sus entregas de datos.
Con una visión general de todas sus instancias de Airflow, Databand facilita la supervisión del estado de las canalizaciones, los tiempos de ejecución, los volúmenes de datos y las métricas de calidad de los datos.
Obtenga visibilidad de los DAG, los flujos de datos y los niveles de infraestructura para mejorar la fiabilidad de los pipelines.
Databand ofrece una serie de funciones de supervisión, alerta y análisis para ayudarle a controlar el estado y la fiabilidad de sus DAG de Airflow. Al permitirle supervisar varias instancias de Airflow, proporciona un sistema de supervisión centralizado para los DAG de toda la empresa.
La integración con el conector Airflow de Databand es un sencillo proceso de tres pasos:
- Instale el paquete Python dbnd-airflow-auto-tracking de Databand en su clúster de Airflow
- Configure su nuevo Airflow Syncer para crear un Airflow Syncer en su interfaz de usuario (IU) de Databand
Todas las capacidades de Databand permiten simplificar y centralizar la observabilidad de Apache Airflow.
Gracias a las potentes alertas preventivas, puede mantener el control de las canalizaciones de Airflow que corren el riesgo de sufrir retrasos en la entrega debido a la larga duración de los trabajos. Además, puede descubrir anomalías en el volumen de datos y obtener una mayor visibilidad de los problemas de calidad de los datos, como los cambios radicales en la estructura de su conjunto de datos procedentes de fuentes que normalmente pasarían desapercibidas.
Las alertas le llevan directamente al lugar donde se está produciendo un incidente para que pueda profundizar en el problema y reducir el tiempo medio de resolución para los ingenieros. Todo lo que necesita para encontrar la causa principal de un problema se reúne en un único panel fácil de usar, incluidas las entradas y salidas de la canalización, las trazas de errores, los registros, la fuente de datos, los parámetros, los xcoms y las métricas de usuario.
Con todas sus actividades de observabilidad de Airflow en un solo lugar, el panel integral de Databand permite destacar fácilmente todas las métricas importantes de cada uno de sus principales DAG de Airflow. Las visualizaciones y gráficos de sus datos críticos le permiten ver si las métricas de canalizaciones están dentro de los rangos correctos y si el flujo de Airflow se ajusta al plan de entregas.