Pour obtenir une observabilité et une surveillance continues de Apache Airflow, IBM Databand fonctionnalité seamless Airflow Intégration.
La santé de vos données est plus complexe qu'un échec de tâche ou d'exécution. Vous avez besoin de savoir que vos pipelines Airflow fourniront des données complètes et précises en temps voulu. Plus important encore, vous avez besoin d'alertes sur les problèmes de qualité des données avant qu'ils n'affectent les consommateurs en aval.
L'intégration de vos environnements Airflow avec IBM Databand permet une observabilité continue de l'Airflow. En centralisant les métadonnées, les journaux et les statuts des pipelines, Databand fournit l'aperçu dont vous avez besoin pour fournir en permanence des données de haute qualité.
Databand s'intègre aux clusters Airflow les plus populaires, y compris Google Cloud Composer, Astronomer et Amazon MWAA.
Analyser et alerter sur les anomalies de métadonnées ou les données manquantes, puis remonter à la cause racine des défaillances du pipeline, des problèmes de qualité des données et des problèmes d'impact sur vos livraisons de données.
Avec une vue d'ensemble de toutes vos instances Airflow, Databand facilite le suivi des statuts des pipelines, des durées d'exécution, des volumes de données et des indicateurs de qualité des données.
Obtenez une visibilité sur les DAG, les flux de données et les niveaux d'infrastructure pour une meilleure fiabilité du pipeline.
Databand fournit diverses fonctionnalités de surveillance, d’alerte et d’analyse qui vous aident à contrôler la santé et la fiabilité de vos DAG Airflow. En vous permettant de surveiller plusieurs instances Airflow, il fournit un système de suivi centralisé pour les DAGs à l’échelle de l’entreprise.
L’intégration avec le connecteur Airflow de Databand se fait en trois étapes :
- Installez le paquetage Python dbnd-airflow-auto-tracking de Databand sur votre cluster Airflow.
- Configurer un nouveau Airflow Syncer pour créer un Airflow Syncer dans votre Databand interface utilisateur
DatabandL'ensemble des capacités de Apache Airflow permet de simplifier et de centraliser votre observabilité.
Grâce à de puissantes alertes préventives, gardez le contrôle sur les pipelines Airflow qui risquent d'être livrés en retard en raison de la longue durée des tâches. En outre, découvrez les anomalies dans le volume des données et gagnez en visibilité sur les problèmes de qualité des données, tels que les changements radicaux dans la structure de votre jeu de données par des sources qui passent normalement inaperçues.
Les alertes vous amènent directement à l'endroit où un incident s'est produit afin que vous puissiez creuser sous la surface et réduire le temps moyen de résolution de l'ingénierie. Tout ce dont vous avez besoin pour découvrir la cause racine d'un problème se trouve sur un tableau de bord unique et facile à utiliser, y compris l'entrée et la production du pipeline, les traces d'erreurs, les journaux, la source de données, les paramètres, les xcoms et les indicateurs de l'utilisateur.
Avec toutes vos activités d'observabilité Airflow en un seul endroit, le tableau de bord complet de Databandfacilite la mise en évidence de tous les indicateurs importants pour chacun de vos DAG Airflow à fort enjeu. Les visualisations et les graphiques de vos données critiques vous permettent de voir si les indicateurs de pipeline se situent dans les bonnes fourchettes et si le débit d'Airflow est conforme au calendrier de livraison.