Pour permettre une observabilité et une surveillance continues d’Apache Airflow, IBM Databand propose une intégration fluide d’Airflow.
La santé de vos données est plus complexe que l’échec d’une tâche ou d’une exécution. Vous devez avoir l’assurance que vos pipelines Airflow fourniront des données complètes et précises en temps voulu. Plus important encore, vous avez besoin d’alertes concernant les problèmes de qualité des données avant qu’ils n’affectent les consommateurs en aval.
L’intégration de vos environnements Airflow à IBM Databand permet une observabilité continue d’Airflow. En centralisant les métadonnées, les journaux et les statuts des pipelines, Databand fournit les informations dont vous avez besoin pour distribuer de façon systématique des données de haute qualité.
Databand s’intègre aux clusters Airflow gérés les plus populaires, y compris Google Cloud Composer, Astronomer et Amazon MWAA.
Analysez les anomalies de métadonnées ou les données manquantes, puis alertez du problème. Remontez ensuite à l’origine des défaillances du pipeline, des problèmes de qualité des données et de l’impact de ces problèmes sur vos livraisons de données.
Grâce à la vue d’ensemble de toutes vos instances Airflow, Databand facilite le suivi des statuts du pipeline, des durées d’exécution, des volumes de données et des indicateurs liés à la qualité des données.
Obtenez une visibilité sur les DAG, les flux de données et les niveaux d’infrastructure pour améliorer la fiabilité du pipeline.
Databand offre diverses fonctionnalités de surveillance, d’alerte et d’analyse qui vous aident à contrôler la santé et la fiabilité de vos DAG Airflow. En vous permettant de surveiller plusieurs instances Airflow, il fournit un système de suivi centralisé pour les DAG à l’échelle de l’entreprise.
L’intégration au connecteur Airflow de Databand se fait en trois étapes :
- Installez le package Python dbnd-airflow-auto-tracking de Databand sur votre cluster Airflow.
- Configurez un nouvel Airflow Syncer pour créer un Airflow Syncer dans votre interface utilisateur Databand.
L’ensemble des capacités de Databand permet de simplifier et de centraliser l’observabilité d’Apache Airflow.
Grâce à de puissantes alertes préventives, gardez le contrôle sur les pipelines Airflow dont la livraison risque d’être retardée en raison de la longue durée des tâches. En outre, vous pouvez découvrir des anomalies dans le volume des données et avoir une meilleure visibilité sur les problèmes liés à la qualité des données, tels que des changements radicaux dans la structure de votre jeu de données par des sources qui passent normalement inaperçues.
Les alertes vous amènent directement là où un incident se produit pour vous permettre d’approfondir le problème et de réduire le délai moyen de résolution de l’ingénierie. Tout ce dont vous avez besoin pour découvrir l’origine d’un problème est rassemblé dans un tableau de bord unique et facile à utiliser, comprenant les entrées et sorties du pipeline, les traces d’erreurs, les journaux, la source de données, les paramètres, les xcoms et les indicateurs de l’utilisateur.
Avec toutes vos activités d’observabilité d’Airflow au même endroit, le tableau de bord complet de Databand facilite la mise en évidence de tous les indicateurs importants pour chacun de vos DAG Airflow majeurs. Les visualisations et les graphiques de vos données critiques vous permettent de voir si les indicateurs du pipeline se situent dans les bonnes fourchettes et si le débit d’Airflow est conforme au calendrier de livraison.