Um eine kontinuierliche Apache Airflow Beobachtung und -Überwachung zu erreichen, bietet die IBM Databand-Funktion eine nahtlose Airflow-Integration.
Der Zustand Ihrer Daten ist komplizierter als ein Fehler bei einer Aufgabe oder einer Ausführung. Sie müssen sicher sein, dass Ihre Airflow-Pipelines rechtzeitig vollständige und genaue Daten liefern. Noch wichtiger ist, dass Sie Warnungen zu Problemen mit der Datenqualität benötigen, bevor sie sich auf nachgelagerte Verbraucher auswirken.
Die Integration Ihrer Airflow-Umgebungen mit IBM Databand ermöglicht eine kontinuierliche Airflow-Beobachtung. Durch die Zentralisierung von Pipeline-Metadaten, Protokollen und Status bietet Databand die Einblicke, die Sie benötigen, um durchgehend qualitativ hochwertige Daten zu liefern.
Databand lässt sich in die gängigsten verwalteten Airflow-Cluster integrieren, darunter Google Cloud Composer, Astronomer und Amazon MWAA.
Analysieren Sie Metadatenanomalien oder fehlende Daten, und verfolgen Sie dann die Ursache von Pipelinefehlern, Datenqualitätsproblemen und die Auswirkungen auf Ihre Datenbereitstellungen.
Mit einer Vogelperspektive auf alle Ihre Airflow-Instanzen macht es Databand einfach,
Verfolgen Sie Pipeline-Status, Laufdauer, Datenvolumen und Datenqualitätsmetriken.
Verschaffen Sie sich einen Überblick über DAGs, Datenflüsse und Infrastrukturebenen für eine bessere Zuverlässigkeit der Pipeline.
Databand bietet verschiedene Überwachungs-, Warn- und Analysefunktionen, mit denen Sie den Zustand und die Zuverlässigkeit Ihrer Airflow-DAGs überwachen können. Durch die Möglichkeit, mehrere Airflow-Instanzen zu überwachen, bietet es ein zentralisiertes Tracking-System für unternehmensweite DAGs.
Die Integration mit dem Airflow-Anschluss von Databand umfasst einen einfachen Prozess in drei Schritten:
- Installieren Sie das Python-Paket dbnd-airflow-auto-tracking von Databand auf Ihrem Airflow-Cluster
- Konfigurieren Sie einen neuen Airflow Syncer , um einen Airflow Syncer in Ihrer Databand Benutzeroberfläche zu erstellen
Der umfassende Satz von Funktionen von Databandhilft Ihnen, Ihre Apache Airflow Observability zu vereinfachen und zu zentralisieren.
Mit leistungsstarken präventiven Warnmeldungen behalten Sie den Überblick über Airflow-Pipelines, die aufgrund der langen Aufgabendauer dem Risiko verspäteter Lieferungen ausgesetzt sind. Entdecken Sie außerdem Anomalien im Datenvolumen und erhalten Sie Einblick in Datenqualitätsprobleme, wie z. B. wichtige Änderungen in Ihrer Datensatzstruktur durch Quellen, die normalerweise unter dem Radar fliegen.
Warnmeldungen bringen Sie direkt an den Ort, an dem sich ein Vorfall ereignet, sodass Sie unter die Oberfläche bohren und die durchschnittliche Zeit bis zur Lösung des Engineerings verkürzen können. Alles, was Sie brauchen, um die Ursache eines Problems aufzudecken, finden Sie in einem einzigen, einfach zu bedienenden Dashboard, einschließlich Pipeline-Eingabe und -Ausgabe, Fehlertraces, Protokolle, Datenquelle, Parameter, xcoms und Benutzermetriken.
Da sich alle Ihre Airflow-Observability-Aktivitäten an einem Ort befinden, können Sie mit dem umfassenden Dashboard von Databand ganz einfach alle wichtigen Metriken für jedes Ihrer Airflow-DAGs mit hohem Einsatz hervorheben. Visualisierungen und Diagramme Ihrer kritischen, entscheidenden Datenbestände ermöglichen es Ihnen zu sehen, ob die Pipeline-Metriken im richtigen Bereich liegen und ob der Luftstromdurchsatz im Zeitplan für die Lieferung liegt.