Per garantire osservabilità e monitoraggio ininterrotti di Apache Airflow, IBM® Databand offre un'integrazione Airflow senza soluzione di continuità.
Lo stato di salute dei tuoi dati è più complicato di una mancata esecuzione o attività. Devi avere la sicurezza che le tue pipeline Airflow consegneranno dati completi e accurati nei tempi previsti. Cosa ancora più importante, è indispensabile ricevere avvisi sui problemi di qualità dei dati prima che si ripercuotano sui consumatori a valle.
L'integrazione degli ambienti Airflow con IBM Databand offre una osservabilità Airflow ininterrotta. Centralizzando i metadati, i log e gli stati delle pipeline, Databand fornisce gli insight necessari per consegnare costantemente dati di alta qualità.
Databand si integra con i cluster Airflow gestiti più diffusi tra cui Google cloud Composer, Astronomer e Amazon MWAA.
Analizza e segnala anomalie dei metadati o dati mancanti, quindi rintraccia la causa principale dei problemi a livello di pipeline, problemi di qualità dei dati e dell'impatto sulle consegne di dati.
Osservando nel complesso tutte le istanze Airflow, Databand semplifica la tracciabilità degli stati delle pipeline, la durata delle esecuzioni, i volumi di dati e le metriche di qualità dei dati.
Ottieni visibilità su DAG, flussi di dati e livelli di infrastruttura per garantire una migliore affidabilità della pipeline.
Databand offre diverse funzionalità di monitoraggio, avviso e analisi che aiutano a monitorare la salute e l'affidabilità dei DAG di Airflow. Consentendo il monitoraggio di più istanze Airflow, fornisce un sistema di monitoraggio centralizzato per i DAG di tutta l'azienda.
L'integrazione con il connettore Airflow di Databand richiede un semplice processo in tre fasi:
- Installa il pacchetto Python dbnd-airflow-auto-tracking di Databand sul tuo cluster Airflow
- Configura un nuovo Airflow Syncer per creare un Airflow Syncer nell'interfaccia utente Databand
La serie completa di funzionalità di Databand aiuta a semplificare e centralizzare l'osservabilità Apache Airflow.
Grazie a potenti avvisi preventivi, è possibile tenere sotto controllo le pipeline Airflow che rischiano consegne ritardate a causa della lunga durata delle attività. Inoltre, è possibile scoprire le anomalie nel volume dei dati e ottenere visibilità su problemi relativi alla qualità dei dati, come le modifiche alla struttura del set di dati da parte di fonti che normalmente non vengono notate.
Gli avvisi portano direttamente al punto in cui si verifica l'incidente, in modo da poter analizzare e ridurre il tempo medio di risoluzione della progettazione. Tutto ciò che serve per scoprire la causa principale di un problema si trova in un'unica dashboard di facile utilizzo, compresi gli input e gli output della pipeline, le tracce degli errori, i log, l'origine dei dati, i parametri, gli xcom e le metriche degli utenti.
Con tutte le attività di osservabilità Airflow raggruppate insieme, l'intera dashboard di Databand consente di evidenziare facilmente tutte le metriche importanti per ciascuno dei DAG di Airflow più importanti. Le visualizzazioni e i grafici degli asset dei tuoi dati critici ti consentono di vedere se le metriche delle pipeline sono nei giusti intervalli e se la velocità effettiva di Airflow è in linea con i tempi di consegna.