지속적인 Apache Airflow 관측성 및 모니터링을 달성하기 위해 IBM Databand 는 원활한 Airflow 통합 기능을 제공합니다.
데이터 상태는 작업이나 실행 실패보다 더 복잡합니다. Airflow 파이프라인이 제때에 완전하고 정확한 데이터를 제공한다는 점을 알아야 합니다. 더 중요한 것은 데이터 품질 문제가 다운스트림 소비자에게 영향을 미치기 전에 이에 대한 경고가 필요하다는 것입니다.
Airflow 환경을 IBM Databand와 통합하면 지속적인 Airflow 관측성을 제공할 수 있습니다. 파이프라인 메타데이터, 로그 및 상태를 중앙 집중화하여 Databand는 고품질 데이터를 지속적으로 제공하는 데 필요한 인사이트를 제공합니다.
Databand는 Google Cloud Composer, Astronomer 및 Amazon MWAA 등 가장 널리 사용되는 매니지드 Airflow 클러스터와 통합됩니다.
메타데이터 이상 징후 또는 누락된 데이터를 분석하고 이에 대해 경고한 다음 파이프라인 오류, 데이터 품질 문제 및 데이터 제공에 관해 영향을 미치는 문제의 근본 원인을 추적합니다.
모든 Airflow 인스턴스를 한눈에 볼 수 있는 Databand를 사용하면 파이프라인 상태, 실행 기간, 데이터 볼륨 및 데이터 품질 메트릭을 쉽게 추적할 수 있습니다.
DAG, 데이터 흐름, 인프라 수준 전반에 대한 가시성을 확보하여 파이프라인 안정성을 개선할 수 있습니다.
Databand는 다양한 모니터링, 경고, 분석 기능을 제공하여 Airflow DAG의 상태와 안정성을 모니터링하는 데 도움을 줍니다. 여러 Airflow 인스턴스를 모니터링할 수 있어 회사 전체 DAG에 대한 중앙 집중식 추적 시스템을 제공합니다.
Databand의 Airflow 커넥터와 통합하려면 다음과 같은 간단한 3단계 프로세스를 거쳐야 합니다.
- Airflow 클러스터에 Databand의 dbnd-airflow-auto-tracking Python 패키지를 설치합니다.
- 새 Airflow Syncer를 구성하여 Databand UI에서 Airflow Syncer를 생성합니다.
Databand의 포괄적인 기능 세트가 Apache Airflow 관측성을 단순화하고 중앙 집중화하는 데 도움이 됩니다.
강력한 예방 경고를 통해, 긴 작업 기간 때문에 제공이 지연될 위험이 있는 Airflow 파이프라인을 완벽하게 파악하세요. 또한 데이터 볼륨의 이상 징후를 발견하며, 일반적으로 감지되지 않는 소스로 인해 데이터 세트 구조에서 중단을 유발할 수 있는 변경 사항과 같은 데이터 품질 문제에 대한 가시성을 확보합니다.
경고를 통해 인시던트가 발생한 위치를 직접 확인할 수 있으므로 문제를 심층적으로 파고들어 엔지니어링의 평균 해결 시간을 단축할 수 있습니다. 파이프라인 입력 및 출력, 오류 추적, 로그, 데이터 소스, 매개변수, xcom 및 사용자 메트릭과 같은 문제의 근본 원인을 찾는 데 필요한 모든 것을 사용하기 쉬운 단일 대시보드에서 찾을 수 있습니다.
모든 Airflow 관측성을 한곳에서 수행하면 Databand의 포괄적인 대시보드를 통해 위험도가 높은 각 Airflow DAG에 대한 모든 중요 메트릭을 쉽게 강조할 수 있습니다. 중요한 데이터 자산의 시각화 및 차트를 통해 파이프라인 메트릭이 올바른 범위에 있는지, Airflow 처리량이 예정대로 전달되고 있는지 확인할 수 있습니다.