지속적인 Apache Airflow 관측 가능성 및 모니터링을 위해 IBM 데이터밴드는 원활한 공기 흐름 통합 기능을 제공합니다.
데이터의 상황은 작업이나 실행 실패보다 더 복잡합니다. 에어플로우 파이프라인이 완전하고 정확한 데이터를 제때 제공할 수 있는지 확인해야 합니다. 더 중요한 것은 데이터 품질 문제가 다운스트림 소비자에게 영향을 미치기 전에 알림을 받아야 한다는 점입니다.
공기 흐름 환경을 IBM Databand 과 통합하면 지속적인 공기 흐름 관측이 가능합니다. Databand 는 파이프라인 메타데이터, 로그 및 상태를 중앙 집중화하여 고품질 데이터를 일관되게 제공하는 데 필요한 인사이트를 제공합니다.
Databand 는 Google Cloud Composer, Astronomer, Amazon MWAA 등 가장 인기 있는 관리형 Airflow 클러스터와 통합됩니다.
메타데이터 이상 또는 누락된 데이터를 분석하고 경고한 다음, 파이프라인 장애의 근본 원인, 데이터 품질 문제 및 데이터 전송에 미치는 영향 문제를 추적하세요.
모든 Airflow 인스턴스를 한눈에 볼 수 있는 Databand를 사용하면 파이프라인 상태, 실행 기간, 데이터 볼륨, 데이터 품질 메트릭을
쉽게 추적할 수 있습니다.
DAG, 데이터 흐름, 인프라 수준 전반에 대한 가시성을 확보하여 파이프라인 안정성을 개선하세요.
Databand 는 다양한 모니터링, 알림 및 분석 기능을 제공하여 공기 흐름 DAG의 상황과 안정성을 모니터링하는 데 도움을 줍니다. 여러 Airflow 인스턴스를 모니터링할 수 있어 회사 전체의 DAG를 위한 중앙 집중식 추적 시스템을 제공합니다.
Databand의 Airflow 커넥터와 통합하려면 간단한 3단계 프로세스를 거쳐야 합니다:
- Airflow Databand클러스터에 의 dbnd-airflow-auto-tracking Python 패키지를 설치합니다.
- 에서 새 Airflow Syn cer를 구성하여 Airflow Syncer를 생성합니다.Databand UI
Databand의 포괄적인 기능(제품) 세트는 Apache Airflow 관측 가능성을 단순화하고 중앙 집중화하는 데 도움이 됩니다.
강력한 예방적 알림을 통해 작업 기간이 길어 배송이 지연될 위험이 있는 에어플로우 파이프라인을 파악하세요. 또한 데이터 볼륨의 이상 징후를 발견하고 데이터 품질 문제에 대한 가시성을 확보할 수 있으며, 일반적으로는 눈에 띄지 않는 소스에 의한 데이터 세트 구조의 변경과 같은 데이터 품질 문제를 파악할 수 있습니다.
알림을 통해 인시던트가 발생한 위치로 바로 이동할 수 있으므로 표면 아래를 자세히 살펴보고 엔지니어링의 평균 해결 시간을 단축할 수 있습니다. 파이프라인 입력 및 출력, 오류 추적, 로그, 데이터 소스, 매개변수, xcom 및 사용자 메트릭 등 문제의 근본 원인을 파악하는 데 필요한 모든 것을 사용하기 쉬운 단일 대시보드에서 찾을 수 있습니다.
모든 기류 관측 가능성 활동을 한 곳에서 확인할 수 있는 Databand의 종합 대시보드를 사용하면 중요도가 높은 각 기류 DAG에 대한 모든 중요한 메트릭을 쉽게 강조 표시할 수 있습니다. 중요한 데이터 자산의 시각화 및 차트를 통해 파이프라인 메트릭이 올바른 범위에 있는지, 에어플로우 처리량이 예정대로 전달되고 있는지 확인할 수 있습니다.