データパイプラインの監視
デモの予約 Gartner社のレポートを読む
IBM Databandのデータ・パイプラインの監視機能の主な要素を示した図

IBM® Databandは、データ・プロセスとパイプラインのエラーを早期に検出する、統合して一元化されたデータ・パイプライン監視機能を提供します。

多くの組織では、可観測性はサイロ化されています。各チームはそれぞれが所有するパイプラインでメタデータを収集しますが、そのパイプラインは、重要なダウンストリームまたはアップストリームのイベントに接続されていない場合があります。さらに問題なのは、そのメタデータが、各チームが確認できるようにダッシュボードに視覚化または報告されないことです。

IBM Databandによるデータ・パイプライン監視機能は、データ・プロセスとパイプラインに接続し、運用の欠落やジョブの失敗、実行期間の異常などのインシデントを自動的に検出します。これにより、組織が拡大するパイプラインの状況を管理しながら、望ましくない予期せぬ事態を回避できるようになります。エラー・ログを一元化して、パイプライン・エラーが発生した理由を特定し、運用の欠落や失敗がいつ発生したかを自動的に追跡して、影響を受けたデータ・セットの履歴から傾向を確認できます。

メリット DataOpsの標準化

パイプラインを監視し、障害やSLA未達成の早期警告の兆候を検出します。

パイプラインの健全性を向上

DAGやデータフロー、インフラストラクチャーのレベルを可視化して、パイプラインの信頼性を高めます。

パイプラインの迅速な修正

自動通知管理や、ロギング、リネージュにより、パイプラインの修正方法を正確に把握します。

主な機能
パイプラインの一元監視 パイプラインが1日に1回実行されても、100回実行されても、データ・パイプラインを一元監視することで、すべてのパイプラインと実行を1つのビューで容易に確認できます。実行作業をさまざまな側面から管理して、重要なアラートの有無を即座に把握できます。

パイプラインのパフォーマンス履歴 一貫性のないパイプラインは、全体像が見えにくく、修正が困難です。パイプラインの障害と依存関係の履歴を追跡、分析して、パイプラインの一貫性を実現するための全体的な状況を把握できます。

根本原因分析 パイプラインに障害が発生した場合、すぐにその原因と修正方法を特定する必要があります。タスク実行元のメタデータとログを1カ所で追跡することで、すべてのエラー情報にアクセスし、データとコードの変更の傾向を比較して、問題の根本原因を迅速に特定できます。
統合

Databandは、データ・パイプラインとの統合や、すでに利用されているApache AirflowやIBM DataStageなどの統合ツールとの連携を通じて、お客様のデータ・ファブリックと最新のデータ・スタック全体に対する継続的なデータ可観測性を提供します。

統合の詳細はこちら
次のステップ

IBM Databand を使用してプロアクティブなデータ可観測性を今すぐ実装して、データの健全性の問題が発生したことをユーザーよりも前に知ることができます。

デモの予約
その他の参考情報 資料 ブログ デモ一覧 参考情報