dbtの継続的な可観測性と監視を実現するため、IBM Databandはdbtをシームレスに統合
多くの企業がdbt Coreとdbt Cloudを導入して、分析コードを迅速に展開しています。相互接続されたデータ・パイプラインが複雑化し、複数のシステムに分散されると、ビジネスに影響が生じる前にdbtの問題を追跡して、特定することが困難になる可能性があります。
dbtをIBM® Databandに統合することで、ジョブやテスト、モデルの可観測性を継続的に維持し、dbtのプロセスが中断された場合に、すぐに把握して修正することができます。
Databandの可観測性を統合することで、実行時間やテストの失敗、モデルの異常など、dbtに関する事前アラートを受信できます。
dbtコマンドのメタデータと根本原因分析をすべて一カ所に集約することで、エンジニアリングの時間を節約します。
Databandのリネージュ機能を使用して、dbt全体の影響を受けているテーブルを把握できます。
次のいずれかの方法で、dbt Coreまたはdbt Cloud環境にDatabandの可観測性機能を統合できます。
1. DatabandのPython SDKでdbtを追跡
DatabandのPython SDKを使用して、Apache AirflowなどのPythonオーケストレーション・ツールを介してトリガーされた、dbt Cloudのジョブまたはdbt Coreのコマンドを追跡します。
2. Databandのdbtモニターでdbtを追跡
Databandのdbt Cloudモニターを使用して、 dbt Cloudのアカウントを直接監視して、ジョブを追跡します。これにより、Databand はdbtのジョブがどのようにトリガーされたかに関係なく追跡できます。
Databandの包括的な機能は、dbtの可観測性の簡素化と一元化に役立ちます。
Databandの強力なアラート機能は、重要な問題が発生すると、すぐにチームに通知します。dbtコマンド、個々のモデル、テストの失敗などのインシデントに対してアラートを生成し、コマンドやモデル、テストの時間に関する異常を報告します。さらに、モデル内のテーブルの異常なレコード数も確認できます。
Databandは.sqlおよび.yamlファイルを自動検出し、分析エンジニアやアナリストがモデルとテストのSQLに簡単にアクセスし、デバッグできように支援します。テーブルやスキーマのマテリアライズ・タイプなどの重要な情報を特定するプロセス、またテーブル・ロジックを調査して、計算方法をより詳細に把握するプロセスを簡素化します。
集中型コンソールからすべてのdbtコマンドを確認できるため、dbtコマンドの状態と時間を素早く確認できます。個々のdbtモデルとテストも含まれるため、dbtの障害の根本原因を正確に突き止め、迅速に解決できます。