隠れたデータフローを信頼できる洞察に変える：IBM watsonx.data intelligence内のOpenLineage

クリティカルなデータ・フローの多くは、標準的なリネージュ・ソリューションでは自動的に取り込まれないカスタム・ビルド・システム、ETLツール、レガシー・アプリケーションを介して実行されます。このような目に見えない接続により、依存関係が曖昧になり、監査が遅れ、ガバナンスとAI対応の両方が弱体化します。

課題：信頼を損なう隠れたデータ・フロー

自動スキャナーは多くの最新プラットフォームをカバーしていますが、データの旅の多くは、依然としてカスタムスクリプト、パイプライン、レガシーで行われています。このような目に見えない動きによってリネージュの全体像が断片化されると、依存関係の追跡や、ダウンストリームへの影響の理解が困難になります。

その結果、依存関係を曖昧にし、監査を遅らせ、分析とAIイニシアチブに対する信頼を損なう盲点のあるデータ・ジャーニーの断片化した全体像が成果として得られます。

ソリューション：カスタム・リネージュ・マッピングを使用して、データの全体像を確認する

IBM watsonx.data intelligenceのカスタム・リネージ・マッピングは、自動スキャナーの枠を超えてリネージを拡張し、最新システム、カスタム・システム、レガシー・システムの隠れたデータ・フローを明らかにします。

OpenLineage 標準をベースに構築した、この機能強化により、チームはすべてのデータセット、ジョブ、トランスフォーメーションを1つの統合された管理されたビューに接続できるようになり、チームはより迅速に行動するための明確さと自信を得ることができます。

その結果、データの依存関係とトランスフォーメーションの透明性の高いエンドツーエンドの全体像が得られ、リーダーは自信を持ってガバナンスを強化し、監査を迅速化し、分析とAIの対応を進めることができます。

仕組み：自動化されたリネージュとカスタム・リネージュの接続

Custom Lineage Mappingsは、スキャナーからの自動リネージュ、既存のOpenLineageプロデューサーによって出力されるリネージュ、OpenLineageペイロードを通じて定義されるカスタム・リネージュなど、すべての長所を統合します。

IBM watsonx.data intelligenceでは、ランタイムまたは設計時にデータがどのように動くかを説明するためのオープン・スタンダードであるOpenLineageを使用しています。これにより、組織はカスタム・システムやレガシー・システムを含むあらゆるシステムのリネージュ・イベントを定義し、それらを統一された管理されたリネージュ・グラフにまとめることで、データ・ジャーニー全体でデータがどのように動き、変換するかを明らかにできます。

各OpenLineageイベントは、データがどのように移動するか、つまりデータが読み込むインプット、データを変換するジョブ、生成されるアウトプットについて記述します。これらのイベントは、dbtやAirflowなどのツールによって自動的に生成されることもあれば、顧客が独自の環境やレガシー環境用にイベントを自動的に排出するか手動で文書化するかを決定できることもあります。インポートされた後、watsonx.data intelligenceはこれらのイベントを既知の資産と整合させ、より広いリネージュ・ビュー内で視覚化します。

精度と一貫性を確保するために、watsonx.data intelligenceは2つの主要なメカニズムを提供しています。

テクノロジーテンプレートは、OpenLineageペイロードで定義されたジョブとデータセットがどのように解釈され、表示されるかを定義します。watsonx.data intelligenceには、事前定義されたテンプレートが含まれており、カスタム・テンプレートを構築できるため、多様なテクノロジー間で一貫したラインを実現できます。
データソース・マッピングは、OpenLineageのデータセットとジョブをwatsonx.data intelligenceの既存の資産に自動的にリンクします。また、カスタム・ルールを定義して、特定の名前空間を既知のデータ・ソースにマッピングし、カスタム・リネージュを管理対象のエンタープライズ・ビューにシームレスにつなぎ合わせることもできます。

その成果として、カスタム・リネージュ・マッピングは、自動化されたリネージュとカスタム・リネージュを統合した、管理された統合グラフを提供します。