拡張データ管理：データ・ファブリックとデータ・メッシュ

データ・ファブリックとデータ・メッシュは、組織の変化と、ハイブリッド・マルチクラウド エコシステムにおけるエンタープライズデータの理解、管理、操作の複雑さに対処することを目的とした新たなデータ管理コンセプトです。幸いにも、どちらのデータ・アーキテクチャー概念も補完的なものになっています。データ・ファブリックやデータ・メッシュとは正確には何を意味し、これらのデータ管理ソリューションを用いて企業データをより良い意思決定に活用するにはどうすればよいでしょうか。

Gartner は、データ・ファブリックを「データと接続プロセスの統合層として機能する設計概念」と定義しています。データ・ファブリックは、既存の検出可能で推論されたメタデータに対する継続的な分析を利用し、ハイブリッドやマルチクラウド・プラットフォームを含むすべての環境で統合された再利用可能なデータセットの設計、デプロイメント、利用をサポートします。[1]

データ・ファブリック・アーキテクチャー・アプローチにより、組織内のデータ・アクセスが簡素化され、セルフサービスのデータ消費が大規模に促進されます。このアプローチはデータのサイロ化を解消し、その他一般的な業界のユースケースの中でもデータ・ガバナンス、データ統合、単一顧客ビュー、信頼できるAIの実装を形成する新たな機会を可能にします。

データ・ファブリックの抽象化層は独自のメタデータ駆動型であるため、あらゆるデータ・ソースのモデル化、統合とクエリー、データ・パイプラインの構築、リアルタイムでのデータ統合が容易になります。また、データ・ファブリックは、機械学習を使用してデータ・プラットフォーム全体で手動タスクを自動化することで、データ・オブザーバビリティーとデータ品質を向上させ、データから洞察を導き出すことを効率化します。これにより、データ・エンジニアリングの生産性と、データ・コンシューマーの価値実現までの時間が向上します。

Forresterによると、データ・メッシュとは、複雑で大規模な環境で分析データを共有、アクセス、管理するための分散型の社会技術的アプローチのことで、組織内または組織間で分析データを共有、アクセス、管理するためのものです。[2]

データ・メッシュ・アーキテクチャーは、ビジネス・ドメインまたは機能ごとにデータ・ソースをデータ所有者に合わせて調整するアプローチです。データ所有権の分散化により、データ所有者はそれぞれのドメインにデータ・プロダクトを作成できるようになります。つまり、データ・コンシューマー（データサイエンティストとビジネス・ユーザーの両方）は、これらのデータ・プロダクトを組み合わせてデータ分析やデータサイエンスに利用できるということです。

データ・メッシュ アプローチの価値は、下流のデータプロダクトのクレンジングと統合をデータ・エンジニアに頼るのではなく、ビジネス・ドメインを最もよく理解している上流の専門家にデータ プロダクトの作成を移行することにあります。

さらに、データ・メッシュは、パブリッシュ・アンド・サブスクライブ・モデルを可能にしてAPIを活用することで、データプロダクトの再利用を加速させます。データコンシューマーは、信頼性の高いアップデートを含め、必要なデータプロダクトを容易に入手できるようになります。

データ・ファブリックとデータ・メッシュは共存できます。実際、データ・ファブリックでデータ・メッシュの実装を可能にする3つの方法があります。

1. データ資産のカタログ化、資産の製品への変換、フェデレーション・ガバナンス・ポリシーの遵守など、データ製品の作成機能をデータ所有者に提供します。
2. データ所有者とデータ・コンシューマーが、データ・プロダクトのカタログへの公開、データ・プロダクトの検索、データ仮想化やAPIの使用を活用したデータ・プロダクトのクエリーや視覚化など、さまざまな方法でデータ・プロダクトを使用できるようにします。
3. データ・ファブリックのメタデータからの洞察を使用して、データ・プロダクトの作成プロセスの一環として、またはデータ・プロダクトの監視プロセスの一部としてパターンから学習することでタスクを自動化します。

データ管理に関して言えば、データ・ファブリックは、データ・プロダクトの作成とそのライフサイクル管理に要するタスクの多くを自動化することにより、データ・メッシュを実装し、その利点を最大限に活用するのに必要な機能を実現します。データ・ファブリックの基盤の柔軟性を利用することで、データがオンプレミスにあるかクラウドにあるかに関係なく、ユースケース中心のデータ・アーキテクチャーを活用しながら、データ・メッシュを実装できます。