データ製品とは

データ製品は、製品思考アプローチと従来の製品開発原則を適用して開発されます。このアプローチでは、ユーザーのニーズを理解し、主要な機能に優先順位を付け、フィードバックに基づいて繰り返すことが含まれます。最終的には、データを特定のユーザーの問題を解決するために設計された製品として扱います。

データ製品は、検出可能、相互運用可能、実行可能になるように構築されます。ビジネス・ユーザーやデータ・アナリストからデータサイエンティスト、データ・スチュワード、エンジニアにいたる誰もが、企業内に閉じ込められたデータから有意義な価値を引き出すことができるようにします。

データ製品の概念は、ITコンサルティング会社ThoughtWorks社のテクノロジー担当ディレクターであるZhamak Dehghani氏がデータ・メッシュ・アーキテクチャーのコア・コンポーネントとしてデータ製品を紹介した2019年に注目を集めました。データ・メッシュは、特定のビジネス・ドメイン（マーケティング、販売、カスタマー・サービスなど）ごとにデータを整理し、特定のデータセットの作成者にさらなる所有権を与える分散型データ・アーキテクチャーです。

データ製品が効果的に機能するためには、以下にあるようないくつかの重要な特性を備えている必要があります。

McKinsey社の報告によると、データ駆動型の企業は顧客を獲得する可能性が23倍、利益を上げる可能性が19倍高いとのことです。しかし、データ駆動型意思決定の需要が高まっているにもかかわらず、多くの組織は、不十分なデータ・ガバナンス・フレームワークが原因のサイロ、ベンダー・ロックイン、コンプライアンス・リスクなどの障害に直面し続けています。

これらの課題に対処するために、一部の組織では、データを運用の副産物としてではなく、管理された消費可能な資産として扱う製品としてのデータアプローチを採用しています。

製品型データの方法論では、ビジネス上の意思決定を支援し、ユーザー体験を向上させるために、データの構造化と管理を重視します。データ製品はその基盤の上に構築されているため、データ管理に対して構造化されたを提供し、技術チームへの依存を減らしながら、リアルタイムの意思決定をサポートします。

データ製品に投資する組織は、データ・アクセス、相互運用性、データ・ストレージ、ガバナンスの改善を実感できます。業界全体にわたって、データ製品はオートメーションを強化し、データ駆動型の意思決定をサポートし、企業がデータ戦略を長期的なビジネス目標と一致させるのに役立つ可能性があります。堅牢なデータ・プラットフォーム、機械学習モデル、視覚化ツールを活用することで、組織はチームがデータを最大限に活用できるように支援できます。

データ製品は多くの場合、組織内のさまざまな役割に権限を与えることで、次のようなメリットを実現しています。

• データ・サイエンティストおよびAIエンジニアは、データや関連項目へのアクセスを高速化し、AIやMLソリューションの開発とデプロイメントを加速させます。

• データ・エンジニアは、自動化されたテスト、デプロイメント、データ・キュレーションにより、パイプラインがデータ製品の契約において、指定されたデータ品質基準とサービス・レベル契約を満たしていることを確認できます。

• データ・アナリストおよび消費者は、各自のドメイン固有のニーズに合致し、中央のITチームに頼らなくても迅速に更新できる、信頼性の高いデータをタイムリーに受け取ることができます。

• データ・スチュワードは、データ契約を通じて強力なガバナンスとコンプライアンスを維持でき、データを保護し、安全に保つための明確なガードレールを設定することができます。

組織がデータを管理する方法は、受動的な資産ベースのアプローチから、積極的な製品主導のストラテジーへと進化しています。

従来、企業はデータを主に収集して保管するものとして扱ってきました。このアプローチでは、データを中央のデータウェアハウスまたはソース・システムに配置し、主題領域（財務やマーケティングなど）別に整理し、所有権を一元化したチームに割り当てます。成功は多くの場合、保管されたテラバイトなどのデータ量で測定され、単にデータが増やすことで、従業員がそれを使用することを期待しています。

ただし、メタデータは通常IT部門によって定義されており、データ・コンシューマーにとってビジネスに適したものではありません。結果として、データ資産に関する多くの取り組みは、データを事前対応的に使用してビジネス上の問題を解決するのではなく、何が起こったのかを振り返る、記述的分析とレポート作成を中心として展開されています。

これとは対照的に、データを製品として見ると、ストレージから使用と価値の創造に重点が移ります。データ・プロダクトにはデータ・プロダクト・ライフサイクルがあり、アジャイルまたはDataOps方法論に従うソフトウェア製品と同様に、設計、テスト、反復処理が行われます。

所有権はドメイン固有であり（たとえば、マーケティング専門家によって管理されるマーケティング・データ製品）、データの関連性と高品質が維持されます。また、データは、ビジネスによって推進される豊富なメタデータを使用して、特定の消費ニーズに合わせてキュレーションされます。これにより、ビジネス・ユーザーがデータ製品を容易に発見して理解することを保証します。

データ所有者はデータ製品に対して責任を負うため、エンド・ユーザーとのフィードバック・ループを通じて、製品の使用状況、品質、価値が継続的に監視されます。

成功は、単にデータが何テラバイト保管されているかではなく、データがどのように意思決定を改善し、収益を促進し、コストを削減するかによって測定されます。その結果、データ製品イニシアチブは、予測モデリングや規範的モデリングなどの高度な分析を使用してビジネス上の疑問を解決できるようになります。

適切に構造化されたデータ製品は、組織のデータ・エコシステム内で機能性と使いやすさを実現する複数の構成要素で構成されています。

• データ・ソース：データの起源は、データベース、データウェアハウス、データレイク、データレイクハウス、リアルタイム・データ・ストリームを含みます。

• データ・パイプライン：取り込み、クリーニング、変換、および分析に適した構造化形式へのデータの読み込みを行う自動ワークフロー。

• データ￥モデルとスキーマ：データ構成を標準化し、アクセシビリティーとセマンティックの一貫性を強化する定義済みの構造。多くの場合、これらは照会とトランスフォーメーションを実行する上でSQLに依存します。

• インターフェースとAPI : ビジネス・アプリケーションやアプリとの統合を容易にし、シームレスで安全なデータ・アクセスを保証するメカニズム。

• 視覚化とダッシュボード：インタラクティブなレポートや分析的表示を通じて洞察を提示し、データの解釈を支援する、ユーザーフレンドリーなツール。

• MLモデル：データ内のパターンを分析する予測アルゴリズムで、高度なコンピューティングによって情報に基づいた意思決定をサポートします。

• セキュリティーおよびガバナンス管理：データ完全性とセキュリティーを維持するために、データ・ガバナンス規制の遵守、データ・リネージュの追跡、アクセス制御の管理を保証するための方針と対策。

データ製品は、データの品質と改良レベルに基づいて分類できます。データ製品の種類には、次のようなものがあります。

構造化された製品管理ライフサイクルに従うことで、データ・チームは、継続的に価値があり、拡張性が高く、進化するビジネス・ニーズに合わせたデータ製品を構築できます。

データ製品ライフサイクルの主要な段階は次のとおりです。

1. 定義：ビジネス目標、ユースケース、設計仕様、データ契約を定義します。これには、利用規約、サービスレベル契約などの項目が含まれます。
   
   
2. 開発：テーブル、ビュー、モデル、ファイル、ダッシュボードなどのデータ製品コンポーネントを構築します。次に、データ契約に対してテストを行います。
   
   
3. パッケージ：データ製品コンポーネントを再利用可能なパッケージにまとめ、ビジネス・メタデータと技術メタデータを追加して、データ・カタログやその他のデータ・ストレージ・ツール内で容易に検出できるようにします。
   
   
4. 管理：データ契約に従ってデータ製品のアクセス権限を管理します。
   
   
5. 公開：検出のために、データ製品をポータルに公開します。
   
   
6. 消費：組織全体の消費者がデータ製品に容易にアクセスして、さまざまな課題に対処できるようにします。消費者からのフィードバックを収集し、将来的な反復に向けて強化を図ります。
   
   
7. 監視と反復：利用状況、品質、アクセスの監視など、継続的な活動を行います。公開されたデータ製品のバージョン変更のためのリリース管理を実施します。
   
   
8. 廃止：使用量の不足やコンプライアンス違反などの理由でデータ製品を廃止します。製品を非推奨化し、消費者に情報を提供し、製品をアーカイブし、リソースをクリーンアップします。

様々な業界の組織が、ビジネス価値を高め、戦略的取り組みをサポートし、重要なビジネス上の問題を解決するためにデータ製品を活用しています。

データ製品の実例には、次のようなものがあります。

• ある大手全国銀行は、リアルタイムの信用リスク・スコアリングからAIチャットボットまで、複数のチャネルにわたる60の多様なユースケースをサポートする単一の顧客データ製品を実装しました。その結果、同行は年間6,000万ドルの追加収益を得て、4,000万ドルの損失を回避しました。
  
  
• ある消費財（CPG）企業は、データ活用を合理化し、効率性と拡張性を向上させるためにデータ製品を導入しました。50以上の部門横断的なチームを編成し、データ駆動型ソリューションの実装に取り組んだ結果、同社は2年間でEBITDAを18%増加させました。

データ製品の開発を成功させるには、データ消費の理解、データ相互作用のマッピング、市場価値のテスト、規模拡大のための反復など、戦略的なアプローチが必要です。

データ製品を構築する最初のステップは、現在の組織内のデータ消費量を分析することです。このステップでは、ターゲット・ユーザーを特定し、ユーザーが消費するデータと、そのデータがユーザーにとって重要である理由を理解します。

データ使用量を量、頻度、感度、種類の観点から検証することで、どのデータセットが最も価値があるかについての知見が得られます。影響力の高いユーザー・グループを優先することで、組織はビジネスに大きく影響する可能性が最も高い領域に最初の作業を集中させることができます。

データ消費パターンが明確になったら、次のステップはデータ・ジャーニーのマッピングです。現実世界のデータの相互作用の詳細なマップを作成すると、さまざまなシステムやチーム間でデータがどのように流れるかを視覚化することができます。

これらのマップは、データ製品の新しい収益を生み出すユースケースをブレインストーミングするための基礎として機能できます。データ製品がビジネス・プロセスをどのように改善できるかについて仮説を立てることは、組織が未加工データを意味のある実行可能な洞察に変える方法を模索し始めるのに役立ちます。

検証済みの洞察があれば、次のステップは反復と拡張です。組織は、中央のITチームだけに頼るのではなく、ビジネス・ドメインやチームにデータ製品を改良・強化する権限を与えることで、俊敏性とイノベーションを促進することができます。いったん改善がなされれば、プロジェクトはより多くのチームやドメインに拡大することができ、データ製品が効果的に拡張され、ビジネス価値を高め続けることが可能になります。