Data as a Product（DaaP）とは

「Data as a Product」という概念は、データ資産の可能性を最大限に活用したい組織の注目を集めています。

DaaPのもとでは、未加工データは、構造化されていてアクセスしやすい価値ある製品へと姿を変えます。この転換は組織にとって、ドキュメント、データ・セット、デジタル記録など、数十年にわたって蓄積してきたデータへの見方を変える契機となり、組織はこうしたデータを、戦略的な意思決定や顧客エンゲージメントに不可欠な洞察が詰まったリポジトリーとして捉えるようになります。

データの可能性はサイロ内で不明瞭になっていることが多く、アクセスできず、十分に活用できていないことが多々あります。DaaPは、アクセシビリティー、ガバナンス、ユーティリティーを重視したデータ管理への体系的なアプローチを支持し、こうした状況からの脱却に役立ちます。DaaPの方法論は、データは他の消費者製品と同様に、ユーザー（顧客、従業員、パートナーなど）の特定のニーズを満たすために細心の注意を払って管理および整理されるべきであるという原則に基づいています。

DaaPとデータ製品は関連していますが、データ管理においては異なる目的を果たします。

DaaPは、データ管理のための総合的な方法論であり、特にデータ・メッシュの原則の文脈において、データを組織内外の様々なユーザーに提供できる市場性のある商品として扱うように設計されています。DaaPには、コード、そのデータ、メタ・データ、およびそれを実行するために必要なインフラストラクチャーが含まれています。

小売企業向けに設計された顧客インサイト・プラットフォームは、DaaPの良い例です。このプラットフォームは、店舗での購入、オンライン・ショッピングでの行動、顧客サービスとのやり取り、ソーシャルメディアでのエンゲージメントなど、複数のタッチポイントにわたって顧客データを集約し、各ユーザーの好み、行動、購入パターンの包括的なビューを作成します。

対照的に、データ製品はデータを活用して、分析ダッシュボードや予測モデルなどの実用的なインサイトやソリューションを提供することに重点を置いています。これらは特定の問題に対処し、高度なデータ処理技術によってサポートされ、プロダクト・マネージャー、データ・サイエンティスト、エンド・ユーザーなどの幅広いユーザーをサポートしています。データ製品の例としては、ビジネス分析ダッシュボード、チャットボット、さらには、Amazonで買い物をするときに表示されるようなレコメンデーション・システムなどが挙げられます。

どちらの概念も、データ管理とガバナンスという共通の基盤の上に成り立っており、データの本質的な価値を最大化することを最終的な目標としています。

企業が高度なデータ・ストレージ・テクノロジーに投資し始めて、データに広範にアクセスし、ビジネス・インサイトを生み出し、意思決定を自動化するために使用できるようになると、データ・エンジニアは、ソリューションを意図したとおりに拡張できないため、さまざまな課題に直面しました。データにはエラーが多く、不完全で、意味や真実性が欠けていることが多く、また、エンジニアはこうしたデータを生成したソース・ドメインをほとんど把握していなかったため、知らないことや理解していないことを修正するのに苦労していました。

データ・エンジニアは、最新の分散アーキテクチャーの設計へのアプローチを変える必要性を認識しました。彼らは、サポートすることを目的としている特定のビジネス・ドメインを中心にアーキテクチャーを整理する新しい方法論を採用することの重要性を認識していました。このアプローチは、機能的でユーザー・フレンドリーなセルフサービスのデータ・インフラストラクチャーを開発するために、プロダクト思考を取り入れたものです。¹

プロダクト思考は、製品の特徴だけではありません。ユーザーの共感を呼び、市場で目立つような有意義なソリューションを生み出すことです。この理念は、アイディエーションからローンチ、イテレーションまで、製品開発プロセスのあらゆる段階に影響します。エンジニアは、データをプロダクトとして扱うことで、組織内でのデータの活用と価値を大幅に高めることができることに気付きました。

データ・セットを製品として扱うアプローチを採用するにあたって、特定のビジネス領域のドメインチームが作成され、組織全体でデータの管理と普及を担当し、データの主な利用者（通常はデータサイエンティストやエンジニア）のユーザー・エクスペリエンスを中心に据えることができます。

これらのドメイン・チームは、包括的なドキュメント、堅牢なテスト環境、明確なパフォーマンス指標をもって、API（アプリケーション・プログラミング・インターフェース）を介してデータを共有します。

DaaPを成功に導くには、次の要件を満たす必要があります。

1. 簡単に発見できる
2. 対応可能
3. 高い信頼性
4. 十分に文書化されている
5. 他のデータ製品との連携が可能
6. 安全性

つまり、DaaPの方法論では、データは見つけやすく、信頼性が高く、それが何を表すものであるかが明確で、他のデータと統合でき、不正アクセスから保護されている必要があります。

DaaPが空の旅で、すべてのデータが航空会社の旅行者であると想像してみてください。組織とユーザーは、すべてのデータ・ポイントがどこから来たのか、どのような変革を経たのか、そして最終的にどこに向かうのかを知る必要があります。これはデータ・リネージュと呼ばれ、効果的なDaaP導入の重要な要素です。IBM InfoSphere、AWS Glue、Cloudera Data Hubなどのツールを使用して、組織はメタデータを管理し、データ・ジャーニーを追跡して、透明性を確保し、混乱を避けることができます。

各旅行者を適切な検査を受けたら、飛行機に搭乗します。航空会社が乗客に対応できるほど大きくて頑丈な飛行機を確保する必要があるのと同様に、組織はスケーラブルなインフラストラクチャーを使用して、増大するデータ量と多様なアクセス要求に対応する必要があります。組織の特定のビジネス・ニーズや市場セグメントに応じて、組織が選択できるクラウド・ベースのプラットフォーム、オープンソース・ソリューション、商用プラットフォームから選択することもできます。

フライト情報が必要ですが、システムがダウンしている状況を想像してみてください。これは旅行者の信頼を損なうものであり、航空会社の信頼性が低く、非効率であると思われてしまいます。したがって、DaaPツールは一貫したパフォーマンスを発揮する必要があります。また、組織がデータの復旧と冗長性に関する明確な計画とレポートを作成しておく必要がある理由もここにあります。

セキュリティーのない空の旅はあり得ません。DaaPにも同じことが当てはまります。ロールベースのアクセス制御、データの暗号化、侵入検知システムなどのセキュリティー機能により、機密データを保護し、GDPRやHIPAAなどの規制への準拠を保証できます。データ品質の監視、カタログ化、変更管理などのガバナンス慣行により、組織のデータの信頼性とアクセシビリティーを向上させることができます。

DaaPの中核にあるのは、データ・セットの綿密なオーケストレーションです。これらのデータ・セットは、大規模なデータ・パイプラインの設計、構築、管理を含むデータ・エンジニアリング・プラクティスによってキュレーションされます。これらのパイプラインは、エンド・ツー・エンドのプロセスを通じてデータ・ソースからデータを転送し、未加工データをデータウェアハウスまたはデータレイクに保存される構造化された高品質の情報に変換します。データ・プラットフォームはこれらの運用の基盤であり、データチームがデータ分析やデータサイエンスのタスクを効率的に実行するために必要なインフラストラクチャーとツールを提供します。

データ・モデルとスキーマは、データウェアハウスまたはデータレイク内でデータがどのように整理、保存、関連付けられるかを定義するため、このコンテキストでは非常に重要です。これらは、データ・コンシューマー（データに基づいて洞察を導き出し、アプリケーションを構築するビジネス・アナリスト、データサイエンティスト、アプリケーション開発者）にとって、データが検出可能、アクセス可能、使用可能であることを保証します。SQL（構造化クエリ言語）は、データとやり取りを行うための重要なツールであり、データ・ユーザーが特定のニーズに合わせてデータ・セットを照会リ、操作、分析できるようにします。

データチームは、メトリクスを使用してデータ製品の品質、性能、価値を評価します。これらのメトリクスは、反復と継続的な改善プロセスをガイドし、データ・コンシューマーからのフィードバックやビジネス要件の変化に応じてデータ製品を改善できるようにします。

APIは、データ製品をエンドユーザーやアプリケーションに配信するための経路です。アクセスを容易にし、データ・コンシューマーが運用レポートから高度な機械学習や人工知能（AI）プロジェクトまで、さまざまなユースケースでデータを統合して使用できるようにします。この統合機能は、DaaPライフサイクルにおいて適切に設計されたAPI戦略の重要性を強調し、データがアクセス可能であるだけでなく、実用的であることを保証します。

DaaPに機械学習とAIを適用することで、企業は予測的なインサイトを引き出し、意思決定プロセスを自動化することができます。過去データに基づいて学習した機械学習モデルを活用することで、企業は将来のトレンドを予測し、業務を最適化し、パーソナライズされた顧客体験を実現できます。このデータの高度な利用は、DaaPの反復的な性質を浮き彫りにしています。DaaPでは、新しいデータ、新たなユースケース、データ・コンシューマーからのフィードバックに基づいて、データ製品が継続的に改良および強化されます。

DaaPは、作成時から保守、そして時間の経過に伴う進化まで、データ製品のライフサイクルを管理することを支持しています。これには、計画、開発、展開、反復などの一連の段階が含まれており、各段階でデータチーム、ビジネスの利害関係者、データ・コンシューマー間の緊密なコラボレーションが必要です。このライフサイクル・アプローチにより、データ製品の関連性と価値が維持され、ビジネス目標との整合性が保証されます。

組織内でデータをより有用なものにするためには、データ・セットが見つけやすく、信頼でき、他のデータとうまく連携できることが不可欠です。組織内でDaAPデータを簡単に見つけてアクセスできるようにするためには、一元化されたレジストリまたはカタログの実装が不可欠です。このレジストリには、オーナーシップ、ソース、リネージュなどのメタ・データを含む、入手可能なすべてのDaAPデータを詳細に記述する必要があります。これにより、データ・コンシューマー、エンジニア、サイエンティスト者が関連するデータ・セットを効率的に見つけることができます。

データの真実性に関するサービス・レベル目標（SLO）を定め、最初から厳格なデータ・クレンジングと完全性テストを適用することで、組織はデータに対するユーザーの信頼を強化できます。さらに、データは自己記述型で、相互運用性のためのグローバル標準に準拠しており、さまざまなドメイン間のデータ統合を可能にする必要があります。このエコシステムでは、データ・プロダクトの所有者とエンジニアの役割が非常に重要であり、ユーザーの満足度と品質基準を満たすDaaPデータのライフサイクル管理を定義し、推進します。このアプローチでは、データとソフトウェアのエンジニアリング・スキルの融合が求められるだけでなく、テクノロジー環境の中でイノベーション、スキルの共有、部門間のコラボレーションの文化を促進することも重要です。

DaaPは、データの管理、選択、カスタマイズ、提供に消費者ベースの製品原則を反映し、すべてのデータを価値のある製品と見なすことを企業に奨励します。このアプローチは、顧客中心のツールと考え方に支えられており、作成者から消費者まで高品質のデータのシームレスなフローを促進します。データを店舗で見る商品だと想像してください。DaaPでは、組織は物理的な商品と同じ配慮と注意を持ってデータを扱う必要があります。

つまり、本当に有用なデータのみを収集して保存し、データが明確に整理され、ユーザーフレンドリーに提示されるようにし、データが業界やドメインの文脈に確実に適合するようにすることを意味します。これらのピースが適切に配置されていると、DaaPは組織内で高品質のデータを提供することができます。オイルは処理され、機械の運転に役立っています。

組織内でDaaPアプローチを適用するということは、利害関係者の足並みを揃えて情報を提供し続けること、データが高品質の製品として扱われ管理されるという考え方を育むこと、そして分散型データ・アーキテクチャーの開発アプローチであるデータ・メッシュの主要原則の1つであるセルフサービス・ツールを構築または投資することを意味します。

DaaPの導入には、データ・プライバシーに関する懸念、変化に対する組織の抵抗、従業員のデータ・リテラシーの向上の必要性などの課題があります。これらのハードルを克服するには、戦略的な計画、組織の賛同、テクノロジーと人材への投資が必要です。

さまざまな地域やルールが含まれるグローバル・マーケットプレイス全体でデータ・プライバシー規制を理解し遵守することは、克服すべき大きなハードルです。組織は、DaaP製品をあらゆる場所の厳格な規制に準拠させるため、専門知識とリソースを必要としています。

データ侵害がニュースになる可能性があり、消費者は組織がデータをどのように使用するかについてますます認識しています。ユーザー・ベースの信頼を獲得するには、透明性のあるデータ処理慣行と、DaaP内でのデータ使用量に関する明確な文書化を通じて信頼を構築することが欠かせません。DaaPを検討している組織には、データを侵害や不正アクセスから保護するための強固なセキュリティー対策が必要です。これには、暗号化、アクセス制御、データ・ガバナンス・フレームワークの実装が含まれます。

DaaPを成功させるためには、適切なハードウェアとソフトウェアを用意するだけではありません。新しいツールには、常に変化への抵抗が伴います。確立された組織文化は、DaaPによって導入されたデータの所有権、共有、アクセシビリティーの変更に抵抗する可能性があります。効果的な変更管理戦略と明確なコミュニケーションは、さまざまな部門がコントロールや競争上の優位性の喪失を恐れることなく、進んでデータを共有できるようにするために不可欠です。コラボレーションを促進し、すべての利害関係者にDaaPのメリットを示すことは、データ・ガバナンスと製品の所有権の重要かつ明確な役割と責任を確立することで、混乱や無秩序を避けるためです。

DaaPイニシアチブを成功させるための人間の課題は、それだけではありません。DaaPでは、組織全体がデータに注意を払う必要があるため、組織ではデータ・リテラシーが不足している従業員とギャップに遭遇する可能性があります。さまざまなレベルの従業員がDaaPの技術面やビジネス価値を十分に理解していない可能性があります。研修と教育プログラムがこのギャップを埋めるのに役立ちます。多くの従業員は、DaaP製品を分析して洞察を抽出するのに苦労するかもしれませんが、ユーザー・フレンドリーなツールとデータ・リテラシーのトレーニングを提供することで、その力を高めることができます。さらに、技術チームは複雑なデータの洞察を、技術に詳しくない利害関係者向けに実用的な情報に変換する必要があります。