データの民主化：データ・アーキテクチャーがビジネス上の意思決定とAIへの取り組みを推進するための方法

データ民主化は、5年前のデジタル・トランスフォーメーションという用語と同様に、IT 部門から経営幹部に至るまでの組織で人気の流行語となっています。これは、単純にデータ・アクセスを増やす方法としてよく説明されますが、この移行はそれをはるかに超えたものです。効果的に実装されると、データ民主化がデータスタックを簡素化し、データゲートキーパーを排除し、さまざまなチームがダッシュボードを介して会社の包括的なデータプラットフォームに簡単にアクセスできるようになります。

技術的な側面にとどまらず、目標ははるかに高いものです。データの民主化がうまくいけば、データサイエンティストだけでなく、誰もがデータを使って作業できるツールを従業員に与えられます。従業員の好奇心を刺激し、イノベーションを促進することができます。従業員が適切なデータを利用することで、問題の解決に必要なデータが提供されるだけでなく、真のデータリテラシー組織となり、「データを使って他に何ができるだろうか」と従業員が自問するようになります。

この記事では、データの民主化がもたらすメリットと、企業がこの新しいデータへのアプローチに移行するにあたって向き合う課題をどのように克服できるかを探ります。

データの民主化は、技術的な背景に関係なく、組織内の誰もが必要なデータに簡単にアクセスし、使用し、話し合うことができるシステムを作成し、ツールを導入することで、企業がデータ駆動型の意思決定を行うのに役立ちます。同意を得て提供されたデータを従業員や顧客や潜在顧客のアウトプットとして見るのではなく、今では戦略的な意思決定をするための足がかりとなっています。

真のデータ民主化のためには、従業員と消費者の両方が、データの価値を最大化するために、使いやすい形式でデータを入手する必要があります。また、組織全体にわたるデータ・リテラシーも必要です。従業員とリーダーは、データが正確であると確信でき、データにアクセスする方法を理解し、ビジネス上の問題にどのように適用できるかを知っている必要があります。さらに、データの正確性を検証し、そのセキュリティーを確保し、いつどのように使用すべきかに関するガイダンスを提供または遵守できる、データ・リテラシー・スキルも備えている必要があります。

データの民主化は、しばしばデータの透明性と混同されます。データの透明性とは、データの場所やデータを作成したアプリケーションに関係なく、データの正確性とデータへの容易なアクセスを確保するプロセスを指します。一方、データの民主化とは、ストレージ・アーキテクチャーからデータ管理、データ・セキュリティーに至るまで、データに関連するすべてのプロセスの簡素化を指します。また、新しい種類の従業員トレーニングの導入からデータ・ストレージのための新しいポリシーの作成まで、組織全体のデータ・ガバナンスのアプローチも必要です。

データ民主化には、静的データの保存を目的とした従来の「保存データ」アーキテクチャから脱却する必要があります。従来、データは予約情報と見なされ、顧客との対話中やプログラムの実行中にのみ呼び出されていました。今日、企業によるデータの使用方法ははるかに流動的です。データ・リテラシーの高い従業員は、何百ものアプリでデータを使用し、データを分析してより良い意思決定を行い、さまざまな場所からデータにアクセスします。

データの民主化では、今日のビジネスのリアルタイムの運営方法に合わせて設計された、目的に合ったデータ・アーキテクチャーを使用します。クラウドとオンプレミスの両方に分散されているため、クラウド、アプリ、ネットワーク、保存データなど、さまざまな場所での広範な使用と移動が可能になります。データの民主化のために設計されたアーキテクチャーは、データと人工知能（AI）を大規模に使用できるように、柔軟性と統合性があり、アジャイルかつ安全であることを目指しています。ここでは、データの民主化に適したタイプのアーキテクチャーの例をいくつか紹介します。

データ・ファブリック

データ・ファブリック・アーキテクチャーは、データ・プラットフォームとユーザーが情報を操作するアプリケーションを接続することで、組織内でのデータ・アクセスを簡素化し、セルフサービスのデータ消費を実現するよう設計されています。データ・サービスとAPIを活用することで、データ・ファブリックはレガシー・システム、データレイク、データウェアハウス、SQL Databaseからデータをまとめて、ビジネス・パフォーマンスの全体像を把握することもできます。

データ・ファブリック内のデータはメタデータを使用して定義され、データレイクに保存される場合があります。データレイクとは、ビジネス分析、機械学習、その他の広範な用途向けに構造化、半構造化、非構造化の大規模なデータを格納する低コストのストレージ環境です。

データ・メッシュ

データの民主化のもう1つのアプローチは、特定のビジネス・ドメインごとにデータを整理する分散型アーキテクチャーであるデータ・メッシュを使用します。ナレッジ・グラフ、セマンティクス、AI／MLテクノロジーを使用して、さまざまな種類のメタデータのパターンを発見します。続いて、これらの洞察を適用し、データのライフサイクルを自動化し、オーケストレーションをします。データレイク内で抽出・変換・ロード（ETL）オペレーションを処理する代わりに、データ・メッシュはデータを複数のリポジトリー内のプロダクトとして定義し、それぞれにデータ・パイプラインを管理するための独自のドメインを与えます。

軽量サービスが結合されたマイクロサービス・アーキテクチャーと同様、データ・メッシュは機能ドメインを使用してデータに関するパラメーターを設定します。これにより、組織全体のユーザーは、データを、広範囲にアクセスできる製品のように扱うことができます。例えば、マーケティング、営業、カスタマー・サービスの各チームには独自のドメインがあり、特定のデータセットのプロデューサーの所有権を高めながら、異なるチーム間での共有も可能にします。

データ・ファブリックおよびデータ・メッシュの各アーキテクチャーは相互に排他的ではなく、相互に補完して使用することもできます。例えば、データ・ファブリックは、データ製品をより速く作成し、グローバル・ガバナンスを適用して複数のデータ製品の組み合わせをより簡単にオーケストレーションするなど、データ・メッシュの重要なプロセスを自動化できるため、データ・メッシュをより優れたものにすることができます。

詳細を読む：データ・ファブリックとデータ メッシュ：どちらが適しているか

より多くの組織がデータの民主化の文化に向けて推進し、データ・リテラシー文化をサポートするアーキテクチャーを構築しようとするにつれて、その過程でさまざまなメリットを享受するとともに、いくつかの課題にも直面するでしょう。データ民主化に向けた組織変革の際に考慮すべきメリットと潜在的なリスクには次のようなものがあります。

生産性を高める

多くの企業は、サイロを排除し、部門全体でデータをさらに活用するために、データの民主化に取り組んでいます。必要なデータ統合により、データのボトルネックが軽減され、ビジネス・ユーザーはビジネス上の意思決定を迅速に行うことができ、技術ユーザーは自身のスキルセットをより有効活用できるタスクを優先できるようになります。その結果、効率と生産性が向上します。

セキュリティー

データ・セキュリティーは最優先事項です。データの民主化は本質的に、データ・ガバナンスとデータの整合性に対する慎重かつ継続的な注意を必要とすることから、企業がデータ・セキュリティー・プロセスを改善するのに役立ちます。監視を行い、適切なデータを適切な人々の手に渡すことに重点を置いているため、結果として、より包括的なデータ・セキュリティー・ストラテジーを策定できます。

データの沼地のリスク

データ・スワンプとは、データレイクの管理が不十分な場合に生じる結果です。つまり、適切なデータ品質やデータ・ガバナンス策が備わっておらず、洞察に満ちた学習が得られない上にデータが役に立たなくなる状態を指します。あまりにも多くの企業がデータ品質の低さに苦労しています。データの民主化は、包括的な監視とデータ・ガバナンスによってこの問題に取り組むことを目指しています。データを製品として認識することで、データを適切に管理するインセンティブが高まります。

アジャイルなデータ使用

データの民主化は、データ・グラビティーの問題、つまりデータのサイズが大きくなるにつれて移動が難しくなるという考えに対抗するものです。顧客データの大規模な保管などに対して、より戦略的にアプローチすることで、企業の規模が拡大してもアクセスを維持できるようになります。

ユーザーフレンドリーなツール

データの民主化は、データにアクセスするツールを使いやすくすることによって、技術者以外のユーザーがデータをより利用しやすくすることを目指しています。これには、使用に高度な技術スキルやデータ分析の深い理解を必要としないツールが含まれます。

ビジネス運営におけるあらゆる大きな変化と同様に、企業はデータ民主化の目標を達成するために包括的なデータ・ストラテジーを策定する必要があります。そのための主な手順は次のとおりです。

• ビジネスとデータの目的の明確化 – 貴社の目標は何ですか。データとAIの目的は何ですか。データの民主化には、データとビジネス目標が一致することが重要です。利害関係者の専門知識を活用することで、包括的で現実的な目標を達成できます。
• データ監査の実施 – 現在、データはどのように管理されていますか。機能しているもの、機能していないものを調査し、ボトルネックや、より優れたツールとアクセスを増やす必要がある領域を特定します。データ管理の現在の状態を理解することは、組織がどのような変更を行う必要があるかを理解するのに役立ちます。
• データ・フレームワークのマッピング – データの完全な民主化を達成した場合、どのようなものになるでしょうか。その目標に向けた道筋を設計し、アプリケーションのモダナイゼーション、データ分析、オートメーション、AIが目標達成にどのように役立つかを定義します。
• コントロールの確立 – ここでは、組織全体のコンプライアンスを確保するためにデータの連携を活用します。データ標準とプロセスはどのように伝達され、実施されるのでしょうか。この手順を使用して、データ・ガバナンス・ポリシーを作成および実装します。
• データの統合 – 組織が部門間の可視性の欠如に悩まされることは珍しいことではありません。データの民主化を実装するということは、これらのサイロを打破し、導入を促進する方法でプロセスを効果的に統合する方法を設計することを意味します。
• 従業員のトレーニングと権限付与 – データの民主化の導入を成功させるには、従業員がデータにアクセスし、効果的に使用するための、適切なレベルのデータ・リテラシーを身につける必要があります。データ・リテラシーを導入し、新しい採用プロセスの一部に組み込むようデータ・リーダーに進言します。データの民主化によって業務成果がどのように改善され、顧客体験が向上するかについて、従業員をトレーニングします。

データの民主化へのプロセスが始まると、チームは、AIや機械学習などの新しいツールの進歩を含め、この新しいデータ・パラダイムが何をもたらすのかを検討し始めることができます。ここでは、企業がデータの民主化を使用して、より広範なAIの導入を可能にする方法をいくつか紹介します。

AIのユースケースの定義

ビジネス・アナリティクスと自動化の優先順位について話し合い、最初にどこからAIを導入するかを決定します。例えば、社内向けのビジネス インテリジェンス レポート、リアルタイムのカスタマー・サービス用チャットボット、さまざまなビジネスチーム向けのセルフサービス分析を開発するための分析ツールに投資することが考えられますこれらのAIツールは一度に実装するのは管理できない可能性が高いため、最初にAIを使用するのに最適な領域を定義します。

データ・セットの特定

社内のすべてのデータがAIやAIのユースケースに適しているとは限りません。データセットを調査して、どのデータセットがさらなる研究に適しているかを判断し、関連するユースケースへの取り組みに役立つかどうかを確認します。データの民主化が進むことで、企業はこのプロセスを推進するためのデータの品質と可用性、および各ユースケースのROIについて、より深い洞察を得ることができます。

MLOpsによるスケーラビリティの実現

機械学習（ML）モデルの開発は、エラーが発生しやすく、時間がかかることで知られています。MLOpsは、ビジネス・データから洞察を抽出しやすくするプロセスを作成します。また、MLモデル構築プロセスを自動化するために設計された事前構築済みMLモデルを使用する機械学習オペレーション（MLOps）によってプロセスを最適化します。

AI の透明性を確保する

データの民主化により、データ収集、モデル構築、デプロイ、管理、監視の可視化が可能になります。その結果、市場性のあるAI駆動型製品が増え、説明責任が高まります。

データの民主化には2つの重要な要素があります。それは、適切なデータ・アーキテクチャーから始まるということ、そして適切なオートメーションとAIソリューションによってさらに強化されるということです。IBMは、データ・ファブリック・アーキテクチャーを設計および実装するための最新のアプローチを提供します。これにより、組織は、ハイブリッド環境とマルチクラウド環境にまたがるすべてのデータをAIとデータ分析に利用できるようになる統合プラットフォームで、データ・ファブリックのメリットを享受できるようになります。

Watsonxは、主要なワークフローにおける生成AIの効果を加速し、生産性を向上させるAI製品ポートフォリオです。このポートフォリオは、新しい基盤モデル、生成AI、機械学習のためのwatsonx.aiスタジオ、データレイクの柔軟性とデータウェアハウスのパフォーマンスを実現する目的に応じたwatsonx.dataストア、責任・透明性・説明可能性を備えたAIワークフローを構築するwatsonx.governanceツールキットの、3つの強力なコンポーネントで構成されています。

watsonxは、組織に次の機能を提供します。

1. watsonx.aiでビジネス全体でAIをトレーニング、チューニング、デプロイ
2. watsonx.dataの活用で、あらゆるデータを対象に、あらゆる場所でAIワークロードを拡張
3. watsonx.governanceで、責任・透明性・説明可能性を備えたデータとAIワークフローを実現