データ管理とは

トップクラスの業績を上げているCEOの72％は、競争上の優位性は最先端の生成AIを誰が手にしているかにかかっているという点で一致しています。ただし、人工知能（AI）を活用するためには、組織はまず情報アーキテクチャーを整理して、データにアクセスして使用できるようにする必要があります。データ管理の基本的な課題には、データ量、複数の場所やクラウド・プロバイダーにわたるデータサイロが含まれます。新しいデータ型や、ドキュメント、画像、動画などのさまざまな形式にも課題があります。また、複雑で一貫性がないデータセットは、組織がAIにデータを使用する能力を制限することがあります。

これらの課題の結果、ビッグデータがもたらす課題に対処するために、組織にとって効果的なデータ管理ストラテジーの優先度がますます高くなりました。柔軟で最新のデータ管理システムは、組織内の既存のテクノロジーと統合され、データサイエンティスト、AIおよび機械学習（ML）エンジニア、組織のビジネス・ユーザーが高品質で使用可能なデータにアクセスできます。

完全なデータ管理ストラテジーでは、次の方法を含むさまざまな要因が考慮されます。

• 構造化データおよび非構造化データを含むさまざまなソースから、またハイブリッドや複数のクラウドからデータを収集、統合、保管します。
  
  
• 複数の場所に保管されたデータの高可用性、回復力、災害復旧を維持します。
  
  
• 目的に合ったデータベースを構築または取得して、さまざまなワークロードや価格性能のニーズに対応します。
  
  
• 組織間でビジネス・データとメタデータの共有を促進し、セルフサービス、コラボレーション、データへのアクセスを強化します。
  
  
• コンプライアンス要件の遵守を支援し、データ・プライバシー要件を満たしつつ、データを保護および管理します。
  
  
• エンドツーエンドの統合、ガバナンス、リネージュ、オブザーバビリティー、Master Data Management（MDM）により、作成から削除までのデータ・ライフサイクルを管理します。
  
  
• データ管理のための生成AIにより、データ検出と分析を自動化します。

生成AIアプリケーションを構築するためのデータ管理ツールは広く利用されていますが、データそのものが顧客と企業の両方にとって価値を持っています。モデルを適切にトレーニングするには、大量の高品質データを適切に整理して処理する必要があります。このアプローチは、最新のデータ管理のユースケースとして急速に拡大しています。

たとえば、2023年のウィンブルドン選手権では、1億3,000万件のドキュメントと270万件の関連するコンテキスト化されたデータ・ポイントからの情報にリアルタイムでアクセスした生成AI駆動型のコメンタリーが提供されました。トーナメントアプリまたはウェブサイトを利用する訪問者は、試合が進むにしたがっていつでも、詳細な統計情報、プレイごとのナレーション、ゲーム解説だけでなく、勝者の正確な予測にアクセスできました。適切なデータ管理ストラテジーを立てることで、貴重なデータが常に利用可能で、統合され、管理され、安全かつ正確であることを保証できます。

生成AIは、使用されるデータの強度に依存するAIストラテジーにより、組織に強力な競争上の優位性をもたらします。多くの企業は依然として基本的なデータ問題に苦慮しており、それが、より多くのデータを必要とする生成AIの需要によってさらに悪化し、データ管理の頭痛の種をさらに増やしています。

データは複数の場所、アプリケーション、クラウドに保管される場合があり、多くの場合、分離されたデータ・サイロが形成されます。さらに複雑なことに、データの用途の多様化により、画像、動画、文書、音声など、さまざまな形式の複雑なデータが存在します。データのクリーニング、統合、準備にはさらに多くの時間が必要です。これらの課題により、組織は分析やAI目的でのデータ資産全体の使用を回避する可能性があります。

しかし、データ・アーキテクチャ、ガバナンス、セキュリティのための最新ツールを備えることで、データを効果的に使用して新たな洞察を獲得し、一貫してより正確な予測を行うことができます。この機能により、顧客の好みをより深く理解できるようになり、データ分析から得られた洞察を提供することで顧客体験（CX）を向上させることができます。さらに、モデル・トレーニング用の高品質データの基盤を必要とする生成AIに依存したサービス提供など、革新的なデータ駆動型ビジネス・モデルの開発を促進します。

データおよび分析のリーダーは、ハイブリッドクラウドの導入におけるデータ環境の複雑さが増しているため、組織変革を進める際に大きな課題に直面しています。生成AIとAIアシスタント、機械学習（ML）、高度な分析、モノのインターネット（IoT）、そしてオートメーションも、効果的に機能するには、膨大な量のデータが必要です。このデータは、適切なデータ基盤を構築するため、保存、統合、管理、変換、準備する必要があります。また、AIのための強力なデータ基盤を構築するために、組織はオープンで信頼できるデータ基盤の構築に注力する必要があります。つまり、オープン性、信頼性、コラボレーションを中核とするデータ管理ストラテジーの策定が重要だということです。

このAIの要件は、Gartner社のアナリスト¹によって次のように要約されています。「AI対応データとは、AIモデルを特定の用途に合わせてトレーニングまたは実行するために必要なすべてのパターン、エラー、外れ値、予期せぬ創発など、ユースケースを代表するデータでなければならないということです。」

データおよび分析の経営幹部は、AIが準備したデータは高品質のデータと同じであると感じるかもしれませんが、AI以外の目的で高品質のデータを使用する基準は、必ずしもAI対応の基準を満たしているわけではありません。たとえば、分析の領域では、通常、外れ値を排除したり、人間の期待に応えたりするためにデータが改良されます。ただし、アルゴリズムをトレーニングする場合には、代表的なデータが必要です。

データ・ガバナンスは、データ管理のサブセットです。つまり、データ・ガバナンス・チームが、異種のデータセット間の共通点を特定し、それを統合する場合、データベース・アーキテクチャー・チームまたはエンジニアリング・チームと協力して、連携を促進すると同時にデータ・フローを円滑にするためのデータ・モデルとデータ・アーキテクチャーを定義する必要があるということです。別の例は、データ・アクセスに関連するものです。データ・ガバナンス・チームは、個人情報（PII）といった特定のタイプのデータへのアクセスに関するポリシーを設定できますが、データ管理チームは、直接アクセスできるようにするか、あるいは、社内で定義されたユーザーの役割を調整してアクセスを承認するといったように、アクセスできるようにするためのメカニズムを設定することになります。

堅牢なデータ・ガバナンスのための取り組みといった、効果的なデータ管理は、規制コンプライアンスの順守に役立ちます。このコンプライアンスには、一般データ保護規則（GDPR）やCalifornia Consumer Privacy Act（CCPA）といった国内外のデータ・プライバシー規制に加え、業界固有のプライバシーおよびセキュリティー標準が含まれます。これらの保護措置を検証するために実証したり、監査を受けたりする際には、包括的なデータ管理ポリシーと手順を策定することが極めて重要になります。

最新のデータ管理ソリューションを使用すると、多様なデータセットにわたるデータとメタデータを効率的に管理できます。最新のシステムは、最新のデータ管理ソフトウェアと信頼性の高いデータベースまたはデータ・ストアを使用して構築されます。これには、トランザクション・データレイク、データウェアハウスまたはデータレイクハウスと、データ取り込み、ガバナンス、リネージ、オブザーバビリティー、Master Data Managementといったデータ・ファブリック・アーキテクチャの組み合わせが含まれます。この信頼できるデータ基盤が一体となることで、高品質なデータを、データ製品、Business Intelligence（BI）およびダッシュボード、ならびにAIモデル（従来の機械学習（ML）と生成AIの両方）として、データ・コンシューマーに提供することができます。

強力なデータ管理ストラテジーには、通常、組織全体のストラテジーとオペレーションを合理化するための複数のコンポーネントが含まれます。

データは処理を行う前または後に保管できますが、通常はデータの種類と目的によって使用するストレージ・リポジトリーが決まります。リレーショナル・データベースはデータを表形式に整理しますが、非リレーショナル・データベースにはデータベース・スキーマほど厳密ではありません。

リレーショナル・データベースは通常、コマンドまたはトランザクションを集合的に実行するトランザクション・データベースとも関連付けられています。例として、銀行振込があります。定義された金額が1つの口座から引き出され、別の口座に入金されます。しかし、企業が構造化データ、非構造化データの両方をサポートするには、専用のデータベースが必要です。このようなデータベースは、分析、AI、アプリケーションにわたるさまざまなユースケースにも対応する必要があり、また、キーバリュー、ドキュメント、ワイドカラム、グラフ、インメモリなど、リレーショナル・データベース、非リレーショナル・データベースの両方にまたがる必要があります。これらのマルチモーダル・データベースは、さまざまなタイプのデータと最新の開発モデルをネイティブでサポートし、IoT（モノのインターネット）、分析、ML、AIといったさまざまな種類のワークロードを実行できます。

データ管理のベスト・プラクティスでは、データ・ウェアハウジングを、構造化データに対する高性能な分析のために最適化することが推奨されています。これには、ダッシュボード、データの可視化、その他のBusiness Intelligenceタスクなど、特定のユースケースにおける特定のデータ分析要件に合った定義済みのスキーマが必要です。このようなデータ要件は通常、ビジネス・ユーザーがデータ・エンジニアと協力して定義、文書化し、その後、データ・エンジニアが、定義されたデータ・モデルに基づいて処理を行います。

データウェアハウスの基本構造は通常、構造化データ形式を使用するリレーショナル・システムとして構成され、トランザクション・データベースからデータを調達します。しかし、非構造化データや半構造化データについては、データレイクはリレーショナル・システムと非リレーショナル・システムの両方、およびその他のビジネス・インテリジェンスのタスクからのデータを組み込みます。データレイクが他のストレージ・オプションよりも好まれることが多いのは、通常、ペタバイト級の未加工データを格納できる低コストのストレージ環境だからです。

データレイクは、構造化データと非構造化データの両方をデータサイエンス・プロジェクトに組み込むことができるため、特にデータサイエンティストにとってメリットがあります。しかし、データウェアハウスとデータレイクには独自の制限があります。独自のデータ形式と高いストレージ・コストにより、データウェアハウス環境内でのAIとMLモデルのコラボレーションとデプロイメントが制限されます。

これとは対照的に、データレイクでは、統制のとれたパフォーマンスの高い状態で洞察を直接抽出することが課題になっています。オープンなデータレイクハウスは、Cloud Object Storage上でさまざまなオープン形式のデータを処理することでこのような制限に対処すると同時に、既存のリポジトリーを含むさまざまなソースからデータを統合して、最終的に大規模な分析とAIを実現しています。

マルチクラウド・ストラテジーとハイブリッド・ストラテジーは、着実に普及が進んでいます。AIテクノロジーは、大量のデータによって支えられており、拡張性、コスト最適化、パフォーマンスの向上、事業継続性を実現するには、最新のデータ・ストアがクラウドネイティブ・アーキテクチャー上に存在する必要があります。Gartner²によると、2026年末までに、「マルチクラウド機能やハイブリッド機能をサポートできないデータ管理ツールとプラットフォームの90%は廃止が予定されている」とのことです。

既存のツールは、データベース管理者（DBA） が従来のさまざまな管理業務を自動化するのに役立ちますが、データベースのセットアップは一般的に大規模で複雑なことから、依然として手動による作業が必要です。手動による作業が必要になると、エラーの可能性が高まります。手動によるデータ管理の必要性を最小限に抑えることは、データベースをフルマネージド・サービスとして運用する際の主要な目標です。

フルマネージド・クラウド・データベースは、アップグレード、バックアップ、パッチ適用、保守といった時間のかかるタスクを自動化します。このアプローチにより、DBAは時間のかかる手作業から解放され、スキーマの最適化、新しいクラウドネイティブ・アプリ、新しいAIユースケースのサポートなどの貴重なタスクにより多くの時間を費やすことができます。また、オンプレミスでの導入とは異なり、ユーザーが必要に応じて大規模なクラスターを立ち上げられる機能をクラウド・ストレージ・プロバイダーが提供しており、支払いは割り当てたストレージの分のみで済むことが多いです。つまり、組織が数日ではなく数時間でジョブを実行するために追加のコンピューティング能力が必要な場合も、クラウド・プラットフォームであれば、コンピューティング・ノードの費用を追加で支払うことで実現できます。

また、クラウド・データ・プラットフォームへの移行により、ストリーミング・データ処理の導入も促進されます。Apache Kafkaなどのツールを使用すると、よりリアルタイムのデータ処理が可能になり、コンシューマーはトピックを購読して数秒以内にデータを受信できるようになります。しかし、バッチ処理には、大量のデータをより効率的に処理できるという利点があります。バッチ処理は、毎日、毎週、毎月のように設定されたスケジュールに従って行われますが、通常はリアルタイムのデータを必要としないビジネス・パフォーマンス・ダッシュボードに最適です。

最近では、こうしたデータ・システムの管理の複雑さに対応するために、データ・ファブリックが登場しています。データ・ファブリックは、インテリジェントかつ自動化されたシステムを活用し、データ・パイプラインとクラウド環境のエンドツーエンド統合を支援します。データ・ファブリックは、高品質なデータの提供を容易にするとともに、使用するデータのコンプライアンス確保に向けたデータ・ガバナンスに関するポリシーの適用を支援するフレームワークを提供します。これにより、組織内のサイロ化されたデータへ接続することで、信頼性の高いデータ製品へのセルフサービス型アクセスが可能となり、ビジネス・リーダーは業績を包括的にに把握できるようになります。人事、マーケティング、営業、サプライチェーンなど部門横断的なデータの統合により、リーダーは顧客理解を一層深めることができます。

場合によっては、データ・メッシュも有効です。データ・ファブリックは、エンドツーエンドの統合を実現するアーキテクチャです。一方、データ・メッシュは、分散型のデータ・アーキテクチャで、マーケティング、営業、カスタマー・サービスなどの特定の業務領域ごとにデータを整理・構成します。このアプローチは、データセットの作成者により大きな主体性が与えられます。

データ管理ライフサイクルのこの段階では、Web API 、モバイル・アプリケーション、IoT（モノのインターネット）デバイス、フォーム、調査など、さまざまなデータ・ソースから未加工データが取り込まれます。データ収集後、データは通常、抽出、変換、ロード（ETL）または抽出、ロード、変換（ELT）などのデータ統合技術を使用して処理または読み込まれます。ETLは歴史的にさまざまなデータセット間でデータを統合および整理するための標準的な方法でしたが、クラウド・データ・プラットフォームの出現とリアルタイム・データの需要の高まりに伴い、ELTの人気が高まっています。

バッチ処理に加えて、データ・レプリケーションもデータ統合の代替手段の1つで、ソースから1つ以上のターゲットへデータを同期させることで、データの可用性、信頼性、そしてレジリエンスを高めます。変更データキャプチャ（CDC）のようなテクノロジーは、ログベースのレプリケーションを用いてソース上でのデータの変更を検出し、それをターゲット・システムに反映させることで、組織が最新情報に基づいた意思決定を行えるよう支援します。

使用されるデータ統合手法に関係なく、データは通常、その目的に応じた要件を満たすために、データ処理の段階でフィルタリング、統合、または集約されます。これらのアプリケーションは、Business Intelligenceのダッシュボードから予測型機械学習アルゴリズムまで多岐にわたります。

継続的統合および継続的デプロイメント（CI/CD）をバージョン管理に活用することで、データ・チームはコードやデータ資産の変更履歴を追跡できるようになります。バージョン管理を活用することで、データ・チームはプロジェクトの異なる部分を同時に作業しながら、変更内容を干渉なく統合できるため、より効果的に連携できます。

データ・ガバナンスは、データの可用性と利活用を促進します。コンプライアンスの確保を支援するため、ガバナンスには一般的に、データ品質、データ・アクセス、ユーザビリティ、データ・セキュリティーに関するプロセス、ポリシー、ツールが含まれます。たとえば、データ・ガバナンス評議会は、複数のデータ・ソースでメタデータが一貫して追加されるよう、分類体系の整合を図る傾向があります。分類体系は、データ・カタログを通じてさらに文書化され、ユーザーがデータにアクセスしやすくなり、組織全体でのデータの民主化が促進されます。

適切なビジネス・コンテキストでデータを補強することは、データ・ガバナンスのポリシーやデータ品質の自動適用を実現する上で極めて重要になります。ここで効果を発揮するのが、サービス・レベル契約（SLA）のルールです。これにより、データの保護と必要な品質の確保が支援されます。また、データの出所を把握し、パイプラインを通じて移動する過程を可視化することも重要です。これには、組織内のデータがソースからエンド・ユーザーへと渡る過程を可視化するための、強固なデータ・リネージュ機能が求められます。データ・ガバナンスの担当チームは、データ・アクセスの適正な管理を目的として、役割と責任を定義しています。このように管理されたアクセスは、データ・プライバシーを維持する上で特に重要です。

データ・セキュリティーは、不正アクセス、破損、盗難からデジタル情報を保護するための枠組みを提供します。デジタル・テクノロジーが私たちの生活にますます深く関わるようになる中で、現代の企業におけるセキュリティ対策はこれまで以上に厳しく精査されるようになっています。こうした精査は、サイバー犯罪者から顧客データを守るため、また災害復旧を要するようなインシデントの発生を防ぐためにも重要です。データの損失はあらゆる企業にとって深刻な影響を及ぼしかねませんが、特にデータ侵害は、金銭的損失だけでなく、ブランド価値の低下といった高い代償を招くおそれがあります。データ・セキュリティーの担当チームは、データ・セキュリティー戦略の中で暗号化やデータ・マスキングを活用することで、データをより効果的に保護できます。 

データ・オブザーバビリティー（可観測性）とは、組織内のさまざまなプロセス、システム、パイプラインにわたってデータの品質、可用性、信頼性を確保するのに役立つ、データを監視、管理、維持する方法を指します。データ・オブザーバビリティーは、組織のデータの健全性とデータ・エコシステム全体でのその状態を真に理解することを意味します。これには、問題を説明するだけの従来の監視を超えた、さまざまなアクティビティが含まれます。データ・オブザーバビリティーは、データの問題をほとんどリアルタイムに特定、トラブルシューティングおよび解決するのに役立ちます。

Master Data Management（MDM）は、製品、顧客、従業員、サプライヤーなどのコア・ビジネスのデータに対して、高品質な単一のビューを構築することに重点を置いています。マスター・データとその関連性を正確に可視化することで、MDMは迅速な洞察の取得、データ品質の向上、およびコンプライアンス対応の強化を可能にします。企業全体のマスター・データを360度で一望できる単一のビューを提供することで、MDMは、適切なデータを活用したビジネス分析の推進や、最も成功している製品、市場、最重要顧客の特定を支援します。

組織は、データ管理イニシアチブを開始および維持することで、複数のメリットを享受できます。以下がデータ管理の主なメリットです。

• データ・サイロの削減
• コンプライアンスとセキュリティの向上
• 顧客体験の向上
• 拡張性

多くの企業では、知らず知らずのうちに組織にデータのサイロを生み出してしまっています。データ・ファブリックやデータレイクといった最新のデータ管理ツールやフレームワークは、データのサイロ化やデータ所有者への依存の解消に役立ちます。たとえば、データ・ファブリックは、人事、マーケティング、営業などの各部門に分散した異種のデータセット間における統合の可能性を可視化するのに役立ちます。一方で、データレイクはこれらの部門から未加工データを取り込み、依存関係を解消し、特定のデータセット所有者に偏らない仕組みを実現します。

ガバナンス評議会は、官公庁・自治体が定めた法令や規制への違反によって発生し得る罰金や風評被害から企業を守るためのガイドラインを整備する役割を担います。ここでの判断ミスは、ブランド面でも財務面でも大きな代償を伴う可能性があります。

このメリットはすぐに実感できないかもしれませんが、概念実証が成功すれば、全体的なユーザー・エクスペリエンスの向上につながり、チームはより包括的な分析を通じて顧客の行動を深く理解し、パーソナライズを勧めることができます。

データ管理はビジネスのスケーリングに役立ちますが、これは導入されているテクノロジーとプロセスに大きく依存します。例えば、クラウド・プラットフォームは柔軟性が高いため、データ所有者は必要に応じてコンピュートパワーをスケールアップまたはスケールダウンできます。

過去10年間で、ハイブリッドクラウド、人工知能、モノのインターネット（IoT）、そしてエッジコンピューティングの発展によりビッグデータが爆発的に増加し、企業のデータ管理はさらに複雑化しています。データ管理機能は、新たなコンポーネントによって継続的に強化されています。最新機能の一部を紹介します。

• 拡張データ管理
• 生成AI
• ハイブリッドクラウドの導入
• セマンティック・レイヤー
• 共有メタデータ・レイヤー

データ管理機能をさらに強化するために、拡張データ管理の人気がますます高まっています。これは、AI、ML、オートメーション、データ・ファブリック、データ・メッシュなどのコグニティブ・テクノロジーを搭載した、拡張知能の一分野です。このオートメーションのメリットには、データ製品を検索して発見し、APIを使ってビジュアルやデータ製品をクエリする機能を使用して、データ所有者がデータ資産のカタログなどのデータ製品を作成することが含まれます。さらに、データ・ファブリックのメタデータから得られる洞察は、データ製品作成プロセスの一環として、またはデータ製品を監視するデータ管理プロセスの一部として、パターンから学習することで、タスクの自動化に役立てることができます。

生成AI（IBM® watsonx.data®など）に対応したデータ・ストア組織がAIモデルやアプリケーションで活用するためのデータを、効率的に統合、キュレート、準備できるよう支援します。統合されたベクトル化埋め込み機能により、信頼性の高い管理対象データの大規模データ群に対して、検索拡張生成（RAG）のユースケースを大規模に実現できます。

プラットフォーム、クラスター、クラウド間のアプリケーション接続とセキュリティを簡素化するには、ハイブリッドクラウドのデプロイメントが有効です。コンテナとオブジェクト・ストレージによってコンピューティングとデータの可搬性が確保されているため、アプリケーションはさまざまな環境に容易にデプロイ・移動できます。

SQLを使わずにデータ・アクセスを加速させ、新たな洞察を引き出すために、組織はAI搭載埋め込み型のセマンティック・レイヤーを構築しています。これは、データレイクやデータ・ウェアハウスなど、組織のソース・データ上に構築されるメタデータおよび抽象化のレイヤーです。このメタデータは、利用されているデータ・モデルを強化するとともに、ビジネス・ユーザーにも十分に理解できる明確さを備えています。

組織は、ストレージおよびアナリティクス環境を接続することで、ハイブリッドクラウド全体でデータにアクセスできます。このアクセスは、クラウドとオンプレミス全体で共有メタデータ層を使用して、単一のエントリー・ポイント経由で行うことができます。アナリティクスやAIワークロードを最適化するために、複数のクエリー・エンジンを使用することができます。

データをカタログ化し共有するために、データレイクハウス内に共有メタデータ・レイヤーを構築することは、ベスト・プラクティスとされています。これにより、データの発見と強化、複数ソースにまたがるデータの分析、さらには多様なワークロードやユース・ケースの実行が迅速化されます。

さらに、共有メタデータ管理ツールにより、共有リポジトリー内のオブジェクトの管理を高速化します。共有リポジトリーからアイテムを削除するだけでなく、新しいホスト・システムの追加、新しいデータベースやデータファイルの追加、新しいスキーマの追加に使用できます。