AIデータ管理とは

データ・ストレージ・ソリューション、データ統合ツール、Master Data Management（マスター・データ管理）ツール、ガバナンス・ソリューションなど、多くの種類のデータ管理ツールにMLおよびAI機能が組み込まれるようになりました。これらのツールは、従来のAIアルゴリズムと生成AIシステムの両方を使用できます。

• 従来のAIシステムは、事前に定義された基準に基づいてデータを自動的に分類するデータベース管理システムなど、特定のルールベースのタスクを実行します。

• Microsoft Copilot、MetaのLlama、IBM Graniteなどの生成AIシステムは、自然言語に応答して独自のコンテンツを作成します。たとえば、大規模言語モデル（LLM）が統合されたデータベース管理システムでは、データの要約を作成し、SQLではなく平易な英語でクエリを受け入れることができます。

AIとMLは、データ管理プロセスのほぼすべての部分に適合できますが、最も一般的なユースケースには次のようなものがあります。

• データ検出 
• データ品質
• データ・アクセシビリティー
• データ・セキュリティー

今日の組織は、複数の異なるソースからビジネスに流入する大量のデータを、複数の形式で扱っています。このデータはさまざまなユーザーによって処理され、最終的にはパブリッククラウドやプライベートクラウド、オンプレミスのストレージ・システム、さらには従業員の個人的なエンドポイントに分散します。

このすべてのデータを一元的に追跡および管理することは困難な場合があり、これにより2つの問題が発生します。

まず、データ・セットの存在を知らなければ、組織はデータ・セットを使用できません。

第二に、この未発見・未管理の「シャドー・データ」はセキュリティー・リスクをもたらします。IBMが行ったデータ侵害のコストに関する調査によると、データ侵害の3分の1はシャドー・データに関係しています。これらの侵害がもたらすコストは平均527万米ドルで、全体の平均侵害コストよりも16％高くなっています。

AIとMLはデータ検出のさまざまな側面を自動化し、組織がすべてのデータ資産の可視性と制御を強化できるようにします。

データ検出におけるAIの活用例

• AI搭載のデータ検出ツールは、ネットワーク・デバイスとデータ・ストレージ・リポジトリーを自動的にスキャンし、新しいデータをほぼリアルタイムでインデックス化できます。

• 自動データ分類ツールでは、事前定義されたルールまたは機械学習モデルに基づいて新しいデータにタグを付けることができます。例えば、このツールによって、XXX-XX-XXXX形式の9桁の数字が米国の社会保障番号として分類される場合があります。

• LLMやその他の自然言語処理ツールは、さまざまな形式のテキスト文書の履歴書から求職者の連絡先や過去の経験を引き出すなど、非構造化データ・ソースから構造化データを抽出することができます。

質の悪いデータを使えば、データがない場合よりも多くの問題を引き起こす可能性があります。組織のデータが不完全または不正確な場合、そのデータに基づいて構築されたビジネス・イニシアチブやAIモデルも標準以下のものになります。

AIおよびMLツールは組織データのエラーの特定と修正に役立つため、ユーザーは手動でのデータ・クレンジングのような時間のかかる作業を行う必要がありません。また、AIは人間ユーザーよりも迅速に作業し、より多くのエラーを検出することができます。

データ・クリーニングにおけるAIの活用例

• AI対応のdata preparationツールは、検証チェックを実行し、不適切な書式や不規則な値などのエラーにフラグを立てたり、修正したりできます。一部のAI搭載Data Preparation（データ準備）ツールでは、たとえば構造化されていない議事録を構造化された表へと変換するなど、データを適切な形式に変換することもできます。

• 合成データ・ジェネレーターは、Missing Values（欠損値）を提供し、データ・セット内の他のギャップを埋めることができます。これらのジェネレーターは、機械学習モデルを使用して既存のデータのパターンを識別し、高精度の合成データ・ポイントを生成することができます。

• 一部のMaster Data Management（MDM）ツールでは、AIとMLを使用して重要なレコード内のエラーや重複を検出し修正できます。（例えば、同じ名前、住所、連絡先の詳細を持つ2つの顧客レコードをマージするなど。）

• AI搭載のデータ・オブザーバビリティー・ツールは データ・リネージュ・レコードを自動的に生成できるため、組織は誰がデータを使用し、時間の経過とともにどのように変化するかを追跡できます。

データ・サイロにより、多くの組織はデータの価値を十分に実現できていません。AIとMLを活用すれば、サイロ化されたリポジトリを統合されたデータ・ファブリックに置き換えて、データ統合の取り組みを効率化することができます。組織全体でユーザーが必要なときに必要なデータ資産にアクセスできるようになります。

データ・アクセスにおけるAIの活用例

• AI対応のデータ統合ツールは、異なるデータ・セット間の関係を自動的に検知し、組織がそれらを接続したりマージしたりできるようにします。

• AI機能を備えたメタデータ管理ツールは、タグ付けと分類に基づいてデータ資産の説明を生成することで、データ・カタログの作成を自動化するのに役立ちます。

• LLM搭載のインターフェースを備えたデータベースとデータ・カタログは、自然言語コマンドを受け入れて処理できるため、ユーザーはカスタムコードやSQLクエリーを記述する必要なしにデータ資産や製品を見つけることができます。LLM搭載のインターフェースの中には、ユーザーがクエリーを絞り込んだり、データ・セットを充実させたり、関連するデータ・ポイントを提案したりするのに役立つものもあります。

• AI対応のクエリー・エンジンは、機械学習アルゴリズムを使用してワークロード・パターンを分析し、クエリーの実行を最適化することで、データベースのパフォーマンスを向上させることができます。

データ・セキュリティーがいかに重要で優先すべき点なのかを示すビジネス・ケースがあります。「データ侵害のコストに関する調査」によると、データ侵害の平均コストは、ビジネスの損失、システムのダウンタイム、評判の低下、対応措置などにかかる費用などにおいて、488万米ドルの損害を組織に与えています。

AIとMLは、セキュリティー・ポリシーの適用、侵害の検知、不正行為の阻止に役立ちます。

データ・セキュリティーにおけるAIの活用例

• AI駆動型のデータ損失防止ツールは、個人情報（PII）やその他の機密データを自動的に検知し、セキュリティー制御を適用して、そのデータの不正使用をフラグ付けまたはブロックできます。

• ユーザーとエンティティーの行動分析（UEBA）やエンドポイントの検知と対応（EDR）などの異常ベースの脅威検知ツールは、AIおよびMLアルゴリズムを使用してネットワーク・アクティビティーを監視します。これらツールは大量のデータが突然新しい場所に移動するなど、標準からの逸脱が疑われるケースを検知します。

• LLMは、組織がデータ・ガバナンス・ポリシーを作成および実装するうえで役立ちます。たとえば、 ロールベースのアクセス制御（RBAC）システムでは、LLMによりセキュリティー・チームはさまざまな種類のロール（役割）とそのアクセス権限の概要を説明することができます。LLMは、これらのロール説明をIDおよびアクセス管理システムのルールへと変換することもできます。

• AI対応の不正アクセス検知ツールでは、AIとMLを使用してパターンを分析し、異常なトランザクションを発見することができます。

AIは、データの取得と分析を合理化しながら、データの検出、クリーニング、カタログ化などの困難なタスクを自動化することで、データ管理の変革を支援します。AIにより組織は、エラーが発生しにくく、データサイエンスや、AIイニシアチブ、データ・プライバシーに役立つ、より効率的なデータ管理プロセスを構築できます。

AvePoint社のAIおよび情報管理レポートでは、調査対象組織の64％が少なくとも1ペタバイトのデータを管理していると回答しています。 ¹これは約9兆ビットもの情報に相当します。そして、その多くはテキスト・ファイル、画像、動画などの非構造化形式で提供されています。

これらすべてのデータはデータサイエンティストにとって恩恵となるものの、これほど大量で複雑なデータを手作業で管理することは不可能です。AIツールとMLツールなら、検出、統合、クリーニングなどの重要なタスクを自動化することで、こういったデータを使用可能にすることができます。

データがクリーンでアクセス可能な場合、組織はそのデータを高度なデータ分析プロジェクトに使用することができます。たとえば、履歴データを使用して将来の消費傾向を見る予測分析イニシアチブなどがあります。

AI技術はまた、データサイエンスのバックグラウンドを持たないユーザーにとってもデータをより身近なものにすることができます。LLM搭載のデータベース・インターフェースと自動化された可視化機能を備えたユーザーフレンドリーなデータ・カタログにより、ビジネス全体を通してより多くのユーザーがデータを意思決定に役立てることができます。  

IBM Institute for Business Valueの調査によると、調査の対象となったCEOの59%は、組織の将来の競争優位性は最先端の生成AIを導入しているかどうかにかかっていると回答しています。これらのAIモデルを構築してデプロイするには、組織には良質でクリーンなデータの安定した流れが必要となります。

AIツールによってデータ管理が合理化されることで、組織は独自のAIおよびMLモデルをトレーニングするために必要な、信頼できる高品質のデータ・パイプラインを構築することが可能になります。そして、これらのモデルは企業のデータを使ってトレーニングできるため、企業とその顧客に特有のタスクを実行したり、問題を解決したりするようにトレーニングできます。

AI対応のセキュリティーおよびガバナンス・ツールは、コストがかかる可能性のあるサイバー攻撃やデータ侵害を防ぐのに役立ちます。また、企業は、GDPRやPayment Card Industry Data Security Standard（PCI-DSS）などのデータ・プライバシー規制やデータ保護規制に準拠しながら、保有するデータを使用できるようになります。

Institute for Business Valueによると、CEOの57%が、データ・セキュリティーが生成AI導入の障壁になっていると述べています。また、CEOの45%が、データ・プライバシーも障壁になっていると述べています。医療や金融など、規制の厳しい業界では、これらの障壁が特に困難をもたらす可能性があります。

AIを活用したデータ管理では、適切な保護とデータ使用ポリシーを自動的に適用することができます。そうすることで、許可されたユーザーのみがデータにアクセスでき、業界の規制や会社のポリシーによって許可されている方法でのみデータを使用できます。

また、合成データ・ジェネレーターは、組織が特定の方法で使用することが許可されていない機密性の高い個人データを削除しながら、全体的な傾向を正確に反映するデータ・セットを生成することができます。