エージェント型AIに立ちはだかる「非構造化データ」の壁：IBMが解決策を発表

今週開催の「Think」において、IBMはAI向けデータ・スタックの抜本的な簡素化に取り組んでいます。

IBMは現在、組織のデータをAIに最適化するための新しいソリューション、watsonx.dataの大幅な進化版を先行公開しています。この新バージョンでは、オープンかつハイブリッドなデータ基盤と、企業規模に対応した構造化・非構造化データの統合管理を提供します。

その結果、IBM watsonx.dataによるテストでは、従来のRAGと比較して、最大40%のAI回答精度向上を実現しています。¹ 6月にリリース予定の主な新機能は以下の通りです。

• watsonx.data integration：多様なデータ統合形式に対応した単一インターフェースで、柔軟かつスケーラブルなデータ・アクセスとエンジニアリングを実現するソフトウェア

• watsonx.data intelligence：AIの力でデータ・ガバナンスを簡素化し、意味あるデータのキュレート、管理、活用方法を革新するソフトウェア

• Meta社のLlama StackにAPIプロバイダーとしてwatsonxが加わり、オープン性を中核に据えた生成AIを大規模にデプロイする能力を強化

watsonx.data integrationとwatsonx.data intelligenceは、スタンドアロン製品として利用できるうえ、一部の機能はwatsonx.dataを通じて利用可能で、クライアントの選択とモジュール化に対応します。

さらにIBMは、最近、非構造化データを活用した生成AIに強みを持つDataStaxを買収する意向も発表しました。これにより、ベクトル検索機能の強化も見込まれます。DataStaxを使用すると、クライアントは追加のベクトル検索機能にアクセスできます。

選択されたオープンソースのコモディティー推論、判断、埋め込みモデルおよび追加変数の同じセットを使用したIBM独自のデータ・セットによる3つの一般的なユースケースで、watsonx.data Premium Editionの検索レイヤーを使用したAIモデル出力の回答の正確性をベクトルのみのRAGと比較した社内テストに基づきます。結果は異なる場合があります。

企業は、正確で高性能な生成AI、特にエージェント型AIを導入する際、大きな障壁に直面しています。しかしその障壁は、多くのビジネス・リーダーが考えているものとは異なります。

問題は「推論コスト」や「完璧なモデルの不在」ではありません。本当の問題は、データにあります。

組織が真の価値を創造するには、エージェント型AIが信頼できる企業固有のデータ、つまりEメール、ドキュメント、プレゼンテーション、ビデオ内の非構造化データが必要です。2022年時点で、企業が生成したデータの90％が非構造化データであったと推定されていますが、IBMの推計では、そのうちわずか1％しかLLMに取り込まれていないと予測しています。

非構造化データは極めて扱いにくく、分散的でダイナミック、多様な形式で保存され、ラベルも乏しく、コンテキストを補完しなければ理解できないケースも多々あります。従来型の検索拡張生成（RAG）では、その真価を引き出せず、構造化データと非構造化データをうまく統合することも困難です。

一方、さまざまなツールが接続されていないため、AI用データ・スタックが複雑で煩雑になる可能性があります。企業は、データウェアハウス、データレイク、データ・ガバナンスとデータ統合ツールを駆使しています。データ・スタックは、管理するはずの非構造化データと同じくらい方向転換していると感じることがあります。

多くの企業は根本原因を見落としています。生成AIのアプリケーション・レイヤーばかりに注力し、その基盤となるデータ・レイヤーの整備を後回しにしているのです。データ基盤を整備しない限り、AIエージェントやその他の生成AIはその可能性を最大限に発揮することができません。

IBMの新しい機能により、組織は非構造化（および構造化）データの取り込み、ガバナンス、検索が可能になり、そこから、高精度かつ高性能な生成AIのスケールアップが可能になります。

登録して最新情報を受け取る