IBM watsonx.data：AI対応の非構造化データと構造化データによりAIの精度を向上
IBMは本日、エンタープライズAIと分析のための唯一のハイブリッドでオープンなデータレイクハウスであるIBM® watsonx.dataの進化版を一般提供開始しました。
組織は、非構造化データと構造化データのアクセス、準備、配信を簡素化およびスケーリングして、より正確で関連性の高い生成AIアプリケーションを実現し、セルフサービス分析を拡張し、以前は複雑だったデータ・アクセス、強化、ガバナンスを簡素化および拡張できるようになりました。
企業データは、業界や顧客にとって適切な、正確で差別化されたAIを実現し、競争上の優位性を高めるための最善のツールです。しかし、企業データの90％は非構造化データであり、多くの場合は生成AIがアクセスできず、十分に活用されていません。2
IBM® watsonx.data*の登場により、企業の非構造化データにアクセス、準備、提供して、従来のRAGよりも40%精度が高いAIを実現できるようになりました。Watsonx.dataは、以下の独自性を備えています。
- ハイブリッドかつオープンで、データがどこにあってもアクセスでき、既存のエコシステムやデータ投資との相互運用性により、オンプレミス、クラウド、マルチクラウド環境にわたってデプロイできます。
- ワークロードのコストとパフォーマンス最適化のために新たにオープンソースのApache Glutenで強化したSparkを含め、目的に合わせた複数のクエリー・エンジンを使用してワークロードを最適化しています。
- 内蔵のデータ・ファブリック機能、watsonx.data integrationとwatsonx.data intelligenceにより生成AIに対応します。すべてがデータレイクハウス内にあるため、新たなデータのサイロ化を防ぎます。
また、以下のような拡張と自動化が可能になりました。
- Filenet、Box、Google Docsなど、さまざまな新しいソースシステムからの非構造化データと構造化データの取り込み。
- データのセマンティック・エンリッチメント。ドキュメント内で抽出および正規化されたエンティティからベクトル埋め込みと構造化された導関数の両方を作成し、位置コンテキスト、関係、計算を理解するAIアプリケーションを強化して、より正確で完全なアウトプットを実現します。
- データのガバナンス。ドキュメントを取得したシステムから継承したアクセス制御が自社のAI用データ検索まで適用され、さらにPIIアノテーションにより機密情報の漏洩を防ぎます。
- BIから生成AIアプリケーションやエージェントまで、幅広いワークロードでデータを検索
これらはすべてIBM® watsonx.data内で実行可能で、企業の非構造化データをAIや、データエンジニアリング、BI、MLなどの分析のために活用できます。
IBM® watsonx.dataは、目的に適合した複数のクエリー・エンジンの1つとしてApache Gluten accelerated Sparkを提供し、計算集約型のSpark SQLワークロードの性能を大幅に向上させました。高性能ライブラリであるApache Glutenは、ネイティブのC++実行エンジンであるVeloxに実行をオフロードすることで、Apache Spark SQLワークロードを最適化します。この統合により、クエリー処理の高速化と、大規模なデータ分析におけるリソース効率の向上が実現します。これにより、組織は複雑な分析タスクを、より優れた速度と拡張性、かつ低コストで実行できるようになりました。
IBMは最近、DataStax社を買収し、Apache Cassandraをベースに構築されたNoSQL運用ベクトル・データストアをwatsonx.dataに導入しました。watsonx.dataにこの情報を加えることで、ベクター機能が強化され、検索拡張生成および知識埋め込み機能が強化されます。
DataStaxは、リアルタイムのパフォーマンス、高可用性、スケールを必要とする読み取りおよび書き込みの生成AIアプリケーションと運用ワークロード用に最適化されており、最新のAIアプリケーションに必要な速度、信頼性、マルチモーダル・サポートを組織にもたらします。
DataStaxはLangflowともシームレスに接続し、まもなくIBM watsonx.aiの一部として利用できるようになります。Langflowは、60,000以上のGitHubスターを獲得したオープンソース・ツールであり、開発者は、直感的なローコード・インターフェースを通じて検索拡張生成およびマルチエージェントAIアプリケーションのプロトタイプ作成、構築、デプロイを行うことが可能で、開発の摩擦を軽減し、価値実現までの時間を短縮できます。
私たちは、 Think 2025でこれらの機能のクローズド・プレビューを発表し、データ・キーノート・セッション、スポットライト セッション、テックバイト・デモを通じて、各業種のデータとAIのイノベーションへの道を切り開いている著名なゲスト・スピーカーたちとステージを共有しました。
Lockheed Martin社が、Meta社と基調講演のステージに登壇しました。Lockheed社は最近、トランスフォーメンションを経たwatsonx.dataを活用し、70,000人のエンジニア、科学者、技術者が自然言語を使用して、何百万もの文書から答えや情報を取得できるようにしました。「私たちはイノベーションと効率性を急速に加速させ、研究室から現場にソリューションを投入することで、より安全で信頼性の高い世界の構築に貢献しています」と、Lockheed社のテクノロジーおよび戦略イノベーション担当シニア・バイス・プレジデントのJohn Clark氏は言います。
EY社は最近、税務部門が直面する最大の課題に対処する、watsonxを活用して構築された画期的なAI搭載グローバル税務コンプライアンス・ソリューションを発表しました。「EYは150以上の国または地域で税務サービスを提供していますが、それらの国または地域のお客様は、ほぼ例外なく、データの管理に苦労しています」と、EY社の南北アメリカ間接税AIリーダー、Christopher Aiken氏は語ります。「watsonxのおかげで、データ・クレンジング、エンリッチメント、品質レビューにかかる人的労力を30～50%削減できました」
USAA社は、生成AIを活用して保険の未来を推進し、顧客体験を向上させています。「保険業界では、大量の非構造化データを扱います」と、USAA社の最高データ分析&AI責任者であるRamnik Bajaj氏は述べています。「たとえば、住宅検査報告書、警察報告書、事故画像などには、構造化データがほとんど含まれていません。生成AIを使用することで、この非構造化データから重要な属性と洞察を抽出できるようになり、保険会社、保険鑑定人、サービス担当者にとって、アクセス性と利便性が向上します。」