構造化データを超えて：IBM Netezzaがネイティブな非構造化データ・ワークフローを導入
IBM Netezzaは現在、未加工のファイルを分析にすぐ利用できるデータに変換し、RAGアプリケーションを強化する自動パイプラインによって非構造化データをウェアハウスに取り込みます。これは現在、Private Tech Previewで利用可能です。
IBM Netezzaの最新リリースであるUnstructured Data Workflowsにより、ユーザーは同じ分析環境内で従来のリレーショナル・データとファイルベースの情報を扱えるようになりました。Netezzaでは、非構造化コンテンツを有用になる前に別の場所で処理する必要があるものとして扱うのではなく、分析ワークフロー自体の一部として扱えるようになります。
データ・チームは、既に身に付けているSQLスキルと分析プロセスを引き続き活用しながら、扱えるデータの種類を拡大できるようになります。単にドキュメントとビジネス・データを組み合わせるために複数のシステムをオーケストレーションするのではなく、その作業の多くを、信頼できるエンタープライズ・データが既に存在する場所の近くで実行できるようになりました。
その目的は、専門的なドキュメント処理プラットフォームやAIサービスを置き換えることではなく、構造化情報と非構造化情報を一緒に分析する前に必要となる不要な手順を減らすことです。
数十年にわたり、エンタープライズ・データウェアハウスは、ビジネス・データはテーブルに存在するという基本的な前提に基づいて設計されてきました。顧客レコード、取引、販売レポート、在庫、財務データはすべて構造化された形式に従っており、SQLが分析の共通言語となっていました。このモデルは、ミッションクリティカルなレポート作成において信頼性の高い性能、ガバナンス、一貫性を提供し、組織に大きなメリットをもたらしてきました。
現在のエンタープライズ・データ環境は大きく変化しています。組織は、これまで以上に多くのドキュメント、アプリケーション・ログ、PDF、Eメール、テクニカル・マニュアル、画像、その他のファイルベースの情報を生成しています。このコンテンツの多くには貴重なビジネス上のコンテキストが含まれていますが、エンタープライズ分析を支える構造化データとは切り離されたままになっていることがよくあります。その結果、単純なビジネス上の質問に答える場合でも、分析する前にデータを複数のプラットフォーム間で移動させる必要が生じるケースが増えています。
業界では主に、データウェアハウスと並行して追加の処理エンジンを導入することで対応してきました。これにより機能が拡張される一方で、複雑さも増します。新しいエンジンが1つ増えるごとに、セキュリティー確保、監視、ガバナンス、保守が必要となる別の環境が増えます。時間の経過とともに、組織は分析アーキテクチャーから洞察を得ることと同じくらい、その管理に多くの労力を費やすようになります。
この変化により、企業が最新の分析プラットフォームに期待する内容が変わりつつあります。焦点は、クエリーの性能やストレージ効率だけにとどまりません。組織では、別のインフラストラクチャー層を必要とせずに、より幅広いワークロードをサポートできるよう分析プラットフォームを進化させられるかどうかが、ますます問われるようになっています。
IBM Netezzaの最新リリースは、まさにこうした市場のニーズに応えるものです。
この機能により、非構造化コンテンツで広く知られている実績のある設計パターンであるメダリオン・アーキテクチャーも利用できるようになります。顧客は、PDFファイル、ドキュメント、その他のファイルベースのコンテンツをデータレイクに取り込み、データ・フロー全体を自動化するパイプラインを作成できます。未加工ファイルは、テキストの抽出、クレンジング、標準化などを通じて段階的に整備され、最終的に、信頼できるウェアハウス・データと直接結合できる、キュレートされた分析対応データになります。
これらのパイプラインは自動化されているため、データ・フローは手動による一回限りの処理に依存しません。新しいドキュメントがデータレイクに格納されると、自動的に取り込まれ、整備されます。その結果、未加工のエンタープライズ・コンテンツからビジネスで活用できる洞察に至るまで、再現性があり、ガバナンスの確保されたパスを、組織の構造化データを既に管理している同じ環境内で構築・運用できるようになります。
同じパイプライン機能は、AIワークロードにも自然に適用できます。お客様は、ドキュメントの解析、チャンクへの分割、埋め込みの生成、ベクトル・ストアへの埋め込みのロードを含むエンドツーエンドのRAGフローを、手動で介入することなく自動化するパイプラインを作成できます。新しいコンテンツが届くと、パイプラインはナレッジベースを最新の状態に保ち、AIアプリケーションが常に最新の企業情報に基づいた回答を取得できるようにします。
Netezzaのネイティブ・ベクトル機能と組み合わせることで、組織は、取り込みツール、埋め込みサービス、ベクトル・データベースからなる別個のスタックを組み合わせることなく、既存のウェアハウス上で本番RAGアプリケーションを構築・運用できるようになります。
Netezza は、同じプラットフォーム内で構造化データと非構造化データのワークフローを可能にすることで、不要なデータの移動を削減しながら、分析アーキテクチャー全体を簡素化します。非構造化データを別個の問題として扱うのではなく、信頼できるウェアハウス・データと併せて分析できる、ビジネス上の洞察を得るための新たな情報源として活用できます。このアプローチは、構造化されたビジネス・レコードと非構造化のエンタープライズ・コンテンツを連携させる必要性がますます高まっているAI駆動型分析のための、より強固な基盤にもなります。
分析市場は、単にデータを保管または処理するだけのプラットフォームから、その先へと進化しています。Netezzaの最新リリースは、その変化を反映しています。非構造化データを独立した機能として位置付けるのではなく、プラットフォームの強みを拡張して、より包括的な分析ワークフローをサポートします。お客様は、Netezzaに期待する性能、ガバナンス、SQLエクスペリエンスのメリットを引き続き享受しながら、新しい形式のビジネス・データを分析に組み込めるようになります。
企業がモダナイゼーションと運用効率のバランスを取り続ける中、統合された環境で構造化データと非構造化データを扱える機能は、ますます価値を高めていきます。Netezzaの最新リリースは、組織が次世代のエンタープライズ・ワークロードに対応する、よりシンプルで高機能な分析基盤を構築するのに役立ちます。
構造化データと非構造化データの分析方法を簡素化したい組織は、IBM Netezza Private Tech Previewを通じて、この機能を実際に体験できます。このプログラムでは、新しい非構造化データ・ワークフローを評価し、製品チームにフィードバックを提供し、一般提供に先立って機能の将来の方向性を決める機会を提供します。