watsonx.data integrationで非構造化データを大規模に取り込み、変換し、前処理します。
セキュリティーとコンプライアンスを組み込み、拡張性を重視して構築されています。
バッチ、ストリーミング、複製、可観測性にわたる構造化データ統合と並行して動作するため、複数のツールの寄せ集めを排除できます。
ノーコードやローコードから包括的なSDKまで、あらゆるスキル・レベルに対応するように設計されています。
非構造化データの統合パイプラインを2分以内で構築
構造化データの統合における従来の抽出、変換、ロード（ETL）と同様に、この新しいテクノロジーは非構造化データにプロセスを適用します。
ユーザーはスキル・レベルに関係なく、直感的なUIと事前構築済みのコネクターを利用して、さまざまなソースから一般的に使用される非構造化ファイル・タイプを取り込めます。技術に精通したユーザーは、包括的なSDKでプラットフォームを完全に拡張できます。
変換ステップでは、テキスト抽出や重複排除などの機能を処理するための、事前構築済みの品質オペレーターを提供します。また、個人情報（PII）やヘイト、虐待、冒とく的な表現（HAP）などのセンシティブなコンテンツを削除することもできます。これらの変換は、数億ページを処理できる拡張性の高いエンジンによって実現され、非構造化データの処理を飛躍的に加速します。非構造化データの統合は、LangChainなどのオープンソース・フレームワークとも統合して、変換機能をさらに拡張します。
ロード段階では、チャンク化と埋め込み演算子を提供して埋め込みの生成を効率化し、Milvusなどのベクトル・データベースにデータに投入することで、非構造化データをAIユースケースで容易に利用できるようにします。
パイプラインの構築後も、ソース文書が変更されると自動的に埋め込みが更新され、パイプラインが最新の状態に維持されるため、古いベクトル化されたデータに関する一般的な問題が解消されます。セキュリティーを維持するために、組織は組み込みのアクセス制御リスト（ACL）を使用して、特定のデータ・セットを誰が閲覧、操作できるかを管理できます。
ユーザーはスキル・レベルに関係なく、直感的なUIと事前構築済みのコネクターを利用して、さまざまなソースから一般的に使用される非構造化ファイル・タイプを取り込めます。技術に精通したユーザーは、包括的なSDKでプラットフォームを完全に拡張できます。
変換ステップでは、テキスト抽出や重複排除などの機能を処理するための、事前構築済みの品質オペレーターを提供します。また、個人情報（PII）やヘイト、虐待、冒とく的な表現（HAP）などのセンシティブなコンテンツを削除することもできます。これらの変換は、数億ページを処理できる拡張性の高いエンジンによって実現され、非構造化データの処理を飛躍的に加速します。非構造化データの統合は、LangChainなどのオープンソース・フレームワークとも統合して、変換機能をさらに拡張します。
ロード段階では、チャンク化と埋め込み演算子を提供して埋め込みの生成を効率化し、Milvusなどのベクトル・データベースにデータに投入することで、非構造化データをAIユースケースで容易に利用できるようにします。
パイプラインの構築後も、ソース文書が変更されると自動的に埋め込みが更新され、パイプラインが最新の状態に維持されるため、古いベクトル化されたデータに関する一般的な問題が解消されます。セキュリティーを維持するために、組織は組み込みのアクセス制御リスト（ACL）を使用して、特定のデータ・セットを誰が閲覧、操作できるかを管理できます。
watsonx.data integrationは、最新のレイクハウス・アーキテクチャー全体で構造化データと非構造化データを統合します。データベース、文書、ログ、画像、Eメールを関連付けることで、より豊かな洞察とより正確なAIを実現し、ビジネスの全体像を把握できます。
watsonx.data integrationは、非構造化コンテンツを自律型エージェントやリアルタイム・システム向けの構造化された、実行可能なデータに変換して、自動化されたサービス、不正検知、動的なサプライチェーンなどのユースケースを強化します。
watsonx.data integrationは、文書、音声、動画などの非構造化コンテンツを、クリーニング、強化、構造化してAI学習用に準備します。その結果、より良いNLP、コンピューター・ビジョン、予測分析を向上させる高品質な入力が得られます。
関連製品
IBM® watsonx.data integrationにより、あらゆる統合スタイルとストレージ・アーキテクチャーにわたって構造化データと非構造化データが統合され、AIを随所で活用することが可能になります。
watsonx.data intelligenceが、データ資産を発見、キュレート、および管理することで、オンプレミス環境とクラウド環境を横断して、生の情報を正確なAIと有意義な洞察に変えます。
IBM® watsonx.data®は従来のレイクハウスの制限を打ち破り、より正確なAIを促進するデータ統合、強化、ガバナンスの新しい標準の先駆者となります。
脚注
¹ IDCホワイトペーパー：The untapped value of unstructured data