非構造化データのキュレーションと統合

非構造化データ・ツールを使えば、非構造化ドキュメントのメタデータをインポートし、これらのドキュメントを変換し、エンティティやエンベッディングを生成し、ドキュメント・セットやドキュメント・ライブラリを作成することができる。

クラウド・プラットフォーム

一部の機能は、すべてのクラウドプラットフォームのすべての地域で利用できない場合があります。 地域の空き状況を参照。

非構造化データのキュレーションと非構造化データの統合フローは、 watsonx.data と Data Fabric エクスペリエンスで利用できる。

必須のサービス

以下のサービスは、非構造化データと連携するためにプロビジョニングする必要があります：

  • watsonx.data 統合 - 非構造化データ統合を含む
  • watsonx.aiランタイム

以下のサービスをお勧めします：

  • watsonx.data Spark - Sparkオーケストレーターにのみ必要です。
  • watsonx.data intelligence - 非構造化データキュレーション機能にのみ必要です。

前提条件

watsonx.data、または Data Fabric、非構造化データ資産を扱うプロジェクトを立ち上げた経験が必要です：

  • watsonx.ai Runtime サービスのインスタンスをプロジェクトに関連付けます。 プロジェクトの設定で、 サービスと統合に進み、サービスを関連付ける。
  • 非構造化データ統合プロジェクトの設定を構成します。
  • データをインポートするデータ・ソースと、生成されたエンベッディング、エンティティ、ドキュメント・セットを格納するデータベースへの接続を追加します。 詳細については、 非構造化データのキュレーションでサポートされているコネクタを参照してください。
  • タスクの認証情報を設定する。
  • あなたや、非構造化データツールや資産を扱う予定の他のユーザーが、必要なアクセス権を持っていることを確認してください：
    • あらゆるタイプのプロジェクト資産を作成、編集、または削除し、非構造化データキュレーションまたは非構造化データ統合フローを実行するには、プロジェクトの Admin または Editor ロールが必要です。
    • 非構造化データ キュレーション アセット内からドキュメント クラスを追加、編集、または削除するには、ユーザーにもドキュメント クラスの管理権限が必要です。 『ユーザーの役割と権限』を参照してください。

データ形式

さまざまな形式の非構造化データを扱うことができます。 詳細については、 「サポートされているソースデータ形式」 を参照してください。

働き方

非構造化データを扱うには、以下のツールを使うことができる：

  • 非構造化データのキュレーションこのツールを使用すると、RAGや分析クエリのETLフローを設計した経験があまりなくても、非構造化データの分析および処理フローを構築して実行できます。 メタデータをインポートしてドキュメントを分析し、グループ化のための主要なファセットを特定する。オプションでグループ化されたドキュメントをさらに処理して、RAG用のドキュメントセットを準備したり、複雑なクエリ用に構造化情報を抽出したりする。

    非構造化データのキュレーションを実行し、データソースにどのような種類のドキュメントがあるかを調べ、ユースケースに適したドキュメントを特定する。 初期分析の後、さらに処理したい文書群を選択する。

  • 非構造化データ統合 ：このツールを使用して、ニーズに合った非構造化データ変換フローを柔軟に構築します。 様々なソースからのデータを使用し、どのステップを含めるか、メタデータのインポートの有無、データ品質の向上、エンティティの抽出、データのエンリッチメント、ベクトル埋め込みの生成などを選択します。

  • ドキュメントライブラリ ：ドキュメントセットのコレクションを作成し、AIプロジェクトで再利用できます。

構造化されていない資産タイプ

  • 文書セット

    文書セットには、文書の集合に関する構造化された情報（目的、内容、用途など）が含まれる。 このアセットタイプは、 非構造化データのキュレーション中、または非構造化データ統合フローの出力として作成されます。 文書セットには、文書のライフサイクルに関する情報が含まれる。すなわち、文書の出所、変換方法、生成された派生物（抽出されたエンティティ、ベクトル埋め込み）についての情報である。

    ドキュメント・セットはカタログに公開したり、ドキュメント・ライブラリにグループ化して、AIプロジェクトで再利用することができる。

  • 非構造化データキュレーション資産

    非構造化データキュレーション資産は、非構造化データを分析・処理するための非構造化データ統合フローの構成を表す。 また、利用可能な文書クラスへのアクセスも提供する。 詳細については、 非構造化データキュレーションフローの作成を参照してください。

  • 非構造化データ統合フロー

    非構造化データ統合フローは、どのデータが処理され、どのオペレータがデータを変換し、結果としてどのような出力が生成されるかを定義する、構成可能なステップのパイプラインを表す。 フローの準備ができたら、ジョブを設定して実行をスケジュールすることができる。 詳細については、 データ準備フローの作成を参照してください。

コスト

非構造化データのキュレーションにかかる費用は、選択した watsonx.data intelligence および watsonx.data の統合プランに含まれる機能と能力、ならびに個々の処理ステップによって異なります。

詳しくは、以下を参照してください。