グラウンディング基盤モデルプロンプトにベクトル化されたドキュメントを追加する
ベクトルインデックスに、 検索拡張生成用の基盤モデルのプロンプトに文脈情報を追加するために使用できるグラウンディングを追加する。
- 必要な権限
- ベクターインデックスアセットを作成し、プロンプトに関連付けるには、プロジェクトのAdminまたはEditorロールが必要です。
- データ・フォーマット
- ベクターショップによって異なる。
- データ・サイズ
- 最大ファイルサイズはファイルの種類によって異なります。
データ形式とサイズの詳細については、 グラウンディングドキュメントのファイル形式 をご覧ください。
質問応答タスクに基盤モデルを使用する場合、 基盤モデル文脈情報を追加することで、 基盤モデル事実に基づく最新の回答を生成するのを支援することができます。 基盤モデル事実情報を入力すると、その事実情報を出力に組み込む可能性が高くなります。
詳細は 検索拡張生成パターン を参照。
プロンプトに文脈情報を提供するには、まず資産 グラウンディングを追加し、次にベクトルインデックスを基盤モデルに関連付けます。
索引に接地文書を追加するタスクは、前処理ステップによって検索-拡張生成ダイアグラムに描かれており、そこでは企業文書がベクトル化される。
働き方
ベクター 資産ックスアセットを作成し、 資産にグラウンディング文書を追加するには、 watsonx.ai 以下の方法など様々な方法を使用できます：
- プロジェクトの 資産 タブまたは Prompt Lab. 詳細は「 ベクトルインデックスの作成」 を参照してください。
- ベクターインデックストランザクションAPIを使用してプログラム的に。 詳細は、 APIリファレンス watsonx.ai ドキュメントを参照してください。
ベクトルストアの種類
以下のベクターストアのいずれかを使用して、接地文書を保存することができます：
メモリ内：Chromaデータベースのベクターインデックスで、プロジェクトに関連付けられ、一時的なベクターストレージを提供します。
注記：メモリ内のベクター インデックス アセットは自動的に作成されるため、ベクター ストアを設定する必要はありません。Elasticsearch: プロジェクトに設定して接続するサードパーティのベクター インデックス。
watsonx.data Milvus watsonx.dataでセットアップできるサードパーティのベクトルインデックスで、プロジェクトに接続できます。
ベクターストアの選択
ドキュメントのベクターインデックスを作成する際、使用するベクターストアを選択することができます。 あなたのユースケースに適したベクターストアを決定するには、以下の要素を考慮してください：
ベクターストアがインデックスを作成できるファイルの種類は？
対応するファイル形式はベクターストアによって異なります。 詳しくは、サポートされている接地文書ファイルの種類を参照してください。
ベクターストアではどのようなエンベッディングモデルが使用できますか？
インデックスに追加する文書のベクトル化に使用できる埋め込みモデルは、ベクトルストアによって異なります。 詳細は埋め込みモデルとベクトル化の設定を参照。
基盤モデルのプロンプトから検索できるグラウンディング文書をいくつ用意したいですか？
サードパーティのベクターストアに接続する際、以下のいずれかの作業を選択できます：
- ベクトル化するファイルを追加し、ベクトルストアの新しいベクトルインデックスまたはコレクションに格納します。
- ベクトルストアの既存のインデックスまたはコレクションからベクトル化されたデータを使用します。
ベクターインデックス作成時にベクターストアに追加できるファイル数には制限があります。 インメモリ・ベクターストアから一度に10文書までアップロードできる。
50MB以上のPDFファイルなど、より多くのドキュメントをベクター化したい場合は、サードパーティのベクターストアをご利用ください。 サードパーティのベクターストアを使えば、まずデータストアから直接、より多くのドキュメントを含むコレクションやインデックスを作成することができます。 その後、プロンプトに関連付けるベクターインデックスアセットを作成するときに、既存のコレクションまたはインデックスに接続できます。
注意:Prompt Lab でベクターインデックスを作成する際、1回のアップロードで10個以上のファイルを追加しないでください。
グラウンディングドキュメントのファイル形式
接地ドキュメントを追加して新しいベクトルインデックスを作成する場合、ファイルをアップロードするか、ファイルを含むデータ資産に接続することができます。
次の表は、新しいベクターインデックスを作成するときに追加できるサポートされているファイルタイプと最大ファイルサイズの一覧です。 対応するファイル形式はベクターストアによって異なります。
ファイルの種類は最初の列にリストされます。 各ファイルタイプでデフォルトで許可される最大合計ファイルサイズは、2番目の列に記載されています。 チェックマーク（✓）は、列のヘッダーに記載されているベクターストアが、最初の列に記載されているファイルタイプをサポートしていることを示します。
.txt ファイルタイプの最大ファイルサイズである5MBを超えてはなりません。| ファイル・タイプ | インメモリーストアの最大ファイルサイズ | Elasticsearch 最大ファイルサイズ | Milvus 最大ファイルサイズ |
|---|---|---|---|
| CSV | サポートされていません | 50 MB | 50 MB |
| DOCX | 50 MB | 500 MB | 500 MB |
| HTML | サポートされていません | 50 MB | 50 MB |
| JSON | サポートされていません | 50 MB | 50 MB |
| 50 MB | 500 MB | 500 MB | |
| PPTX | 300 MB | 3 GB | 3 GB |
| TXT | 5 MB | 50 MB | 50 MB |
| XLSX | サポートされていません | 50 MB | 50 MB |
| XML | サポートされていません | 50 MB | 50 MB |
| YAML | サポートされていません | 50 MB | 50 MB |
埋め込みモデル
グラウンディング文書をアップロードすると、埋め込みモデルが使用され、文書テキストを数値で表すベクトルが計算されます。 使用する埋め込みモデルを選択できます。
インメモリおよび Milvus データストアでは、以下の組み込みモデルがサポートされています
- all-minilm-l6-v2
- IBM Slate 埋め込みモデルよりも小さいチャンク サイズが必要です。
- granite-embedding-278m-multilingual
- バイエンコーダーに基づく標準的な文トランフォーマーモデルであり、 IBM Granite Embeddings スイートの一部です。
- granite-embedding-reranker-english-r2
- IBM Granite Embeddings スイートの一部で、クロスエンコーダに基づく標準的なリランカー トランフォーマーモデル。
- slate-30m-english-rtrvr-v2
- 125mよりも高速な IBMの最新バージョン。
- slate-125m-english-rtrvr-v2
- 30mよりも精度の高い IBMの最新バージョン。
IBM組み込みモデルの詳細については 、「サポートされるエンコーダ・モデル」 を参照してください。
Elasticsearchデータストアでは、ELSER（Elastic Learned Sparse EncodeR ) 埋め込みモデルがサポートされています。 詳細については、 ELSER – Elastic Learned Sparse EncodeR