Utilizzo di un indice AutoAI RAG per chattare con i documenti

Se hai creato un modello di generazione aumentata dal recupero dell' AutoAI e (RAG) utilizzando un archivio vettoriale dell' Milvus, puoi utilizzare i documenti di base indicizzati nel laboratorio Prompt per aggiungere contesto alle risposte generate con i modelli di base.

Come parte del processo di esecuzione di un esperimento di generazione aumentata di recupero ( AutoAI ), i documenti di base vengono vettorializzati e memorizzati in un archivio vettoriale ( Milvus ). È possibile utilizzare il contenuto vettoriale per aggiungere un contesto alle risposte generate ai prompt. Per ulteriori informazioni sulla funzione Chat con i documenti del laboratorio Prompt, consultare la sezione Fondare i prompt del modello di fondazione nelle informazioni contestuali.

Prima di iniziare

Per utilizzare i documenti vettoriali del modello RAG AutoAI, verificare che siano soddisfatti i seguenti requisiti:

  1. Una connessione all'istanza del database Milvus è disponibile dal progetto che si sta utilizzando per creare i prompt.
  2. Avete utilizzato un modello di incorporazione supportato per vettorializzare i documenti.

Per ulteriori informazioni su come lavorare nel laboratorio Prompt con contenuti vettoriali, vedere Aggiunta di documenti vettoriali per i prompt del modello di fondazione.

Collegare l'indice di un Milvus e per chattare con i documenti

  1. Dal sito Prompt Lab in modalità chat, selezionare un modello di fondazione, quindi specificare i parametri del modello che si desidera utilizzare per la richiesta.

  2. Fare clic sull'icona Carica documenti Icona di caricamento dei documenti, quindi scegliere Aggiungi documenti.

  3. Selezionare watsonx.data Milvus come archivio vettoriale.

  4. Definire i dettagli inserendo un nome per i documenti di messa a terra e selezionando il collegamento all'indice.

  5. Specifica il modello di embeddings usato per creare il modello RAG AutoAI: slate-125m-english-rtrvr.

  6. Selezionare la raccolta da utilizzare come documenti di base.

  7. Definisci lo schema del campo di raccolta dell' Milvus, specificando " document_id " per il campo "Nome documento" e " text " come valore per il campo "Testo ".

  8. Fare clic su Crea.

  9. Presentate domande sulle informazioni contenute nel documento per verificare quanto il modello sia in grado di utilizzare le informazioni contestuali per rispondere alle vostre domande.

    Ad esempio, chiedete dei concetti che sono spiegati nei documenti di base.

Ulteriori informazioni

Per dettagli sul lavoro con i prompt, vedere Prompt Lab.