Aggiunta di documenti vettorializzati per la messa a terra del modello di fondazione

Aggiungere documenti di base a un indice vettoriale che può essere utilizzato per aggiungere informazioni contestuali ai prompt del modello di base per le attività di generazione aumentata di recupero.

Quando si utilizzano modelli di base per attività di domanda-risposta, è possibile aiutare il modello di base a generare risposte concrete e aggiornate aggiungendo informazioni contestuali al prompt del modello di base. Quando un modello di fondazione riceve informazioni fattuali come input, è più probabile che il modello incorpori tali informazioni fattuali nel suo output.

Per ulteriori informazioni, vedere Schema di generazione con incremento del recupero.

Funzionalità

Utilizza una risorsa di indice vettoriale associata a un archivio dati vettoriali per recuperare gli embedding di testo dei tuoi documenti di riferimento memorizzati nel database vettoriale.

Le funzionalità di asset dell'indice vettoriale si basano sulle seguenti impostazioni che è possibile configurare:

Archivio vettoriale
Selezionare un archivio dati vettoriali compatibile con il set di documenti, ad esempio un archivio vettoriale in memoria per l'archiviazione temporanea o un archivio vettoriale di terze parti per raccolte più grandi e persistenti.
Tipi di file dei documenti di riferimento e limiti di dimensione dei file
Il formato e le dimensioni dei documenti di riferimento dipendono dal tipo di archivio dati vettoriali selezionato.
Modello di integrazione
Seleziona un modello di incorporamento compatibile con l'archivio dati vettoriali selezionato per generare incorporamenti di testo per i tuoi documenti di riferimento.
Strategia di suddivisione in blocchi
Seleziona una strategia di suddivisione per determinare come suddividere i tuoi documenti di riferimento in segmenti più piccoli. Le impostazioni includono la dimensione dei blocchi, la sovrapposizione dei blocchi per la continuità del contesto e la suddivisione facoltativa delle pagine PDF.
Risultati della ricerca
Personalizza il modo in cui vengono filtrati i risultati di una ricerca nel contenuto dell'indice vettoriale.
Modello di riclassificazione
Selezionare un modello di riclassificazione compatibile con l'archivio dati vettoriali selezionato per riclassificare i risultati filtrati restituiti da una ricerca nel contenuto dell'indice vettoriale.

Per ulteriori dettagli su come personalizzare una risorsa dell'indice vettoriale, consulta Impostazioni dell'indice vettoriale.

Modi di lavorare

È possibile utilizzare vari metodi per creare una risorsa indice vettoriale e aggiungere documenti di riferimento alla risorsa, watsonx.ai tra cui:

Panoramica dell'architettura

Per fornire informazioni contestuali a un prompt, aggiungere prima i documenti di base a una risorsa di indice vettoriale, quindi associare l'indice vettoriale a un prompt del modello di base.

L'attività di aggiunta dei documenti di messa a terra a un indice è rappresentata nel diagramma di generazione aumentata dal fase di preelaborazione, in cui i documenti aziendali vengono vettorializzati.

Primo piano della fase di preelaborazione in un modello RAG con incorporazioni vettoriali, in cui i documenti aziendali vengono vettorializzati da un modello di incorporazione e memorizzati in un archivio di dati vettoriali.

Flusso di lavoro

È possibile utilizzare i seguenti passaggi di alto livello per creare risorse di indice vettoriale e associarle a un prompt:

  1. Seleziona un archivio dati vettoriali in cui memorizzare i tuoi documenti. Se si sceglie di utilizzare un archivio vettoriale di terze parti, è necessario configurare una connessione all'archivio dati prima di creare l'indice vettoriale.

  2. Crea un indice vettoriale e aggiungi i tuoi documenti di riferimento all'archivio dati vettoriali.

    Opzionale: scegli un modello di incorporamento e le impostazioni di vettorizzazione che desideri utilizzare per vettorizzare i tuoi documenti quando crei la risorsa dell'indice vettoriale.

  3. Verifica l'efficacia dei tuoi documenti di riferimento vettorializzati nel rispondere alle domande inviando query di prova all'asset dell'indice vettoriale. Modifica le impostazioni della query per migliorare le risposte, se necessario.

  4. Associa l'asset dell'indice vettoriale a un prompt del modello di base in uno dei seguenti modi:

    • Dalla pagina delle risorse dell'indice vettoriale, fare clic sull'icona Visualizza informazioni Visualizza l'icona delle informazioni sull'indice vettoriale sull'indice vettoriale all'inizio della pagina per aprire il pannello Informazioni su questa risorsa, quindi fare clic su Apri in Prompt Lab.
    • Dalla scheda " Prompt Lab " in modalità chat, clicca sull'icona "Grounding with Collegamento a terra con icona documenti documents" all'inizio della pagina, quindi clicca su "Select or create vector index ".

  5. Salva la logica di prompt in un notebook da utilizzare nella tua applicazione di IA generativa.

Ulteriori informazioni