Domande e risposte con RAG Accelerator

Come procurarsi ed eseguire l'acceleratore

Chiedi al team del cliente una copia del file di archivio del progetto di esempio dell'acceleratore.

Cosa c'è di nuovo nelle Domande e Risposte con RAG Accelerator

La sezione Domande e risposte relativa a RAG Accelerator viene aggiornata indipendentemente dalle versioni del prodotto " watsonx ". Verificare periodicamente la presenza di aggiornamenti.

Panoramica

Le domande e risposte con RAG Accelerator forniscono un modello e un'implementazione RAG avanzati che includono i seguenti processi:

• Elaborazione dei documenti : La conversione, l'elaborazione e l'indicizzazione dei documenti per generare un indice vettoriale.
• Interazione con l'utente: Conversazioni con gli utenti in un'applicazione chatbot basata sull'interfaccia utente.
• Generazione delle risposte: risposta alle domande tramite RAG basato sui risultati della ricerca vettoriale o utilizzando API di recupero watsonx.data Premium dei documenti.
• Registrazione input/output: la registrazione di domande, blocchi recuperati e metadati, e risposte in un indice di registro secondario.
• Raccolta del feedback degli utenti: il feedback degli utenti viene aggiunto alle voci corrispondenti del registro di input/output.
• Analisi dei contenuti : un resoconto dei contenuti specifici che devono essere migliorati per migliorare le risposte che hanno ricevuto un feedback negativo da parte degli utenti.
• Approfondimenti sulla copertura delle conoscenze: un rapporto sugli argomenti che necessitano di contenuti migliori o più approfonditi.
• Generazione e visualizzazione della tassonomia : una visualizzazione delle relazioni gerarchiche nei tuoi contenuti.
• Intervento umano : l'identificazione dei migliori esperti per rispondere a risposte insoddisfacenti utilizzando un indice vettoriale con profili di esperti.

Il grafico seguente riassume i processi di Q&A con RAG Accelerator.

Elaborazione dei documenti

Un notebook per l'elaborazione e l'indicizzazione dei documenti automatizza la conversione, la suddivisione e l'indicizzazione dei documenti in un indice vettoriale in uno di questi database vettoriali:

• watsonx Scoperta con Elastic Search.
• DataStax Database Hyper-Converged
• watsonx.data Milvus

La raccolta di documenti di esempio da vettorializzare è una versione del set watsonx as a Service in un file ZIP. In alternativa, puoi collegarti a un bucket di AWS S3 che contiene i tuoi documenti.

È possibile personalizzare il notebook per eseguire indici vettoriali esistenti creati al di fuori di watsonx con altri strumenti, ad esempio connettori e pipeline Elastic, pipeline Spark o processi propri.

Interazione con l'utente

Le applicazioni chatbot di esempio forniscono un'interfaccia utente per le conversazioni che possono includere i seguenti tipi di interazioni:

• Gli utenti pongono domande
• Vengono restituite le risposte generate e i link di riferimento
• Gli utenti forniscono un feedback sulle risposte
• Gli esperti forniscono risposte migliori per rispondere ai feedback negativi degli utenti

È possibile provare uno dei seguenti esempi di applicazioni chatbot:

• watsonx Orchestrate Assistente AI
• Applicazione Streamlit

Generazione di risposte

Python Il notebook per la funzione Q&A Python definisce il codice della funzione Q&A e ne automatizza la distribuzione con un suffisso URL ben definito in uno spazio di distribuzione. Il codice funzione Q&A con RAG Python e è configurato da set di parametri. La funzione prende una domanda come input e interroga l'indice vettoriale per recuperare i blocchi più rilevanti per rispondere alla domanda e i metadati dei blocchi, compresi i collegamenti ai documenti di origine. La funzione aggiunge i blocchi più rilevanti al modello di prompt configurato e restituisce la risposta generata, il punteggio di fedeltà calcolato e i blocchi recuperati con i metadati. Se si archiviano i documenti in watsonx.data Premium, la funzione di generazione delle risposte può eseguire ricerche vettoriali per watsonx.dataMilvus utilizzando l'API watsonx.data Premium di recupero.

Registrazione input/output

Per ogni chiamata della funzione Q&A con RAG Python, è possibile abilitare la registrazione del testo di input e output del prompt. Qualsiasi informazione personale viene rimossa dalle stringhe prima della registrazione. L'indice dei log è separato dall'indice vettoriale per i documenti nel database vettoriale.

Se la registrazione input/output è attiva, è possibile abilitare i suggerimenti di completamento delle domande in fase di digitazione. Se l'utente accetta un completamento basato su una domanda a cui ha risposto di recente, la risposta viene recuperata dall'indice del registro, il che consente di risparmiare tempo e costi di inferenza e recupero della GPU.

Raccolta dei feedback degli utenti

Il feedback degli utenti aiuta le parti interessate a capire quanto bene la soluzione funzioni per i loro utenti, quali argomenti di documenti interessino gli utenti e quanto bene la soluzione risponda alle domande basate sul contenuto. È possibile configurare l'applicazione in modo che richiami nuovamente la funzione Q&A con RAG Python, per raccogliere eventuali feedback degli utenti sulla risposta. Il feedback dell'utente, costituito da un punteggio di soddisfazione e da un commento facoltativo, viene quindi aggiunto al registro delle domande e risposte per un'analisi successiva.

Per testare la soluzione, è possibile generare record di log sintetici e dati di feedback degli utenti eseguendo il notebook Synthetic Log Data Generator. Il notebook esporta un file di test CSV con i record generati. È quindi possibile utilizzare i record generati per testare analisi, dashboard e valutazione del recupero con il notebook di analisi del feedback degli utenti.

Analisi del contenuto

È possibile configurare il notebook di analisi del feedback dell'utente ed eseguirlo direttamente o come lavoro. Il notebook interroga i dati di registro per l'intervallo di tempo specificato o per le date di inizio e fine. Il notebook carica i dati di log in un dataframe e utilizza il rilevamento di argomenti non supervisionato da BERTopic, Watson Natural Language Processing o il Top2Vec metodo per determinare quali argomenti dei documenti sono stati recuperati più frequentemente per generare le risposte. Il notebook analizza e visualizza la soddisfazione dell'utente per argomento e include le domande, le risposte e i commenti degli utenti per le risposte con un punteggio basso. Sulla base di queste informazioni, le parti interessate e i proprietari dei contenuti possono apportare miglioramenti ai contenuti che si traducono in risposte migliori. È possibile esportare i grafici delle informazioni sui contenuti dal notebook in formato HTML.

Rapporti sulla copertura delle conoscenze (anteprima tecnica)

È possibile eseguire il report di approfondimento sulla copertura delle conoscenze per identificare gli argomenti che necessitano di contenuti migliori o più approfonditi.

Il report esegue le seguenti azioni:

1. Compila domande di riferimento dai dati dei test, dall'indice dei log RAG e dall'indice del corpus ( OpenSearch o Watson Discovery ). I dati relativi al feedback degli utenti non sono richiesti.
2. Valuta l'efficacia con cui il tuo corpus risponde alle domande degli utenti ed evidenzia gli aspetti dei contenuti che necessitano di miglioramenti.
3. Restituisce informazioni sugli argomenti rilevati automaticamente, sulla popolarità degli argomenti e sull'analisi delle lacune di conoscenza.

Generazione e visualizzazione della tassonomia (anteprima tecnica)

È possibile eseguire la generazione e la visualizzazione della tassonomia per visualizzare le relazioni gerarchiche nei contenuti:

• La generazione della tassonomia identifica ed estrae automaticamente i temi chiave da un corpus di documenti, quindi li organizza in una chiara tassonomia gerarchica di relazioni padre-figlio. La tassonomia mostra come sia possibile ricavare conoscenze strutturate da contenuti non strutturati.

• La visualizzazione della tassonomia produce visualizzazioni interattive che mostrano la struttura della tassonomia per facilitarne l'esplorazione, offrendo una visione ben organizzata e intuitiva del corpus di documenti sottostante.

Intervento umano

Quando un utente non è soddisfatto di una risposta, è possibile configurare l'applicazione in modo da contattare un esperto che possa fornire una risposta migliore. È possibile configurare il notebook di profilazione esperto per elaborare i documenti di profilo esperto e creare un indice basato su tali informazioni. Ad esempio, l'applicazione può inoltrare la domanda all'esperto, inviare la risposta dell'esperto all'utente e avvisare il proprietario della knowledge base di un possibile miglioramento dei contenuti.

Ulteriori informazioni

• Generazione aumentata dal recupero
• Schema di soluzione per la risposta a domande con generazione aumentata dal reperimento