Valutazione dell'assistente
Panoramica
È possibile valutare e analizzare le prestazioni dell'assistente caricando una raccolta completa e pertinente di enunciati e inviando gli enunciati all'assistente in una prova.
È possibile utilizzare la pagina Evaluate di watsonx Assistant per caricare una raccolta di enunciati di esempio ed eseguirli sull'assistente in un'unica prova.
Ogni frase di prova all'interno di una sessione di test avvia una nuova sessione di conversazione.
Al termine dell'esecuzione di un test, è possibile visualizzare il risultato completo della valutazione. Include le metriche di instradamento delle risposte, i punteggi della ricerca conversazionale (se la ricerca conversazionale è abilitata) e i dettagli delle risposte per ogni enunciato della raccolta caricata. Include anche le impostazioni dell'assistente relative all'esecuzione del test.
La valutazione è supportata solo per l'ambiente di bozza.
Prima di iniziare
Per valutare le prestazioni della ricerca conversazionale, nella finestra Integrazione della ricerca, impostare la levetta Ricerca conversazionale su On. Per ulteriori informazioni, vedere Abilitazione della ricerca conversazionale
È possibile eseguire un massimo di 250 messaggi per ogni test.
Procedura
Per valutare le impostazioni di risposta dell'assistente, eseguire le seguenti operazioni.
Nella pagina iniziale dell'assistente AI, clicca su "Valuta" per aprire le impostazioni di valutazione della risposta.
Fare clic su Aggiungi file per selezionare i dati. È possibile caricare i dati di prova in formato.csv.
Fare clic su Esegui seguito da Conferma per avviare la valutazione e visualizzare i risultati.
Risultati della ricerca conversazionale
Nella sezione Punteggi di ricerca di conversione, è possibile visualizzare i punteggi per l'estrattività, la fiducia nel recupero, la fiducia nelle risposte, la media delle citazioni per risposta e la lunghezza media delle risposte dell'intero set di dati. Per ulteriori informazioni, vedere Analisi della ricerca conversazionale.
Impostazioni della ricerca conversazionale
In Impostazioni è possibile visualizzare le impostazioni dell'assistente.
Filtrare i risultati
È possibile filtrare i risultati in base al tipo di instradamento della risposta. Fai clic sull'icona del filtro 
e seleziona dal menu a tendina il tipo di risposta che desideri visualizzare.
Nella tabella Dettagli risposta, per impostazione predefinita, è possibile visualizzare l'affidabilità della risposta per ciascun messaggio. Fai clic sull'icona delle impostazioni 
e seleziona l'opzione per visualizzare l'estricabilità e il livello di affidabilità del recupero per ogni messaggio dal menu a tendina.
Esportazione dei risultati
È possibile esportare e salvare il risultato della valutazione. Fai clic sull'icona di 
esportazione per esportare la tabella dei risultati della valutazione in un file.csv.
Il risultato dell'ultimo test viene conservato secondo la stessa politica di conservazione dei log di chat. Puoi anche cliccare sull'icona di 
azzeramento per cancellare il risultato in qualsiasi momento prima della scadenza dello stesso. Il risultato viene cancellato per tutti gli utenti.