Avaliação do assistente
Visão geral
Você pode avaliar e analisar o desempenho do seu assistente fazendo o upload de uma coleção abrangente e relevante de expressões e enviando-as ao seu assistente em uma execução de teste.
Você pode usar a página Evaluate (Avaliar ) do site watsonx Assistant para carregar uma coleção de exemplos de enunciados e executá-los em seu assistente em uma única execução de teste.
Cada expressão de teste em uma execução de teste inicia uma nova sessão de conversação.
Quando uma execução de teste é concluída, você pode visualizar um resultado de avaliação abrangente. Ele inclui as métricas de roteamento de resposta, pontuações de pesquisa de conversação (se a pesquisa de conversação estiver ativada) e detalhes de resposta para qualquer enunciado na coleção carregada. Ele também inclui as configurações do assistente relevantes para a execução do teste.
A avaliação é compatível apenas com o ambiente de rascunho.
Antes de iniciar
Para avaliar o desempenho da pesquisa de conversação, na janela Integração de pesquisa, defina a alternância da pesquisa de conversação como Ativada. Para obter mais informações, consulte Ativação da pesquisa de conversação
Você pode executar um máximo de 250 mensagens por teste.
Procedimento
Para avaliar as configurações de resposta de seu assistente, execute as etapas a seguir.
Na página inicial do assistente de IA, clique em “Avaliar” para abrir as configurações de resposta de avaliação.
Clique em Adicionar arquivo para selecionar os dados. Você pode carregar o conjunto de dados de teste no formato.csv.
Clique em Run (Executar ) seguido de Confirm (Confirmar ) para iniciar a avaliação e visualizar os resultados.
Resultados da pesquisa conversacional
Em Pontuações de pesquisa de conversação, você pode visualizar as pontuações de extratividade, confiança de recuperação, confiança de resposta, média de citações por resposta e comprimento médio de resposta de todo o conjunto de dados. Para obter mais informações, consulte Análise de pesquisa de conversação.
Configurações da pesquisa conversacional
Em Settings (Configurações ), você pode visualizar as configurações do seu assistente.
Filtrar os resultados
Você pode filtrar os resultados com base no tipo de roteamento de resposta. Clique no ícone de filtro 
e selecione o tipo de resposta que deseja exibir no menu suspenso.
Na tabela Detalhes da resposta, por padrão, você pode ver a confiança da resposta para cada mensagem. Clique no ícone de 
configurações e selecione a opção para exibir a capacidade de extração e a confiança na recuperação de cada mensagem no menu suspenso.
Exportando os resultados
Você pode exportar e salvar o resultado da avaliação. Clique no ícone de 
exportação para exportar a tabela de resultados da avaliação para um arquivo.csv.
O resultado do teste da última execução de teste é preservado de acordo com a mesma política de retenção dos registros de bate-papo. Você também pode clicar no ícone de 
reinicialização para excluir o resultado a qualquer momento antes que ele expire. O resultado é excluído para todos os usuários.