Iniciação rápida: Avaliar e rastrear um modelo de prompt
Execute este tutorial para aprender como avaliar e controlar um modelo de prompt.. É possível avaliar modelos de prompt em projetos ou espaços de implementação para medir o desempenho de tarefas de modelo de base e entender como seu modelo gera respostas Em seguida, é possível controlar o modelo de prompt em um caso de uso de IA para capturar e compartilhar fatos sobre o ativo para ajudar a atingir os objetivos de controle e conformidade.
- Serviços necessários
- watsonx.governance
- watsonx.ai
- Watson Machine Learning
Seu fluxo de trabalho básico inclui estas tarefas:
- Abra um projeto que contenha o modelo de prompt a ser avaliado Os projetos são onde é possível colaborar com outras pessoas para trabalhar com ativos
- Avaliar um modelo de prompt usando dados de teste.
- Revise os resultados na Planilha de IA.
- Rastreie o modelo de prompt avaliado em um caso de uso de IA
- Implemente e teste o seu modelo de prompt avaliado
Leia sobre modelos de prompt
Com watsonx.governance, é possível avaliar modelos de prompt em projetos para medir com que eficiência seus modelos de base geram respostas para os tipos de tarefas a seguir:
- Classificação
- Sumarização
- Geração
- Resposta à pergunta
- Extração de entidade
Leia mais sobre a avaliação de modelos de prompt em projetos
Leia mais sobre a avaliação de modelos de prompt em espaços de implementação
Assista a um vídeo sobre como avaliar e rastrear um modelo de prompt
Assista a este vídeo para visualizar as etapas deste tutorial. Pode haver pequenas diferenças na interface do usuário mostrada no vídeo. O vídeo é destinado a ser um companheiro para o tutorial escrito. O vídeo começa na tela inicial do site watsonx. O usuário navega até a seção Samples (Amostras ), seleciona Data (Dados ) e abre os dados de amostra.
Este vídeo fornece um método visual para aprender os conceitos e tarefas nesta documentação.
Tente um tutorial sobre como avaliar e rastrear um modelo de prompt
Neste tutorial, você concluirá estas tarefas:
- Tarefa 1: Criar os espaços de trabalho
- Tarefa 2: Criar um inventário e um caso de uso de IA
- Tarefa 3: Avaliar o modelo de prompt de amostra
- Tarefa 4: Iniciar o rastreamento do modelo de prompt
- Tarefa 5: Importar os ativos rastreados para validação
- Tarefa 6: Validar o modelo de prompt
- Tarefa 7: Implementar o modelo de prompt
Dicas para concluir este tutorial
Aqui estão algumas dicas para concluir com sucesso este tutorial.
Configure as janelas do navegador
Para uma experiência ideal ao concluir este tutorial, abra sua conta em uma janela do navegador e mantenha esta página do tutorial aberta em outra janela do navegador para alternar facilmente entre as duas janelas. Considere organizar as duas janelas do navegador lado a lado para facilitar o acompanhamento.
Tarefa 1: Criar os espaços de trabalho
Para concluir este tutorial, você precisa de três espaços de trabalho:
- Fase de desenvolvimento: Um projeto de desenvolvimento para armazenar os ativos que você desenvolve, avalia e rastreia.
- Fase de validação: Um projeto de validação para armazenar os ativos que estão prontos para serem validados.
- Fase de operação: Um espaço de implantação de produção para armazenar os ativos e implantações validados.
Tarefa 1a: Criar o projeto de desenvolvimento com base em um exemplo
Você precisa de um projeto para armazenar o modelo de prompt e a avaliação Siga estas etapas para criar um projeto baseado em uma amostra:
Faça o download do arquivo getting-started-with-watsonx-governance.zip.
No Menu de
Navegação, selecione Projetos > Todos os projetos.Na página Projetos , clique em Novo projeto
Selecione Arquivo local..
Arraste o arquivo ZIP baixado anteriormente para a página.
Na página Criar um projeto , copie e cole o nome do projeto e inclua uma descrição opcional para o projeto
Getting started with watsonx.governaceClique em Criar.
Clique em Visualizar novo projeto para verificar se o projeto e os ativos foram criados com sucesso
Clique na guia Ativos para visualizar os ativos do projeto
Verifique seu progresso
A imagem a seguir mostra a guia Assets (Ativos) do projeto de desenvolvimento. Agora você está pronto para criar o inventário e o caso de uso de IA.
Tarefa 1b: Criar um projeto de validação
Geralmente, o engenheiro de prompt avalia o prompt com dados de teste e o engenheiro de validação o valida. O engenheiro de validação tem acesso aos dados de validação que os engenheiros de prompt podem não ter.. Nesse caso, dados de validação ocorrem em um projeto diferente. Siga estas etapas para criar um projeto vazio. Posteriormente, você importará ativos do projeto de desenvolvimento para o projeto de validação.
No Menu de
Navegação, selecione Projetos > Todos os projetos.Na página Projetos , clique em Novo projeto
Para o nome do projeto, digite:
Validation projectClique em Criar.
Verifique seu progresso
A imagem a seguir mostra o projeto de validação vazio.
Tarefa 1c: Criar um espaço de implantação
Você precisa criar um espaço de implantação agora, para que possa promover posteriormente o modelo de prompt para esse espaço de implantação. Siga estas etapas para criar o espaço de implantação:
No Menu de
Navegação, selecione Implantações.Clique em Novo espaço de implantação.
Para o Nome do espaço, copie e cole o seguinte texto:
Insurance claims deployment spacePara o Estágio de implementação, selecione Produção
Importante: Você deve selecionar Produção para o Estágio de implantação se desejar mover a implantação do Estágio de avaliação para o Estágio de operação.Clique em Criar.
Quando o espaço for criado, clique em Ver novo espaço.
Verifique seu progresso
A imagem a seguir mostra o espaço de implantação.
Tarefa 2: Criar um inventário e um caso de uso de IA
Um inventário serve para armazenar e revisar casos de uso de IA. Os casos de uso de IA coletam fatos de controle para ativos de IA que sua organização rastreia É possível visualizar todos os casos de uso de IA em um Inventário
Tarefa 2a: Criar um inventário
Siga estas etapas para criar um inventário:
No Menu de
Navegação, selecione Governança de IA > Casos de uso de IA.Observação: se esta for a primeira vez que você trabalha com casos de uso de IA, será solicitado que você conclua a configuração.Clique no ícone Gerenciar
inventários.Se você tiver um inventário existente, poderá pular para Criar um caso de uso de IA para usar esse inventário neste tutorial. Caso contrário, continue com as etapas a seguir para criar um inventário.
Clique em Novo Inventário
Para o nome, copie e cole o texto a seguir:
Golden Bank Insurance InventoryPara a descrição, copie e cole o texto a seguir:
Inventory for insurance related processingDesmarque a opção Incluir colaboradores após criação . É possível restringir o acesso no nível do caso de uso de inventário e de IA
Clique em Criar.
Feche a página Gerenciar inventários.
Verifique seu progresso
A imagem a seguir mostra o inventário. Agora você está pronto para criar um caso de uso de IA.
Tarefa 2b: Criar um caso de uso de IA
Este tutorial usa o OpenPages para criar e gerenciar casos de uso de IA Se você não estiver usando OpenPages, consulte Configurando um caso de uso de IA para obter as etapas para criar um caso de uso sem OpenPages.
Um caso de uso de IA é um problema de negócios definido que você pode resolver com a ajuda de IA. Geralmente, eles são definidos antes que qualquer ativo de IA seja desenvolvido Siga estas etapas para criar um caso de uso de IA com OpenPages:
Clique em Novo caso de uso de IA..
Para o Nome, copie e cole o texto a seguir:
Insurance claims processing AI use casePara o campo Proprietário , selecione seu nome de usuário..
Para o Description e para o Purpose, digite:
Use case for evaluating the prompt templates for insurance claims processing for Golden BankPara a Entidade de Negócios Principal, clique em Incluir.
Selecione Catálogos..
Clique em Concluído
Clique em Salvar..
No campo Third Party Link, clique no link para abrir o caso de uso de IA na interface do usuário do watsonx.
Verifique seu progresso
A imagem a seguir mostra o caso de uso de IA.. Agora você está pronto para controlar o modelo de prompt.
Tarefa 2c: Associar os espaços de trabalho ao caso de uso
Siga estas etapas para associar os espaços de trabalho a esse caso de uso:
- Role até a seção Espaços de trabalho associados.
- Na fase de Desenvolvimento, clique em Associar espaço de trabalho.
- Selecione o projeto Começando com watsonx.governance.
- Clique em Salvar..
- Na fase de Validação, clique em Associar espaço de trabalho.
- Selecione o projeto de validação.
- Clique em Salvar..
- Na fase Operação, clique em Associar espaço de trabalho.
- Selecione Espaço de implantação de sinistros de seguro.
- Clique em Salvar..
Verifique seu progresso
A imagem a seguir mostra o caso de uso de IA com todos os espaços de trabalho associados.
Tarefa 3: Avaliar o Modelo de Prompt de Amostra
O projeto de exemplo contém alguns modelos de prompt e arquivos ` CSV ` usados como dados de teste. Siga estas etapas para revisar e avaliar um dos modelos de prompt de amostra:
Tarefa 3a: Editar o modelo de prompt de amostra no Prompt Lab
Visualize o modelo de prompt para ver como ele está estruturado.
No Menu de
Navegação, selecione Projetos > Todos os projetos.Selecione o projeto Começando com watsonx.governance.
Clique na guia Ativos.
Clique em Insurance claim summarization para abrir o modelo de prompt no Prompt Lab e, em seguida, clique em Edit.
Clique no ícone Variáveis
de prompt.Nota: para executar avaliações, deve-se criar pelo menos uma variável de prompt.Role para a seção Tentar . Observe a variável
{input}no campo Entrada . Você deve incluir a variável de prompt como entrada para testar seu prompt. Uma variável de prompt é uma palavra-chave de espaço reservado que você inclui no texto estático do seu prompt no momento da criação e substitui pelo texto dinamicamente no momento da execução.
Verifique seu progresso
A imagem a seguir mostra o Prompt Lab.
'
Tarefa 3b: Avaliar o modelo de prompt
Agora você está pronto para avaliar o modelo de prompt.
- Clique no ícone
Avaliar. - Se solicitado, clique em Associar uma instância de serviço para selecionar o serviço para usar para a avaliação.
- Selecione o serviço apropriado
- Clique em Associar..
- Expanda a seção Qualidade de IA Gerativa para ver uma lista de dimensões As métricas disponíveis dependem do tipo de tarefa do prompt.. Por exemplo, o resumo tem métricas diferentes da classificação.
- Clique em Avançar..
- Selecione os dados de teste:
- Clique em Select from project.
- Selecione Arquivo de projeto > Teste de resumo de sinistro de seguro data.csv.
- Clique em Select.
- Para a coluna Entrada, selecione Insurance_Claim.
- Para a coluna Saída de referência, selecione Resumo.
- Clique em Avançar..
- Clique em Avaliar. Quando a avaliação for concluída, você verá os resultados do teste na guia Avaliar
- Clique na guia Planilha de IA .
- Visualize as informações em cada uma das seções na guia
- Clique em Development > Getting started with watsonx.governance > Test results para ver os resultados do teste novamente.
Verifique seu progresso
A seguinte imagem mostra os resultados da avaliação. Agora é possível iniciar o rastreamento do modelo de prompt em um caso de uso de IA.
Tarefa 4: Iniciar o Rastreamento do Modelo de Prompt
É possível rastrear seu modelo de prompt em um caso de uso de IA para relatar o processo de desenvolvimento e de teste para seus peers Siga estas etapas para começar a rastrear o modelo de prompt:
- Na guia Planilha de IA , clique na página Controle .
- Clique em Controlar um caso de uso de IA
- Observe que o caso de uso de IA associado é Caso de uso de IA para processamento de sinistros de seguros.
- Selecione uma abordagem. Uma abordagem é um aspecto da solução para o problema de negócios representado pelo caso de uso de IA. Por exemplo, você pode criar abordagens para rastrear vários modelos de prompt em um caso de uso
- Clique em Avançar..
- Se estiver usando OpenPages, você será solicitado a definir um registro de ativo. Selecione Novo registro de ativo e clique em Avançar.
- Para a versão do modelo, selecione Experimental.
- Aceite o valor padrão para o número da versão.
- Clique em Avançar..
- Revise as informações e, em seguida, clique em Controlar ativo.
- Quando o rastreamento do modelo começar com sucesso, clique no ícone Exibir detalhes
para abrir o caso de uso de IA. - Clique na guia Lifecycle para ver que o modelo de prompt está na fase de Development. À medida que o modelo de prompt passa pelo ciclo de vida da IA, ele passa por essas fases:
- Fase de desenvolvimento: Ativos de IA que foram desenvolvidos em um ambiente de projeto.
- Fase de validação: Ativos de IA que foram implantados em um espaço ou projeto para validação.
- Fase de operação: Ativos de IA implantados em um espaço para operação.
Verifique seu progresso
A imagem a seguir mostra a guia Lifecycle (Ciclo de vida) no caso de uso de IA com o modelo de prompt na fase de Desenvolvimento. Agora você está pronto para continuar na fase de validação.
Tarefa 5: Importar os ativos rastreados para validação
Conforme observado na Tarefa 1, em geral, o engenheiro de prompt avalia o prompt com dados de teste, e o engenheiro de validação valida o prompt. O engenheiro de validação tem acesso aos dados de validação que os engenheiros de prompt podem não ter.. Nesse caso, dados de validação ocorrem em um projeto diferente. Siga estas etapas para exportar o projeto de desenvolvimento e importar esses ativos para o projeto de validação que você criou na Tarefa 1 para mover o ativo para a fase de Validação do ciclo de vida da IA:
Tarefa 5a: Exportar o projeto de amostra
Siga estas etapas para exportar o projeto de desenvolvimento:
- No Menu de Navegação, selecione Projetos > Todos os projetos.
- Selecione o projeto Começando com watsonx.governance.
- Clique no ícone
Importar/Exportar > Exportar projeto. - Marque a caixa para selecionar todos os ativos
- Clique em Exportar.
- Clique em Continuar exportação para confirmar que os ativos podem conter credenciais.
- Aguarde a solicitação do nome do arquivo do projeto e digite
validation-project.zipe, em seguida, clique em Salvar. - Quando a exportação do projeto estiver concluída, clique em Voltar para o projeto
Verifique seu progresso
A imagem a seguir mostra a página do projeto Exportar.
Tarefa 5b: Importar os ativos para o projeto de validação
Siga estas etapas para importar os ativos do projeto de desenvolvimento para o projeto de validação:
- No Menu de Navegação, selecione Projetos > Todos os projetos.
- Abra o projeto Validação.
- Clique no ícone Importar/Exportar > Importar projeto.
- Clique em Procurar.
- Selecione o arquivo validation-project.zip e clique em Open.
- Selecione a opção para indicar sua concordância: Entendo que alguns tipos de ativos substituem os ativos existentes com o mesmo nome e tipo.
- Clique em Importar.
- Quando os ativos forem importados com sucesso, clique no ícone
Atualizar para ver os ativos importados.
Verifique seu progresso
A imagem a seguir mostra a guia Recursos do projeto de validação. Agora você está pronto para avaliar o modelo de prompt de amostra do projeto de validação
Tarefa 6: Validar o modelo de prompt
Agora você está pronto para avaliar o modelo de prompt neste projeto de validação usando o mesmo processo de avaliação de antes. Use o mesmo conjunto de dados de teste para a avaliação E selecione as mesmas colunas Entrada e Saída de antes. Siga estas etapas para validar o modelo de prompt:
- Clique na guia Ativos no Projeto de Validação
- No menu Excesso
para o modelo de solicitação de resumo de sinistro de seguro, selecione Avaliar. - Clique em Evaluate para iniciar a avaliação.
- Repita as etapas da Tarefa 3a: Avaliar o modelo de prompt para avaliar o Modelo de prompt de resumo de processamento de reclamações no Projeto de validação.
- Clique na guia Planilha de IA quando a avaliação for concluída.
- Visualize ambos os conjuntos de resultados de teste:
- Clique em Desenvolvimento > Introdução ao watsonx.governance > Resultados do teste.
- Clique em Validação > Projeto de validação > Resultados do teste.
Verifique seu progresso
A imagem a seguir mostra os resultados do teste de validação Agora você está pronto para promover o modelo de prompt para um espaço de implementação e, em seguida, implementar o modelo de prompt..
Tarefa 7: Implementar o modelo de prompt
Para implantar o modelo de prompt, você precisa promovê-lo ao espaço de implantação que criou na Tarefa 1. Em seguida, no espaço de implantação, você pode criar uma implantação e testar o modelo de prompt implantado.
Tarefa 7a: Promover o modelo de prompt para um espaço de implementação
Você promove o modelo de prompt para um espaço de implementação em preparação de implementação. Siga estas etapas para solicitar o modelo de prompt:
Clique em Projeto de validação na trilha de navegação para retornar à guia Ativos.
No menu Excesso
para o modelo de solicitação de resumo de sinistro de seguro, selecione Promover para espaço.Para o Espaço de destino, selecione o Espaço de implantação de sinistros de seguros na lista.
Marque a opção Acessar o espaço após promover o modelo de prompt.
Clique em Promover.
Verifique seu progresso
A imagem a seguir mostra o modelo de prompt no espaço de implementação Agora você está pronto para criar uma implementação.
Tarefa 7b: Implementar o modelo de prompt
Agora é possível criar uma implementação on-line do modelo de prompt de dentro do espaço de implementação. Siga estas etapas para criar uma implementação:
Na página do ativo Resumo de solicitações de seguro no espaço de implementação, selecione Nova implementação.
Para o nome da implementação, copie e cole o texto a seguir:
Insurance claims summarization deploymentClique em Criar.
Verifique seu progresso
A imagem a seguir mostra o modelo de prompt implementado.
Tarefa 7c: Visualizar o modelo de prompt implementado
Siga estas etapas para visualizar o modelo de prompt implementado na fase atual do ciclo de vida:
- Visualize a implementação quando ela estiver pronta A guia Referência da API fornece informações para que você use a implementação do modelo de prompt em seu aplicativo
- Clique na guia Teste . A guia Teste permite enviar uma instrução e Entrada para testar a implementação.
- Clique em Gerar. Feche a janela de resultados
- Clique na guia Planilha de IA .
- Role para baixo até a parte inferior da página Planilha de IA e clique na seta para obter mais detalhes.
- Revise as informações nas fases de Desenvolvimento, Validação e Operação para a Folha de Dados da IA para o modelo de prompt implantado.
- Role até o topo da página e clique no ícone Exibir detalhes para abrir o caso de uso de IA.
- No caso de uso, clique na guia Lifecycle. Você pode ver que o modelo de prompt está agora na fase Operação.
- Clique no modelo de prompt Resumo de sinistro de seguro na fase Operação. Quando tiver concluído, clique em Cancelar
- Clique na implantação do modelo de prompt Insurance claims summarization deployment na fase Operation. Quando tiver concluído, clique em Cancelar
Verifique seu progresso
A imagem a seguir mostra o modelo de prompt na fase Operação do ciclo de vida.
Próximas etapas
Tente um dos outros tutoriais:
Recursos adicionais
- Visualize mais vídeos
Pré-requisitos
Rascunho de conteúdo - tarefas para servidores de revisão
Tarefa 1
Para concluir este tutorial, você precisa de três espaços de trabalho:
- Fase de desenvolvimento: Um projeto de desenvolvimento para armazenar os ativos que você desenvolve, avalia e rastreia.
- Fase de validação: Um projeto de validação para armazenar os ativos que estão prontos para serem validados.
- Fase de operação: Um espaço de implantação de produção para armazenar os ativos e implantações validados.
Tarefa 1a: Criar o projeto de desenvolvimento com base em um exemplo
Você precisa de um projeto para armazenar o modelo de prompt e a avaliação Siga estas etapas para criar um projeto baseado em uma amostra:
Faça o download do arquivo getting-started-with-watsonx-governance.zip.
No Menu de
Navegação, selecione Projetos > Todos os projetos.Na página Projetos , clique em Novo projeto
Selecione Arquivo local..
Arraste o arquivo ZIP baixado anteriormente para a página.
Na página Criar um projeto , copie e cole o nome do projeto e inclua uma descrição opcional para o projeto
Getting started with watsonx.governaceClique em Criar.
Clique em Visualizar novo projeto para verificar se o projeto e os ativos foram criados com sucesso
Clique na guia Ativos para visualizar os ativos do projeto
Verifique seu progresso
A imagem a seguir mostra a guia Assets (Ativos) do projeto de desenvolvimento. Agora você está pronto para criar o inventário e o caso de uso de IA.
Tarefa 1b: Criar um projeto de validação
Geralmente, o engenheiro de prompt avalia o prompt com dados de teste e o engenheiro de validação o valida. O engenheiro de validação tem acesso aos dados de validação que os engenheiros de prompt podem não ter.. Nesse caso, dados de validação ocorrem em um projeto diferente. Siga estas etapas para criar um projeto vazio. Posteriormente, você importará ativos do projeto de desenvolvimento para o projeto de validação.
No Menu de
Navegação, selecione Projetos > Todos os projetos.Na página Projetos , clique em Novo projeto
Para o nome do projeto, digite:
Validation projectClique em Criar.
Verifique seu progresso
A imagem a seguir mostra o projeto de validação vazio.
Tarefa 1c: Criar um espaço de implantação
Você precisa criar um espaço de implantação agora, para que possa promover posteriormente o modelo de prompt para esse espaço de implantação. Siga estas etapas para criar o espaço de implantação:
No Menu de
Navegação, selecione Implantações.Clique em Novo espaço de implantação.
Para o Nome do espaço, copie e cole o seguinte texto:
Insurance claims deployment spacePara o Estágio de implementação, selecione Produção
Importante: Você deve selecionar Produção para o Estágio de implantação se desejar mover a implantação do Estágio de avaliação para o Estágio de operação.Clique em Criar.
Quando o espaço for criado, clique em Ver novo espaço.
Verifique seu progresso
A imagem a seguir mostra o espaço de implantação.
Tarefa 2
Um inventário serve para armazenar e revisar casos de uso de IA. Os casos de uso de IA coletam fatos de controle para ativos de IA que sua organização rastreia É possível visualizar todos os casos de uso de IA em um Inventário
Tarefa 2a: Criar um inventário
Siga estas etapas para criar um inventário:
No Menu de
Navegação, selecione Governança de IA > Casos de uso de IA.Observação: se esta for a primeira vez que você trabalha com casos de uso de IA, será solicitado que você conclua a configuração.Clique no ícone Gerenciar
inventários.Se você tiver um inventário existente, poderá pular para Criar um caso de uso de IA para usar esse inventário neste tutorial. Caso contrário, continue com as etapas a seguir para criar um inventário.
Clique em Novo Inventário
Para o nome, copie e cole o texto a seguir:
Golden Bank Insurance InventoryPara a descrição, copie e cole o texto a seguir:
Inventory for insurance related processingDesmarque a opção Incluir colaboradores após criação . É possível restringir o acesso no nível do caso de uso de inventário e de IA
Clique em Criar.
Feche a página Gerenciar inventários.
Verifique seu progresso
A imagem a seguir mostra o inventário. Agora você está pronto para criar um caso de uso de IA.
Tarefa 2b: Criar um caso de uso de IA
Este tutorial usa o OpenPages para criar e gerenciar casos de uso de IA Se você não estiver usando OpenPages, consulte Configurando um caso de uso de IA para obter as etapas para criar um caso de uso sem OpenPages.
Um caso de uso de IA é um problema de negócios definido que você pode resolver com a ajuda de IA. Geralmente, eles são definidos antes que qualquer ativo de IA seja desenvolvido Siga estas etapas para criar um caso de uso de IA com OpenPages:
Clique em Novo caso de uso de IA..
Para o Nome, copie e cole o texto a seguir:
Insurance claims processing AI use casePara o campo Proprietário , selecione seu nome de usuário..
Para o Description e para o Purpose, digite:
Use case for evaluating the prompt templates for insurance claims processing for Golden BankPara a Entidade de Negócios Principal, clique em Incluir.
Selecione Catálogos..
Clique em Concluído
Clique em Salvar..
No campo Third Party Link, clique no link para abrir o caso de uso de IA na interface do usuário do watsonx.
Verifique seu progresso
A imagem a seguir mostra o caso de uso de IA.. Agora você está pronto para controlar o modelo de prompt.
Tarefa 2c: Associar os espaços de trabalho ao caso de uso
Siga estas etapas para associar os espaços de trabalho a esse caso de uso:
- Role até a seção Espaços de trabalho associados.
- Na fase de Desenvolvimento, clique em Associar espaço de trabalho.
- Selecione o projeto Começando com watsonx.governance.
- Clique em Salvar..
- Na fase de Validação, clique em Associar espaço de trabalho.
- Selecione o projeto de validação.
- Clique em Salvar..
- Na fase Operação, clique em Associar espaço de trabalho.
- Selecione Espaço de implantação de sinistros de seguro.
- Clique em Salvar..
Verifique seu progresso
A imagem a seguir mostra o caso de uso de IA com todos os espaços de trabalho associados.
Tarefa 3
O projeto de exemplo contém alguns modelos de prompt e arquivos ` CSV ` usados como dados de teste. Siga estas etapas para revisar e avaliar um dos modelos de prompt de amostra:
Tarefa 3a: Editar o modelo de prompt de amostra no Prompt Lab
Visualize o modelo de prompt para ver como ele está estruturado.
No Menu de
Navegação, selecione Projetos > Todos os projetos.Selecione o projeto Começando com watsonx.governance.
Clique na guia Ativos.
Clique em Insurance claim summarization para abrir o modelo de prompt no Prompt Lab e, em seguida, clique em Edit.
Clique no ícone Variáveis
de prompt.Nota: para executar avaliações, deve-se criar pelo menos uma variável de prompt.Role para a seção Tentar . Observe a variável
{input}no campo Entrada . Você deve incluir a variável de prompt como entrada para testar seu prompt. Uma variável de prompt é uma palavra-chave de espaço reservado que você inclui no texto estático do seu prompt no momento da criação e substitui pelo texto dinamicamente no momento da execução.
Verifique seu progresso
A imagem a seguir mostra o Prompt Lab.
'
Tarefa 3b: Avaliar o modelo de prompt
Agora você está pronto para avaliar o modelo de prompt.
- Clique no ícone Avaliar.
- Se solicitado, clique em Associar uma instância de serviço para selecionar o serviço para usar para a avaliação.
- Selecione o serviço apropriado
- Clique em Associar..
- Expanda a seção Qualidade de IA Gerativa para ver uma lista de dimensões As métricas disponíveis dependem do tipo de tarefa do prompt.. Por exemplo, o resumo tem métricas diferentes da classificação.
- Clique em Avançar..
- Selecione os dados de teste:
- Clique em Select from project.
- Selecione Arquivo de projeto > Teste de resumo de sinistro de seguro data.csv.
- Clique em Select.
- Para a coluna Entrada, selecione Insurance_Claim.
- Para a coluna Saída de referência, selecione Resumo.
- Clique em Avançar..
- Clique em Avaliar. Quando a avaliação for concluída, você verá os resultados do teste na guia Avaliar
- Clique na guia Planilha de IA .
- Visualize as informações em cada uma das seções na guia
- Clique em Development > Getting started with watsonx.governance > Test results para ver os resultados do teste novamente.
Verifique seu progresso
A seguinte imagem mostra os resultados da avaliação. Agora é possível iniciar o rastreamento do modelo de prompt em um caso de uso de IA.
Tarefa 4
É possível rastrear seu modelo de prompt em um caso de uso de IA para relatar o processo de desenvolvimento e de teste para seus peers Siga estas etapas para começar a rastrear o modelo de prompt:
- Na guia Planilha de IA , clique na página Controle .
- Clique em Controlar um caso de uso de IA
- Observe que o caso de uso de IA associado é Caso de uso de IA para processamento de sinistros de seguros.
- Selecione uma abordagem. Uma abordagem é um aspecto da solução para o problema de negócios representado pelo caso de uso de IA. Por exemplo, você pode criar abordagens para rastrear vários modelos de prompt em um caso de uso
- Clique em Avançar..
- Se estiver usando OpenPages, você será solicitado a definir um registro de ativo. Selecione Novo registro de ativo e clique em Avançar.
- Para a versão do modelo, selecione Experimental.
- Aceite o valor padrão para o número da versão.
- Clique em Avançar..
- Revise as informações e, em seguida, clique em Controlar ativo.
- Quando o rastreamento do modelo começar com sucesso, clique no ícone Exibir detalhes para abrir o caso de uso de IA.
- Clique na guia Lifecycle para ver que o modelo de prompt está na fase de Development. À medida que o modelo de prompt passa pelo ciclo de vida da IA, ele passa por essas fases:
- Fase de desenvolvimento: Ativos de IA que foram desenvolvidos em um ambiente de projeto.
- Fase de validação: Ativos de IA que foram implantados em um espaço ou projeto para validação.
- Fase de operação: Ativos de IA implantados em um espaço para operação.
Verifique seu progresso
A imagem a seguir mostra a guia Lifecycle (Ciclo de vida) no caso de uso de IA com o modelo de prompt na fase de Desenvolvimento. Agora você está pronto para continuar na fase de validação.
Tarefa 5
Conforme observado na Tarefa 1, em geral, o engenheiro de prompt avalia o prompt com dados de teste, e o engenheiro de validação valida o prompt. O engenheiro de validação tem acesso aos dados de validação que os engenheiros de prompt podem não ter.. Nesse caso, dados de validação ocorrem em um projeto diferente. Siga estas etapas para exportar o projeto de desenvolvimento e importar esses ativos para o projeto de validação que você criou na Tarefa 1 para mover o ativo para a fase de Validação do ciclo de vida da IA:
Tarefa 5a: Exportar o projeto de amostra
Siga estas etapas para exportar o projeto de desenvolvimento:
- No Menu de Navegação, selecione Projetos > Todos os projetos.
- Selecione o projeto Começando com watsonx.governance.
- Clique no ícone Importar/Exportar > Exportar projeto.
- Marque a caixa para selecionar todos os ativos
- Clique em Exportar.
- Clique em Continuar exportação para confirmar que os ativos podem conter credenciais.
- Aguarde a solicitação do nome do arquivo do projeto e digite
validation-project.zipe, em seguida, clique em Salvar. - Quando a exportação do projeto estiver concluída, clique em Voltar para o projeto
Verifique seu progresso
A imagem a seguir mostra a página do projeto Exportar.
Tarefa 5b: Importar os ativos para o projeto de validação
Siga estas etapas para importar os ativos do projeto de desenvolvimento para o projeto de validação:
- No Menu de Navegação, selecione Projetos > Todos os projetos.
- Abra o projeto Validação.
- Clique no ícone Importar/Exportar > Importar projeto.
- Clique em Procurar.
- Selecione o arquivo validation-project.zip e clique em Open.
- Selecione a opção para indicar sua concordância: Entendo que alguns tipos de ativos substituem os ativos existentes com o mesmo nome e tipo.
- Clique em Importar.
- Quando os ativos forem importados com sucesso, clique no ícone Atualizar para ver os ativos importados.
Verifique seu progresso
A imagem a seguir mostra a guia Recursos do projeto de validação. Agora você está pronto para avaliar o modelo de prompt de amostra do projeto de validação
Tarefa 6
Agora você está pronto para avaliar o modelo de prompt neste projeto de validação usando o mesmo processo de avaliação de antes. Use o mesmo conjunto de dados de teste para a avaliação E selecione as mesmas colunas Entrada e Saída de antes. Siga estas etapas para validar o modelo de prompt:
- Clique na guia Ativos no Projeto de Validação
- No menu Excesso para o modelo de solicitação de resumo de sinistro de seguro, selecione Avaliar.
- Clique em Evaluate para iniciar a avaliação.
- Repita as etapas da Tarefa 3a: Avaliar o modelo de prompt para avaliar o Modelo de prompt de resumo de processamento de reclamações no Projeto de validação.
- Clique na guia Planilha de IA quando a avaliação for concluída.
- Visualize ambos os conjuntos de resultados de teste:
- Clique em Desenvolvimento > Introdução ao watsonx.governance > Resultados do teste.
- Clique em Validação > Projeto de validação > Resultados do teste.
Verifique seu progresso
A imagem a seguir mostra os resultados do teste de validação Agora você está pronto para promover o modelo de prompt para um espaço de implementação e, em seguida, implementar o modelo de prompt..
Tarefa 7
Para implantar o modelo de prompt, você precisa promovê-lo ao espaço de implantação que criou na Tarefa 1. Em seguida, no espaço de implantação, você pode criar uma implantação e testar o modelo de prompt implantado.
Tarefa 7a: Promover o modelo de prompt para um espaço de implementação
Você promove o modelo de prompt para um espaço de implementação em preparação de implementação. Siga estas etapas para solicitar o modelo de prompt:
Clique em Projeto de validação na trilha de navegação para retornar à guia Ativos.
No menu Excesso
para o modelo de solicitação de resumo de sinistro de seguro, selecione Promover para espaço.Para o Espaço de destino, selecione o Espaço de implantação de sinistros de seguros na lista.
Marque a opção Acessar o espaço após promover o modelo de prompt.
Clique em Promover.
Verifique seu progresso
A imagem a seguir mostra o modelo de prompt no espaço de implementação Agora você está pronto para criar uma implementação.
Tarefa 7b: Implementar o modelo de prompt
Agora é possível criar uma implementação on-line do modelo de prompt de dentro do espaço de implementação. Siga estas etapas para criar uma implementação:
Na página do ativo Resumo de solicitações de seguro no espaço de implementação, selecione Nova implementação.
Para o nome da implementação, copie e cole o texto a seguir:
Insurance claims summarization deploymentClique em Criar.
Verifique seu progresso
A imagem a seguir mostra o modelo de prompt implementado.
Tarefa 7c: Visualizar o modelo de prompt implementado
Siga estas etapas para visualizar o modelo de prompt implementado na fase atual do ciclo de vida:
- Visualize a implementação quando ela estiver pronta A guia Referência da API fornece informações para que você use a implementação do modelo de prompt em seu aplicativo
- Clique na guia Teste . A guia Teste permite enviar uma instrução e Entrada para testar a implementação.
- Clique em Gerar. Feche a janela de resultados
- Clique na guia Planilha de IA .
- Role para baixo até a parte inferior da página Planilha de IA e clique na seta para obter mais detalhes.
- Revise as informações nas fases de Desenvolvimento, Validação e Operação para a Folha de Dados da IA para o modelo de prompt implantado.
- Role até o topo da página e clique no ícone Exibir detalhes para abrir o caso de uso de IA.
- No caso de uso, clique na guia Lifecycle. Você pode ver que o modelo de prompt está agora na fase Operação.
- Clique no modelo de prompt Resumo de sinistro de seguro na fase Operação. Quando tiver concluído, clique em Cancelar
- Clique na implantação do modelo de prompt Insurance claims summarization deployment na fase Operation. Quando tiver concluído, clique em Cancelar
Verifique seu progresso
A imagem a seguir mostra o modelo de prompt na fase Operação do ciclo de vida.