Início rápido: avaliar um modelo de aprendizado de máquina

Para visualizar esta tarefa, assista ao vídeo a partir do minuto 00:06.

Este tutorial usa um projeto de amostra contendo um modelo de aprendizado de máquina e um notebook para configurar os monitores. Siga estas etapas para criar um projeto com base em uma amostra

1. Acesse o projeto de amostra Avaliar um modelo de ML no hub de recursos.

2. Clique em Criar projeto.

3. Se solicitado a associar o projeto a uma instância Cloud Object Storage, selecione uma instância Cloud Object Storage a partir da lista.

4. Clique em Criar.

5. Aguarde a importação do projeto ser concluída e, em seguida, clique em Visualizar novo projeto para verificar se o projeto e os ativos foram criados com êxito.

6. Clique na aba Ativos para visualizar os ativos no projeto de amostra.

Antes de poder implementar o modelo, é necessário promover o modelo para um novo espaço de implementação Os espaços de implementação ajudam a organizar recursos de suporte, como dados de entrada e ambientes; implementar modelos ou funções para gerar predições ou soluções; e visualizar ou editar detalhes da implementação.

Execute o notebook incluído no projeto de amostra para:

• Busque o modelo e as implementações
• Configurar Watson OpenScale.
• Crie o provedor de serviços e a assinatura para seu serviço de aprendizado de máquina.
• Configure o monitor de qualidade
• Configure o monitor de justiça.
• Configure a explicabilidade.

Siga estas etapas para executar o notebook incluído no projeto de amostra. Esse bloco de notas configura monitores para seu modelo, que também podem ser configurados por meio da interface com o usuário.. No entanto, é mais rápido e menos propenso a erro configurá-los com um notebook. Reserve um tempo para ler os comentários no bloco de notas, que explicam o código em cada célula.

1. No Menu de Navegação, selecione Projetos > Exibir todos os projetos.

2. Abra o projeto Avaliar um modelo de ML

3. Clique na guia Ativos e navegue até Cadernos.
   

   Nota:

   Se você vir um ícone de “Atenção” ao lado do notebook, clique no menu “Overflow” ao lado do notebook “monitor-wml-model-with-watson-openscale ” e selecione “Alterar ambiente ”. Selecione um modelo de Runtime on Python compatível e clique em Change (Alterar ).

4. Abra o notebook monitor-wml-model-with-watson-openscale .

5. Como o caderno está no modo somente leitura, clique no ícone “Editar” para colocá-lo no modo de edição.

6. Observe a primeira célula deste caderno. Se você importou o notebook de um projeto, ele contém o token de acesso do projeto.

   Se o caderno não contiver um token de acesso ao projeto na primeira célula, gere um. Para gerar o token, no menu “Mais ”, selecione “Inserir token do projeto ”. Essa ação insere uma nova célula como a primeira célula no bloco de notas que contém o token do projeto

7. Na seção Fornecer sua chave de API do IBM Cloud, você precisa passar suas credenciais para a API do watsonx.ai Runtime usando uma chave de API. Se você ainda não tiver uma chave de API salva, siga estas etapas para criar uma chave de API.

   1. Acesse a página de chaves de API do console doIBM Cloud.

   2. Clique em Criar uma chave de API do IBM Cloud. Se você tiver alguma chave API existente, o botão poderá ser rotulado Criar.

   3. Digite um nome e uma descrição.

   4. Clique em Criar.

   5. Copiar a chave de API.

   6. Faça o download da chave de API para uso futuro.

   7. Retorne ao bloco de notas e cole sua chave de API no campo ibmcloud_api_key .

8. No 3. Seção Modelo e Implementação , verifique os valores designados às variáveis space_name, model_namee deployment_name .

9. Clique em Célula> Executar Todos para executar todas as células no bloco de notas Como alternativa, clique no ícone “Executar” ao lado de cada célula para executar o notebook célula por célula e explorar cada célula e sua saída.

10. O caderno leva de 1 a 3 minutos para ser concluído. É possível monitorar a célula de progresso por célula observando o asterisco "In [*]" mudando para um número, por exemplo, "In [1]".

11. Se você encontrar erros durante a execução do bloco de notas, tente estas dicas de resolução de problemas:

    • Clique em Kernel> Reiniciar & Limpar Saída para reiniciar o kernel e, em seguida, execute o bloco de notas novamente

    • Exclua quaisquer implementações existentes do Watson OpenScale e provisione uma nova instância de serviço

    • Verifique se você criou o espaço de implementação e o nome da implementação copiando e colando o nome do artefato especificado exatamente sem espaços iniciais ou finais.

Para ter uma prévia desta tarefa, assista ao vídeo a partir dos 03:35.

Siga estas etapas para fazer download de dados de validação e use esses dados para avaliar o modelo no Watson OpenScale:

1. Clique no projeto Avaliar um modelo de ML na trilha de navegação

   

2. Na guia Ativos , clique em Dados> Ativos de dados

3. Clique no menu de opções do ativo de dados “ GoldenBank_HoldoutData.csv ” e selecione “Baixar ”. Para validar que o modelo está funcionando conforme necessário, é necessário um conjunto de dados rotulados, que foi mantido do treinamento do modelo. Este arquivo CSV contém esses dados de retenção.

4. Ative o Watson OpenScale.

   1. No menu de navegação, selecione Serviços > Instâncias de serviço.

   2. Clique em sua instância do Watson OpenScale para abrir a página da instância de serviço Se solicitado, efetue login usando as mesmas credenciais que você usou para se inscrever no Cloud Pak for Data.

      Nota:A sua instância pode ter um nome diferente, como `watsonx.governance-xx`

   3. Na página da instância de serviço Watson OpenScale , clique em Ativar Watson OpenScale.
      

5. No Painel de insights, clique no bloco Implementação do modelo de aprovação de hipoteca.

6. A partir do menu Ações, selecione Avaliar agora.

7. A partir da lista de opções de importação, selecione a partir do arquivo CSV.

8. Arraste o arquivo de dados “ GoldenBank_HoldoutData.csv”, que você baixou do projeto, para o painel lateral.

9. Clique em Fazer upload e avaliar e aguarde a conclusão da avaliação.

Para ter uma prévia desta tarefa, assista ao vídeo a partir dos 04:40.

O monitor de qualidade Watson OpenScale gera um conjunto de métricas para avaliar a qualidade de seu modelo. É possível usar essas métricas de qualidade para determinar o quão bem seu modelo prevê os resultados. Quando a avaliação que usa os dados de validação for concluída, siga estas etapas para observar a qualidade ou precisão do modelo:

1. Na seção Qualidade, clique no ícone Configurar. Aqui é possível ver que o limite de qualidade configurado para esse monitor é de 70% e que a medição de qualidade que está sendo usada é a área sob a curva ROC.

2. Clique em Acessar resumo do modelo para retornar para a tela de detalhes do modelo

3. Na seção “Qualidade”, clique no ícone “Detalhes” para visualizar os resultados detalhados da qualidade do modelo. Aqui você vê um número de cálculos de métrica de qualidade e uma matriz de confusão mostrando decisões de modelo corretas, juntamente com falsos positivos e falsos negativos. A área calculada sob a curva ROC é 0.9 ou superior, o que excede o limite 0.7 , portanto, o modelo está atendendo seu requisito de qualidade.

4. Clique em Implementação do modelo de aprovação de hipoteca na trilha de navegação para retornar à tela de detalhes do modelo.

Para ter uma prévia desta tarefa, assista ao vídeo a partir dos 05:41.

O monitor de justiça do Watson OpenScale gera um conjunto de métricas para avaliar a imparcialidade de seu modelo. É possível usar as métricas de justiça para determinar se o seu modelo produz resultados propensos. Siga estas etapas para observar a justiça do modelo:

1. Na seção “Fairness ”, clique no ícone “Configurar ”. Aqui você consulta que o modelo está sendo revisado para garantir que os candidatos estão sendo tratados imparcialmente, independentemente de seu gênero. As mulheres são identificadas como o grupo monitorado para quem a equidade está sendo medida e o limite para a equidade é ser de pelo menos 80%. O monitor de equidade usa o método de impacto discrepante para determinar a equidade. O impacto díspar compara a porcentagem dos resultados favoráveis de um grupo monitorado com a porcentagem dos resultados favoráveis de um grupo de referência.

2. Clique em Acessar resumo do modelo para retornar para a tela de detalhes do modelo

3. Na seção “Equidade ”, clique no ícone “Detalhes” para visualizar os resultados detalhados sobre a equidade do modelo. Aqui você vê a porcentagem de candidatos do sexo masculino e feminino que estão sendo aprovados automaticamente, juntamente com uma pontuação de justiça de mais de 100%, portanto, o desempenho do modelo excede muito o limite de imparcialidade de 80% necessário.

4. Anote os conjuntos de dados identificados Para assegurar que as métricas de imparcialidade sejam mais precisas, o Watson OpenScale usa a perturbação para determinar os resultados em que apenas os atributos protegidos e as entradas de modelo relacionadas são alterados enquanto outros recursos permanecem os mesmos. A perturbação muda os valores do recurso do grupo de referência para o grupo monitorado, ou vice-versa. Essas balizas adicionais são usadas para calcular a equidade quando o conjunto de dados "balanceados" for usado, mas também é possível visualizar os resultados de equidade usando apenas dados de carga útil ou de treinamento do modelo. Como o modelo está se comportando adequadamente, não é necessário entrar em mais detalhes sobre essa métrica.

   

5. Clique na trilha de navegação Implementação do modelo de aprovação de hipoteca para retornar à tela de detalhes do modelo.

Para ter uma prévia desta tarefa, assista ao vídeo a partir dos 07:25.

O monitor de desvio do Watson OpenScale mede as mudanças em seus dados ao longo do tempo para assegurar resultados consistentes para seu modelo Use avaliações de desvio para identificar mudanças em sua saída de modelo, a precisão de suas previsões e a distribuição de seus dados de entrada. Siga estas etapas para observar o desvio do modelo:

1. Na seção Drift, clique no ícone “Configurar ”. Aqui você vê os limites de desvio. O desvio de saída mede a mudança na distribuição de confiabilidade do modelo O desvio de qualidade do modelo mede a queda na precisão comparando a precisão de tempo de execução estimada com a precisão de treinamento. O desvio de recurso mede a mudança na distribuição de valor para recursos importantes A configuração também mostra o número de recursos selecionados e os recursos mais importantes.

2. Clique em Acessar resumo do modelo para retornar para a tela de detalhes do modelo

3. Na seção “Drift”, clique no ícone “Detalhes” para visualizar os resultados detalhados do desvio do modelo. É possível visualizar o histórico de como cada pontuação de métrica muda ao longo do tempo com um gráfico de série temporal. Os valores inferiores são melhores, portanto, neste caso, os resultados estão acima dos limites superiores definidos na configuração. Em seguida, visualize detalhes sobre como a saída de pontuações e os desvios de recursos são calculados. Também é possível visualizar os detalhes sobre cada recurso para entender como eles contribuem para as pontuações geradas pelo Watson OpenScale

4. Clique na trilha de navegação Implementação do modelo de aprovação de hipoteca para retornar à tela de detalhes do modelo.

Para ter uma prévia desta tarefa, assista ao vídeo a partir dos 08:46.

Também é importante entender como o modelo chegou à sua decisão. Essa compreensão é necessária tanto para explicar as decisões às pessoas envolvidas na aprovação do empréstimo quanto para garantir ao proprietário do modelo que as decisões são válidas. Para compreender essas decisões, siga estas etapas para observar a explicabilidade do modelo:

1. No painel de navegação à esquerda, clique no ícone “Explicar uma transação ”.

2. Selecione Implementação do Modelo de Aprovação de Hipoteca para ver uma lista de transações.

3. Para qualquer transação, clique em Explicar sob a coluna Ações. Aqui você vê a explicação detalhada desta decisão. É possível ver as variáveis de entrada mais importantes do modelo, bem como a importância de cada uma delas para o resultado final. Barras azuis representam entradas que tenderam a suportar a decisão do modelo, enquanto barras vermelhas mostram entradas que podem ter levado a outra decisão. Por exemplo, um candidato pode ter renda suficiente para ser aprovado de outra forma, mas seu histórico de crédito ruim e a alta dívida juntos levam o modelo a rejeitar o aplicativo. Analise esta explicação para se certificar dos fundamentos da decisão sobre o modelo.

4. (Opcional) Se desejar aprofundar mais sobre como o modelo tomou sua decisão, clique na guia Inspecionar . Use o recurso “Inspecionar” para analisar a decisão e identificar áreas de sensibilidade nas quais uma pequena alteração em alguns dados de entrada resultaria em uma decisão diferente; você mesmo pode testar a sensibilidade substituindo alguns dos dados de entrada reais por alternativas para verificar se isso afetaria o resultado.