Tutorial de governança da AI: Teste e valide o modelo

Execute o segundo bloco de notas incluído no projeto de amostra para:

• Busque o modelo e as implementações
• Configurar Watson OpenScale.
• Crie o provedor de serviços e a assinatura para seu serviço de aprendizado de máquina.
• Configure o monitor de qualidade
• Configure o monitor de justiça.
• Configure a explicabilidade.

Siga estas etapas para executar o notebook incluído no projeto de amostra. Este notebook configura monitores para o seu modelo, que também podem ser configurados através da interface do usuário. No entanto, é mais rápido e menos propenso a erro configurá-los com um notebook. Reserve algum tempo para ler através dos comentários no notebook, que explicam o código em cada célula.

1. No menu Navegação , selecione Projetos > Exibir todos os projetos.

2. Abra o projeto de Controle de IA

   Nota: você pode ver um tour guiado mostrando os tutoriais que estão incluídos com esse caso de uso. Os links no tour guiado abrirão estas instruções do tutorial..

3. Clique na guia Ativos e navegue até Cadernos.
   

   Nota:

   Se você vir o ícone de atenção ao lado do notebook, clique no menu de overflow ao lado do notebook 2-monitor-wml-model-with-watson-openscale e escolha Alterar ambiente. Selecione um modelo Runtime on Python compatível e clique em Change (Alterar ). Talvez você também precise ajustar a especificação do software e as versões do scikit-learn no notebook.

4. Abra o notebook 2-monitor-wml-model-with-watson-openscale.

5. Como o caderno está no modo somente leitura, clique no ícone Editar para colocá-lo no modo de edição.

6. Ao importar o projeto do hub de Recursos, a primeira célula desse bloco de notas contém o token de acesso do projeto. Se esse notebook não contiver uma primeira célula com um token de acesso ao projeto, será necessário gerar o token. Na parte superior do caderno, clique no ícone Inserir uma célula abaixo. A partir do menu Mais, selecione Inserir token de projeto. Esta ação insere uma nova célula como a primeira célula no notebook contendo o token do projeto.

7. Na seção Inserir IBM Cloud , cole sua chave de API no campo ibmcloud_api_key .

8. Clique em Célula> Executar Todos para executar todas as células no bloco de notas Alternativamente, você pode executar a célula do notebook por célula se quiser explorar cada célula e sua saída.

9. O notebook leva 1-3 minutes minutos para ser concluído. É possível monitorar a célula de progresso observando o asterisco "In [*]" mudando para um número, por exemplo, "In [1]".

10. Se você encontrar erros durante a execução do bloco de notas, tente estas dicas de resolução de problemas:

    • Clique em Kernel> Reiniciar & Limpar Saída para reiniciar o kernel e, em seguida, execute o bloco de notas novamente

    • Exclua qualquer implementação existente do Watson OpenScale e provisione uma nova instância de serviço.

    • Verifique se você criou o caso de uso de IA, o espaço de implantação e o nome da implantação no tutorial Criar e implantar um modelo, copiando e colando o nome do artefato especificado exatamente sem espaços à esquerda ou à direita.

Para visualizar esta tarefa, assista ao vídeo a partir do minuto 03:40.

Siga estas etapas para fazer download de dados de validação e use esses dados para avaliar o modelo no Watson OpenScale:

1. Clique no projeto de governança de IA na trilha de navegação.
   

2. Na guia Ativos , clique em Dados> Ativos de dados

3. Clique no menu Overflow para o recurso de GoldenBank_HoldoutData dados.csv e selecione Download. Para validar que o modelo está funcionando conforme necessário, é necessário um conjunto de dados rotulados, que foi realizado a partir do treinamento do modelo. Este arquivo CSV contém esses dados de retenção.

4. Ative o Watson OpenScale. No Menu de Navegação, selecione Serviços > Instâncias de serviço.

5. Abra sua instância Watson OpenScale. Se solicitado, efetue login usando as mesmas credenciais que você usou para se inscrever no Cloud Pak for Data.

6. Na página da instância de serviço do Watson OpenScale , clique em Ativar Watson OpenScale

7. No Painel de insights, clique no bloco Implementação do modelo de aprovação de hipoteca.

8. A partir do menu Ações, selecione Avaliar agora.

9. A partir da lista de opções de importação, selecione a partir do arquivo CSV.

10. Arraste o arquivo de dados Golden Bank_HoldoutData.csv que você transferiu por download do projeto para dentro do painel lateral.

11. Clique em Fazer upload e avaliar.

Para visualizar essa tarefa, assista ao vídeo começando em 04:44.

O monitor de qualidade Watson OpenScale gera um conjunto de métricas para avaliar a qualidade de seu modelo. É possível usar essas métricas de qualidade para determinar o quão bem seu modelo prevê os resultados. Quando a avaliação que usa os dados de validação for concluída, siga estas etapas para observar a qualidade ou precisão do modelo:

1. No painel de navegação esquerdo, clique no ícone do painel Insights.

2. Localize o bloco Implementação do modelo de aprovação de hipoteca. Observe que a implementação tem 0 problemas e que ambos os testes de Qualidade e Justiça foram aprovados, o que significa que o modelo atendeu aos limites necessários dele.

3. Clique no bloco Implementação do Modelo de Aprovação de Hipoteca para ver mais detalhes.

4. Na seção Qualidade, clique no ícone Configurar. Aqui é possível ver que o limite de qualidade configurado para esse monitor é de 70% e que a medição de qualidade que está sendo usada é a área sob a curva ROC.

5. Clique em Acessar resumo do modelo para retornar para a tela de detalhes do modelo

6. Na seção Qualidade, clique no ícone Detalhes para ver os resultados detalhados da qualidade do modelo. Aqui você vê um número de cálculos de métrica de qualidade e uma matriz de confusão mostrando decisões de modelo corretas, juntamente com falsos positivos e falsos negativos. A área calculada sob a curva ROC é 0.9 ou superior, o que excede o limite 0.7 , portanto, o modelo está atendendo seu requisito de qualidade.

7. Clique em Implementação do modelo de aprovação de hipoteca na trilha de navegação para retornar à tela de detalhes do modelo.

Para visualizar esta tarefa, assista ao vídeo a partir do minuto 06:01.

O monitor de justiça do Watson OpenScale gera um conjunto de métricas para avaliar a imparcialidade de seu modelo. É possível usar as métricas de justiça para determinar se o seu modelo produz resultados propensos. Siga estas etapas para observar a justiça do modelo:

1. Na seção Equidade, clique no ícone Configurar. Aqui você consulta que o modelo está sendo revisado para garantir que os candidatos estão sendo tratados imparcialmente, independentemente de seu gênero.As mulheres são identificadas como o grupo monitorado para quem a equidade está sendo medida e o limite para a equidade é ser de pelo menos 80%.O monitor de equidade usa o método de impacto discrepante para determinar a equidade. O impacto díspar compara a porcentagem dos resultados favoráveis de um grupo monitorado com a porcentagem dos resultados favoráveis de um grupo de referência.

2. Clique em Acessar resumo do modelo para retornar para a tela de detalhes do modelo

3. Na seção Equidade, clique no ícone Detalhes para ver os resultados detalhados da equidade do modelo. Aqui você vê a porcentagem de candidatos masculinos e femininos que estão sendo automaticamente aprovados, juntamente com uma pontuação de justiça superior a 100%, portanto, o desempenho do modelo excede em muito o limite de equidade de 80% exigido.

4. Observe os conjuntos de dados identificados. Para assegurar que as métricas de imparcialidade sejam mais precisas, o Watson OpenScale usa a perturbação para determinar os resultados em que apenas os atributos protegidos e as entradas de modelo relacionadas são alterados enquanto outros recursos permanecem os mesmos.A perturbação muda os valores do recurso do grupo de referência para o grupo monitorado, ou vice-versa. Essas balizas adicionais são usadas para calcular a equidade quando o conjunto de dados "balanceados" for usado, mas também é possível visualizar os resultados de equidade usando apenas dados de carga útil ou de treinamento do modelo.Já que o modelo está se comportando imparcialmente, não necessário entrar em detalhes adicionais para esta métrica.

   

5. Clique na trilha de navegação Implementação do modelo de aprovação de hipoteca para retornar à tela de detalhes do modelo.

Para visualizar esta tarefa, assista ao vídeo a partir do minuto 07:42.

Também é importante entender como o modelo chegou à sua decisão. Esse entendimento é necessário para explicar as decisões para as pessoas envolvidas na aprovação do empréstimo e para assegurar que os proprietários do modelo sejam válidos. Para compreender essas decisões, siga estas etapas para observar a explicabilidade do modelo:

1. No painel de navegação esquerdo, clique no ícone Explicar uma transação.

2. Selecione Implementação do Modelo de Aprovação de Hipoteca para ver uma lista de transações.

3. Para qualquer transação, clique em Explicar sob a coluna Ações. Aqui você vê a explicação detalhada desta decisão.Você verá as entradas mais importantes para o modelo junto com o quão importante cada uma foi para o resultado final. Barras azuis representam entradas que tenderam a suportar a decisão do modelo, enquanto barras vermelhas mostram entradas que podem ter levado a outra decisão. Por exemplo, um candidato pode ter renda suficiente para ser aprovado de outra forma, mas seu histórico de crédito ruim e a alta dívida juntos levam o modelo a rejeitar o aplicativo.Revise esta explicação para se tornar satisfeito sobre a base para a decisão do modelo.

4. (Opcional) Se desejar aprofundar mais sobre como o modelo tomou sua decisão, clique na guia Inspecionar . Use o recurso Inspecionar para analisar a decisão para localizar áreas de sensibilidade em que pequenas mudanças em algumas entradas resultariam em uma decisão diferente e você mesmo pode testar a sensibilidade substituindo algumas das entradas reais por alternativas para ver se elas impactariam o resultado..

Para visualizar esta tarefa, assista ao vídeo a partir do minuto 09:21.

Siga estas etapas para mudar o status do caso de uso de IA no inventário de modelo e aprovar o modelo:

1. Volte para Cloud Pak for Data e, no Menu de Navegação, selecione Catálogos > Casos de uso de IA.

2. Abra o Caso de uso do modelo de aprovação de hipoteca.

3. Clique na guia Ciclo de vida para ver se o modelo agora está no estágio Validar

4. Clique no ícone Editar ao lado de Status, selecione Validação concluída e clique em Atualizar.

5. Retorne para o Watson OpenScale Insights

6. Clique no bloco Implementação do modelo de aprovação de hipoteca.

7. A partir do menu Ações, selecione Aprovar para a produção e, em seguida, clique em Aprovar. Esta ação transmite para a equipe de operações da AI que eles podem agora implantar o modelo em um espaço de produção designado.

8. No menu Navegação , selecione Catálogos > Casos de uso de IA.

9. Para o Caso de uso do modelo de Aprovação de Hipoteca, clique em Visualizar Detalhes.

10. Clique na guia Ciclo de vida .. Em Rastreamento de modelo, o caso de uso de IA agora é exibido conforme avaliado e aprovado no estágio Validar

11. Visualize a Implementação do modelo de aprovação de hipoteca para ver a planilha capturada pelo Watson OpenScale.

12. Feche a planilha de informações da implementação de modelo