Configuração de avaliações de modelos com configuração automática

A opção de configuração automática para avaliações de modelos de aprendizado de máquina configura um ambiente de aprendizado de máquina, um banco de dados e um modelo de amostra para você. Siga as etapas do tour guiado para saber como avaliar o modelo de amostra. Após a conclusão da configuração, pode-se incluir o seu próprio modelo no painel.

Modelo de amostra

A configuração automática usa o conjunto de dados de amostra German Credit Risk para demonstrar os principais recursos das avaliações de modelos.

Visão geral dos dados da amostra

Os dados da amostra de Risco de Crédito Alemão fornecem uma coleta de registros para clientes de bancos que foram usados para treinar o modelo de amostra. Contém 20 atributos para cada candidato de empréstimo. Os modelos de amostra fornecidos como parte da configuração automática são treinados para prever o nível de risco de crédito para novos clientes. Dois dos atributos considerados para a previsão-sexo e idade-podem ser testados para que o viés tenha certeza de que resultados são consistentes em relação a gênero ou idade dos clientes.

Para avaliar os resultados, eles são divididos em grupos. Os grupos de referência são os grupos que são considerados mais propensos a ter resultados positivos. Neste caso, os grupos de referência são clientes homens e clientes com mais de 25 anos. Os Grupos Monitorados são os grupos que você deseja revisar para garantir que os resultados não diferem muito dos resultados para os grupos monitorados. Nesse caso, os grupos Monitorados são fêmeas e clientes com idades entre 19 e 25 anos.

Executando a configuração automática

Siga estas etapas para executar a configuração automática:

  1. Ative o Watson OpenScale.
  2. Escolha a opção Configuração automática.

O processo leva cerca de 10 minutos para ser concluído. Três implementações são configuradas durante a configuração:

Modelo Ligação Descrição
GermanCreditRiskModelPreProd Pré-produção, aprovada Esta implantação representa o modelo aprovado atual que está sendo avaliado no ambiente interno.
GermanCreditRiskModelChallenger Pré-produção O modelo Challenger é implementado para comparar o desempenho e outros atributos em relação a implementação do modelo de pré-produção aprovado.
GermanCreditRiskModel Produção Entre o modelo de pré-produção aprovado e o modelo challenger, o modelo que entrega resultados mais favoráveis é selecionado para produção e implementado a partir do espaço de produção.

Após a conclusão da configuração, siga o tour guiado para conhecer os recursos das avaliações de modelos.

Destaques do tour guiado

O tour guiado demonstra essas características:

  1. Introdução à interface com o usuário (IU): As quatro áreas principais da interface com o usuário incluem Insights, Explicações, Configuração e Suporte.
  2. Monitorando e visualizando resultados para o modelo de risco de crédito alemão: Utilize monitores predefinidos para avaliar o seu modelo para a equidade, qualidade e desvio. Também é possível usar monitores customizados para avaliação de modelo.
  3. Explorando o monitor de equidade: Use o monitor de Equidade para procura de resultados propensos a partir de seu modelo. Se uma questão de justiça for encontrada, um alerta é acionado com base em limites configuráveis.
  4. Explorando conjuntos de dados: Alterne entre os conjuntos de dados balanceados, carga útil, treinamento e sem propensão para consultar como eles afetam a pontuação de equidade do seu modelo.
  5. Introdução às transações: Revise as transações a partir do conjunto de dados de carga útil para propensão de grupo e propensão individual.
  6. Explicando resultados do modelo: Entenda os recursos que conduziram à predição do modelo para gerar confiança no modelo. Adicionalmente, saiba como mudar valores de recurso para receber resultados de modelo mais favoráveis.
  7. Explorando o monitor de desvio: Utilize o monitor de Desvio para determinar se o processamento de dados no modelo está causando uma queda na precisão.
  8. Revisando transações: Revise a lista de transações para investigar a queda na precisão.

Fazendo tour em uma página específica

Para usar o tour guiado de configuração automática para uma página específica, siga estas etapas:

  1. Abra a página para a qual você gostaria de seguir o tour guiado.
  2. Abra a guia Suporte e selecione Fazer tour nesta página.

Reconfigurando o tour

Para reconfigurar o tour de configuração automática, abra a guia Suporte e selecione Reconfigurar configuração automática.

Saiba Mais