Iniciação rápida: avaliar uma implementação em espaços

Você precisa de um projeto para armazenar os ativos usados para construir o modelo Por exemplo, os dados de treinamento, o conhecimento AutoAI ou o bloco de notas Jupyter e o modelo salvo. Siga estas etapas para criar um projeto baseado em uma amostra:

1. Faça o download do arquivo evaluate-an-ml-model.zip.

2. No Menu de Navegação, selecione Projetos > Todos os projetos.

3. Na página Projetos , clique em Novo projeto

4. Selecione Arquivo local..

5. Faça o upload do arquivo ZIP transferido por download anteriormente

6. Na página Criar um projeto , copie e cole o nome do projeto e inclua uma descrição opcional para o projeto

   Evaluate an ML model
   

7. Clique em Criar.

8. Clique em Visualizar novo projeto para verificar se o projeto e os ativos foram criados com sucesso

9. Clique na guia Ativos para visualizar os ativos do projeto

10. Visualize o Modelo de Previsão de Aprovação de Hipoteca Esse modelo prevê se um solicitante de hipoteca deve ser aprovado com base em vários fatores, como seu histórico de crédito, dívida total, renda, valor do empréstimo e histórico de emprego.

11. Retorne para a guia Ativos do projeto

Antes de poder implementar o modelo, é necessário promover o modelo para um novo espaço de implementação Os espaços de implementação ajudam a organizar recursos de suporte, como dados de entrada e ambientes; implementar modelos ou funções para gerar predições ou soluções; e visualizar ou editar detalhes da implementação. A próxima tarefa é promover os dados de avaliação e o modelo para um espaço de implementação e, em seguida, criar uma implementação online.

Siga estas etapas para configurar avaliações neste espaço de implementação:

Siga estas etapas para usar dados de validação para avaliar o modelo:

1. No menu Ações , selecione Avaliar agora

2. Na lista de opções de importação, selecione “A partir de um arquivo d CSV ”.

3. Arraste o arquivo de dados Golden Bank_HoldoutData.csv que você baixou do projeto para o painel lateral.

4. Clique em Fazer upload e avaliar e aguarde a conclusão da avaliação.

5. Quando a avaliação for concluída, você verá o número de testes executados, testes aprovados e testes com falha. Role para ver os resultados para Justiça, Qualidade, Desvioe Explicação global.

O monitor de qualidade Watson OpenScale gera um conjunto de métricas para avaliar a qualidade de seu modelo. É possível usar essas métricas de qualidade para determinar como seu modelo prevê resultados. Quando a avaliação que usa os dados de validação for concluída, siga estas etapas para observar a qualidade ou precisão do modelo:

1. Na seção Qualidade, clique no ícone Configurar. Aqui é possível ver que o limite de qualidade configurado para esse monitor é de 70% e que a medição de qualidade que está sendo usada é a área sob a curva ROC.

2. Clique no X para fechar a janela e retornar à tela de avaliação de modelo.

3. Na seção Qualidade, clique no ícone Detalhes para ver os resultados detalhados da qualidade do modelo. Aqui você vê um número de cálculos de métrica de qualidade e uma matriz de confusão mostrando decisões de modelo corretas, juntamente com falsos positivos e falsos negativos. A área calculada sob a curva ROC é 0.9 ou superior, o que excede o limite 0.7 , portanto, o modelo está atendendo seu requisito de qualidade.

4. Clique em Voltar ao resumo para retornar à tela de detalhes do modelo..

O monitor de justiça do Watson OpenScale gera um conjunto de métricas para avaliar a imparcialidade de seu modelo. É possível usar as métricas de justiça para determinar se seu modelo produz resultados com propensão. Siga estas etapas para observar a justiça do modelo:

1. Na seção Equidade, clique no ícone Configurar. Aqui você vê que o modelo está sendo revisado para garantir que os candidatos estejam sendo tratados de forma justa, independentemente de seu gênero. As mulheres são identificadas como o grupo monitorado para o qual a imparcialidade está sendo medida e o limite para a imparcialidade deve ser de pelo menos 80%. O monitor de imparcialidade usa o método de impacto diferente para determinar a imparcialidade. Impacto diferente compara a porcentagem de resultados favoráveis para um grupo monitorado com a porcentagem de resultados favoráveis para um grupo de referência.

2. Clique no X para fechar a janela e retornar à tela de avaliação de modelo.

3. Na seção Equidade, clique no ícone Detalhes para ver os resultados detalhados da equidade do modelo. Aqui você vê a porcentagem de candidatos do sexo masculino e feminino que estão sendo aprovados automaticamente, juntamente com uma pontuação de justiça de mais de 100%, portanto, o desempenho do modelo excede muito o limite de imparcialidade de 80% necessário.

4. Anote os conjuntos de dados identificados Para assegurar que as métricas de imparcialidade sejam mais precisas, o Watson OpenScale usa a perturbação para determinar os resultados em que apenas os atributos protegidos e as entradas de modelo relacionadas são alterados enquanto outros recursos permanecem os mesmos. A perturbação altera os valores do recurso do grupo de referência para o grupo monitorado ou vice-versa. Esses guardrails adicionais são usados para calcular a imparcialidade quando o conjunto de dados "balanceado" é usado, mas também é possível visualizar os resultados da imparcialidade usando apenas dados de carga útil ou de treinamento de modelo.. Como o modelo está se comportando razoavelmente, não é necessário entrar em detalhes adicionais para essa métrica.

   

5. Clique em Voltar ao resumo para retornar à tela de detalhes do modelo..

O monitor de desvio do Watson OpenScale mede as mudanças em seus dados ao longo do tempo para assegurar resultados consistentes para seu modelo Use avaliações de desvio para identificar mudanças em sua saída de modelo, a precisão de suas previsões e a distribuição de seus dados de entrada. Siga estas etapas para observar o desvio do modelo:

1. Na seção Drift, clique no ícone Configurar. Aqui você vê os limites de desvio. O desvio de saída mede a mudança na distribuição de confiabilidade do modelo O desvio de qualidade do modelo mede a queda na precisão comparando a precisão de tempo de execução estimada com a precisão de treinamento. O desvio de recurso mede a mudança na distribuição de valor para recursos importantes A configuração também mostra o número de recursos selecionados e os recursos mais importantes.

2. Clique no X para fechar a janela e retornar à tela de avaliação de modelo.

3. Na seção Desvio, clique no ícone Detalhes para ver os resultados detalhados do desvio do modelo. É possível visualizar o histórico de como cada pontuação de métrica muda ao longo do tempo com um gráfico de série temporal. Os valores inferiores são melhores, portanto, neste caso, os resultados estão acima dos limites superiores definidos na configuração. Em seguida, visualize detalhes sobre como a saída de pontuações e os desvios de recursos são calculados. Também é possível visualizar os detalhes sobre cada recurso para entender como eles contribuem para as pontuações geradas pelo Watson OpenScale

4. Clique em Voltar ao resumo para retornar à tela de detalhes do modelo..

Também é importante entender como o modelo chegou à sua decisão. Esse entendimento é necessário para explicar as decisões para as pessoas envolvidas na aprovação do empréstimo e para assegurar que os proprietários do modelo sejam válidos. Para compreender essas decisões, siga estas etapas para observar a explicabilidade do modelo:

1. Clique na guia Transações

2. No gráfico, selecione um intervalo de tempo para ver uma lista de transações durante esse período

3. Para qualquer transação, clique em Explain na coluna Ações . Aqui você vê a explicação detalhada desta decisão. Você verá as entradas mais importantes para o modelo juntamente com o quão importante cada uma delas foi para o resultado final Barras azuis representam entradas que tenderam a suportar a decisão do modelo, enquanto barras vermelhas mostram entradas que podem ter levado a outra decisão. Por exemplo, um candidato pode ter renda suficiente para ser aprovado de outra forma, mas seu histórico de crédito ruim e a alta dívida juntos levam o modelo a rejeitar o aplicativo. Revise esta explicação para se tornar satisfeito sobre a base para a decisão do modelo

4. Opcional: se desejar aprofundar mais sobre como o modelo tomou sua decisão, clique na guia Inspecionar . Use o recurso Inspecionar para analisar a decisão para localizar áreas de sensibilidade em que pequenas mudanças em algumas entradas resultariam em uma decisão diferente e você mesmo pode testar a sensibilidade substituindo algumas das entradas reais por alternativas para ver se elas impactariam o resultado.. Clique em Executar análise para que Watson OpenScale revele as mudanças mínimas necessárias para entregar um resultado diferente. Selecione Analisar apenas recursos controláveis para limitar as mudanças apenas para os recursos controláveis