Revisando resultados da avaliação
Ao configurar as avaliações, você pode analisar os resultados da avaliação para obter insights sobre o desempenho do modelo. Um painel fornece as ferramentas para revisar detalhes de desempenho, compartilhar informações sobre alertas ou imprimir relatórios.
Alguns dos detalhes que você pode analisar no painel do Insights incluem:
- Revise os resultados de qualidade para ver uma matriz de confusão que ajuda a determinar se seu modelo implementado analisou suas transações corretamente.
- Visualize os resultados do desvio para ver as transações que são responsáveis por uma queda na precisão, uma queda na consistência de dados, ou ambos
- Inspecione os resultados da avaliação de funcionamento do modelo, em que é possível ver um resumo das métricas geradas durante sua última avaliação com ladrilhos de pontuação que se correlacionam com diferentes dimensões.
Para visualizar resultados no Painel do Insights:
Em Watson OpenScale, clique no ícone Atividade
para abrir o Painel de Insights.Selecione o ladrilho de modelo de implementação que você deseja visualizar os resultados Os resultados de sua última avaliação são exibidos.
Clique na seta
em uma seção de avaliação para visualizar visualizações de dados de resultados de avaliação dentro das configurações de intervalo de tempo e Intervalo de data especificadas. A última avaliação para o intervalo de tempo selecionado também é exibida durante o intervalo de dados associado.Use o menu Ações para visualizar detalhes sobre seu modelo selecionando qualquer uma das opções de análise a seguir:
- Todas as avaliações: para modelos de pré-produção, exiba um histórico de suas avaliações para entender como seus resultados mudam ao longo do tempo.
- Comparar: compare os modelos com um gráfico de matriz que destaca as principais métricas para ajudar a determinar qual versão de um modelo está pronta para produção ou quais modelos podem precisar de mais treinamento.
- Visualizar informações de modelo: visualize detalhes sobre seu modelo para entender como seu ambiente de implementação está configurado...
- Fazer download do PDF do relatório: gere um relatório de resumo do modelo que fornece todas as métricas e a explicação para o motivo pelo qual elas foram pontuadas da maneira como eram.
- Configurar alerta: envie alertas sobre violações de limite para um endereço de e-mail.
Também é possível usar o menu Ações para gerenciar dados para avaliações de modelo Para obter mais informações, consulte Enviando transações de modelo..
Com gráficos de séries temporais, as avaliações agregadas são exibidas como pontos de dados que você pode selecionar para visualizar os resultados de um período específico. O registro de data e hora de cada ponto de dados exibido quando você passa o mouse sobre os gráficos de séries temporais não corresponde ao registro de data e hora da última avaliação devido ao comportamento de agregação padrão.
As seções a seguir descrevem como é possível analisar os resultados das avaliações de modelos:
Revisando resultados de imparcialidade
Para ajudá-lo a analisar os resultados de equidade, são fornecidos cálculos para os seguintes tipos de conjuntos de dados:
- Balanceado: o cálculo balanceado inclui a solicitação de pontuação recebida para a hora selecionada. O cálculo também incluirá mais registros das horas anteriores se o número mínimo de registros que são necessários para avaliação não foi atendido. Inclui mais registros perturbados e sintetizados que são usados para testar a resposta do modelo quando o valor do recurso monitorado muda.
- Carga útil: as solicitações de pontuação real que são recebidas pelo modelo para a hora selecionada.
- Treinamento: os registros de dados de treinamento que são usados para treinar o modelo.
- Propensão removida: a saída do algoritmo de remoção de propensão após processar o tempo de execução e os dados perturbados.
Com o gráfico, é possível observar os grupos que sofrem propensão e ver a porcentagem de resultados esperados para esses grupos. Também é possível ver a porcentagem de resultados esperados para grupos de referência, que é a média de resultados esperados em todos os grupos de referência Os gráficos indicam a presença de viés comparando a razão entre a porcentagem de resultados esperados para grupos monitorados em um intervalo de dados e a porcentagem de resultados para grupos de referência
O gráfico também mostra a distribuição dos valores de referência e monitorados para cada valor distinto do atributo nos dados da tabela de carga útil que foi analisada para identificar propensão. A distribuição dos dados de carga útil é mostrada para cada valor distinto dos atributos.. É possível usar esses dados para correlacionar a quantidade de propensão com a quantidade de dados que são recebidos pelo modelo Também é possível ver a porcentagem de grupos com resultados esperados para identificar fontes de propensão que distorceram os resultados e levaram a aumentos na porcentagem de resultados esperados para grupos de referência
Revisão dos resultados de qualidade
Para ajudá-lo a revisar os resultados de qualidade, uma matriz de confusão é exibida para ajudá-lo a determinar se o modelo implantado analisou suas transações incorretamente. Para modelos de classificação binária, os registros de transação são classificados como falsos positivos ou falsos negativos e como atribuições de classe incorretas para modelos multiclasse. Para problemas de classificação binária, a categoria de destino é atribuída ao nível positive ou negative. A matriz de confusão também exibe a porcentagem de transações positivas e negativas que são analisadas corretamente. Para identificar a correção, a matriz também destaca as categorias de transações com tons de verde e azul para indicar os níveis das categorias mais ou menos corretas. Você pode usar os menus Predicted value (Valor previsto ) e Actual value (Valor real) para especificar a categoria de transações que deseja analisar.
Revisando resultados do desvio v2
Quando você revisa os resultados da avaliação do drift v2, são exibidos blocos recolhíveis que podem ser abertos para exibir diferentes detalhes sobre as métricas. É possível visualizar o histórico de como cada pontuação de métrica muda ao longo do tempo com um gráfico de série temporal ou visualizar detalhes de como a saída de pontuações e os desvios de recursos são calculados. Você também pode visualizar detalhes sobre cada recurso para entender como eles contribuem para as pontuações geradas.
Revisando resultados do funcionamento do modelo
Quando você revisa os resultados da avaliação da integridade do modelo, um resumo das métricas geradas durante a última avaliação é fornecido com blocos de scorecard que se correlacionam com diferentes dimensões. Para métricas com múltiplas dimensões, é possível clicar em um menu suspenso nos blocos para selecionar a métrica que você deseja analisar. Para analisar como suas métricas mudam ao longo do tempo, é possível clicar nos blocos reduzíveis para cada categoria para visualizar gráficos de séries temporais.
Para obter mais informações, consulte Métricas de avaliação de funcionamento do modelo