Gráficos de avaliação

Os gráficos de avaliação são semelhantes aos histogramas ou gráficos de coleta. Os gráficos de avaliação mostram a precisão dos modelos na previsão de resultados específicos. Eles funcionam classificando os registros com base no valor previsto e na confiança da previsão, dividindo os registros em grupos de tamanho igual (quantis) e, em seguida, plotando o valor do critério para cada quantil, do mais alto ao mais baixo. Vários modelos são apresentados como linhas separadas no gráfico.

Os resultados são tratados definindo um valor específico ou intervalo de valores como um “acerto”. Os acessos geralmente indicam algum tipo de sucesso (como uma venda a um cliente) ou um evento de interesse (como um diagnóstico médico específico).

Sinalização: Os campos de saída são diretos; os resultados correspondem aos true valores.
Nominal: Para campos de saída nominais, o primeiro valor no conjunto define um acerto.
Contínuo: Para campos de saída contínua, os resultados são valores iguais maiores que o ponto médio do intervalo do campo.

Os gráficos de avaliação também podem ser cumulativos, de modo que cada ponto seja igual ao valor do quantil correspondente mais todos os quantis superiores. Os gráficos cumulativos geralmente transmitem melhor o desempenho geral dos modelos, enquanto os gráficos não cumulativos costumam ser melhores para indicar áreas problemáticas específicas dos modelos.

Criando um gráfico de avaliação simples

Na seção Tipo de gráfico, clique no ícone Avaliação.
A tela é atualizada para exibir um modelo de gráfico de avaliação.
Defina as variáveis dos campos Alvo, Previsão e Confiança. O campo de destino pode ser qualquer campo de sinalizador ou nominal instanciado com dois ou mais valores. O campo predict define a variável que é usada como valor previsto. O campo confiança define a variável utilizada para estabelecer a confiança da previsão.
Observação: O tipo de variável do campo Prever deve corresponder ao tipo de variável selecionado para o campo Destino.
Especifique uma condição personalizada usada para indicar o resultado definido pelo usuário. Esta opção é útil para definir o resultado de interesse, em vez de deduzi-lo a partir do tipo de campo de destino e da ordem dos valores.
Você deve especificar uma expressão CLEM para uma condição de acerto. Por exemplo, @TARGET = "YES" é uma condição válida que indica que um valor de Yes para o campo de destino é contado como um acerto na avaliação. A condição especificada é usada para todos os campos de destino.
Clique em Salvar visualização no controle do projeto. Selecione Criar um novo recurso ou Anexar a um recurso existente. Forneça um nome para o recurso de visualização, uma descrição opcional e um nome para o gráfico.
Clique em Aplicar para salvar a visualização no projeto. O novo recurso de visualização já está disponível na guia Recursos.

Opções

Campo de destino

Lista variáveis de campo nominal ou sinalizador instanciadas com dois ou mais valores.

Acesso definido pelo usuário

Especifique um valor de acerto. Os acessos indicam eventos de interesse (por exemplo, um diagnóstico médico específico).

Campo de previsão

Lista as variáveis que podem ser usadas como valor previsto.

Campo de confiança

Lista as variáveis que podem estabelecer a confiança da previsão.

Gráfico cumulativo

Crie um gráfico cumulativo quando ativado. Os valores nos gráficos cumulativos são plotados para cada quantil mais todos os quantis superiores.

Modo de exibição

As configurações controlam quais gráficos são exibidos no modo de pré-visualização e na saída.

Modo único: Quando selecionado, o gráfico Model Classification Tuning (Ajuste da classificação do modelo) é o único gráfico exibido no modo de pré-visualização e na saída.
Modo clássico: Quando selecionados, os gráficos Model Classification Tuning, Cutoff, Matrix Bar, ROC, Gains, ROI e Profit são exibidos no modo de pré-visualização e na saída.
Modo Completo: Quando selecionados, os gráficos Model Classification Tuning, Cutoff, Matrix Bar, ROC, Gains, ROI, Profit, GINI, Lift e Response são exibidos no modo de pré-visualização e na saída.

Gráficos de avaliação

corte: O gráfico de corte mostra os valores previstos versus os valores reais para variáveis selecionadas para um valor de corte especificado.
Barra Matrix: Os gráficos de barras matriciais são uma boa maneira de determinar se existem correlações lineares entre várias variáveis.
ROC: A ROC (Receiver Operating Characteristic) avalia o desempenho de esquemas de classificação em que os sujeitos são classificados para uma variável com duas categorias.
Ganhos: Os ganhos são definidos como a proporção do total de acessos que ocorre em cada quantil. Os ganhos são calculados como (number of hits in quantile / total number of hits) × 100%.
de ROI¹: O ROI (retorno sobre o investimento) é semelhante ao lucro, pois envolve a definição de receitas e custos. O ROI compara os lucros com os custos para o quantil. O ROI é calculado como (profits for quantile / costs for quantile) × 100%.
Lucro: O lucro é igual à receita de cada registro menos o custo do registro. Os lucros para um quantil são a soma dos lucros de todos os registros no quantil. Presume-se que as receitas se aplicam apenas aos acessos, mas os custos se aplicam a todos os registros. Os lucros e custos podem ser fixos ou definidos por campos nos dados. Os lucros são calculados como (soma da receita dos registros no quantil − soma dos custos dos registros no quantil).
Kolmogorov-Smirnov: Compara a função de distribuição cumulativa observada para uma variável com uma distribuição teórica especificada, que pode ser normal, uniforme, exponencial ou Poisson.
GINI: O GINI mede a dispersão estatística e tem como objetivo representar a distribuição de renda ou riqueza. É a medida de desigualdade mais comumente utilizada.
Lift: O Lift compara a porcentagem de registros em cada quantil que são acertos com a porcentagem geral de acertos nos dados de treinamento. É calculado como (hits in quantile / records in quantile) / (total hits / total records).
Resposta: A resposta é a porcentagem de registros no quantil que são acertos. A resposta é calculada como (hits in quantile / records in quantile) × 100%.

Configurações do gráfico de avaliação

As configurações a seguir se aplicam apenas aos gráficos de lucro e ROI.

Custos: Especifique o custo fixo associado a cada registro.
Receita: Especifique a receita fixa associada a cada registro que representa um resultado.
Peso: Se os registros em seus dados representarem mais de uma unidade, você poderá usar pesos de frequência para ajustar os resultados. Especifique o peso fixo associado a cada registro.