Nó de Avaliação

O nó de Avaliação oferece uma maneira fácil de avaliar e comparar modelos preditivos para escolher o melhor modelo para seu aplicativo. Os gráficos de avaliação mostram como é o desempenho dos modelos na previsão de resultados específicos. Eles funcionam classificando registros com base no valor predito e na confiança da previsão, dividindo os registros em grupos de tamanhos iguais (quantis) e, em seguida, plotando o valor do critério de negócios para cada quantil, do maior para o menor. Diversos modelos são mostrados como linhas separadas no gráfico.

Os resultados são tratados ao definir um valor específico ou intervalo de valores como um hit. As ocorrências geralmente indicam sucesso de algum tipo (como uma venda para um cliente) ou um evento de interesse (como um diagnóstico médico específico). É possível definir os critérios de acerto na seção OPTIONS das propriedades do nó ou pode usar os critérios de acerto padrão da seguinte maneira:

Os campos de saída de sinalizadores são diretos; acertos correspondem a valores true.
Para campos de saída nominal, o primeiro valor no conjunto configura uma ocorrência.
Para campos de saída contínua, atinge valores iguais maiores do que o ponto médio do intervalo do campo.

Há seis tipos de gráficos de avaliação, cada um deles enfatizando um critério de avaliação diferente.

Gráficos de ganhos

Os ganhos são definidos como a proporção do total de ocorrências que ocorre em cada quantil. Os ganhos são computados como (number of hits in quantile / total number of hits) × 100%.

Figura 1. Gráfico de ganhos (acumulativos) com a linha de base, a melhor linha e a regra de negócios exibidas

Gráficos de ganho

A elevação compara a porcentagem de registros em cada quantil que forem ocorrências com a porcentagem geral de ocorrências nos dados de treinamento. Ele é computado como (hits in quantile / records in quantile) / (total hits / total records).

Figura 2 Gráfico de ganho (acumulativo) usando pontos e a melhor linha

Gráficos de resposta

A resposta é simplesmente a porcentagem de registros no quantil que são ocorrências. Resposta é computada como (hits in quantile / records in quantile) × 100%.

Figura 3. Gráfico de resposta (acumulativo) com a melhor linha

Gráficos de lucro

O lucro é igual à receita de cada registro menos o custo do registro. Os lucros para um quantil são simplesmente a soma dos lucros para todos os registros no quantil. Assume-se que as receitas se aplicam apenas a ocorrências, mas os custos se aplicam a todos os registros. Os lucros e os custos podem ser corrigidos ou podem ser definidos por campos nos dados. Os lucros são computados como (sum of revenue for records in quantile − sum of costs for records in quantile).

Figura 4. Gráfico de lucro (acumulativo) com a melhor linha

Gráficos ROI

O ROI (retorno sobre investimento) é similar ao lucro no que concerne à definição de receitas e despesas. O ROI compara os lucros com os custos do quantil. O ROI é computado como (profits for quantile / costs for quantile) × 100%.

Figura 5. Gráfico ROI (acumulativo) com a melhor linha

Gráficos ROC

O ROC (característica de operação do receptor) pode ser utilizado somente com classificadores binários. O ROC pode ser utilizado para visualizar, organizar e selecionar classificadores com base em seu desempenho. Um gráfico ROC representa a taxa de verdadeiros positivos (ou sensibilidade) com relação à taxa de falsos positivos do classificador. Um gráfico ROC representa os trade-offs relativos entre benefícios (verdadeiros positivos) e custos (falsos positivos). Um verdadeiro positivo é uma instância que é uma ocorrência e é classificada como uma ocorrência. Portanto, a taxa de verdadeiros positivos é calculada como o número de verdadeiros positivos / número de instâncias que forem realmente ocorrências. Um falso positivo é uma instância que é uma perda e é classificada como uma ocorrência. Portanto, a taxa de falsos positivos é calculada como o número de falsos positivos / número de instâncias que forem realmente perdas.

Figura 6. Gráfico ROC com a melhor linha

Os gráficos de avaliação também podem ser acumulativos, de modo que cada ponto é igual ao valor do quantil correspondente mais todos os quantis maiores. Os gráficos acumulativos geralmente conduzem melhor o desempenho geral dos modelos, ao passo que os gráficos não acumulativos geralmente se destacam ao indicar áreas de problema específicas para os modelos.

Nota: O nó de Avaliação não suporta o uso de vírgulas em nomes de campo. Se você tiver nomes de campo contendo vírgulas, deve remover as vírgulas ou colocar o nome do campo entre aspas.