Área sob a métrica de avaliação ROC

A área sob a métrica ROC mede a eficiência com que o modelo identifica as diferenças entre as classes.

Detalhes da métrica

A área sob a característica de operação de recepção (ROC) é uma métrica de avaliação de qualidade que mede a qualidade do desempenho dos modelos de aprendizado de máquina de classificação binária em watsonx.governance.

Escopo

A área sob a métrica ROC avalia apenas os modelos de aprendizado de máquina.

  • Tipos de ativos de IA : Modelos de aprendizado de máquina

  • Tipo de problema de aprendizado de máquina : Classificação binária

Pontuações e valores

A pontuação da métrica Área sob ROC indica o grau em que o modelo identifica as diferenças entre as classes. Pontuações mais altas indicam melhor desempenho do modelo com a identificação de classes.

  • Faixa de valores : 0.0-1.0
  • Melhor pontuação possível : 1.0
  • Valores do gráfico: último valor no intervalo de tempo

Uma pontuação de 0.5 sugere adivinhação aleatória, enquanto uma pontuação de 1.0 representa uma classificação perfeita.

Configurações

Limite padrão : Limite inferior = 80%

Processo de avaliação

A área sob a métrica ROC é calculada plotando a taxa de verdadeiros positivos (TPR) em relação à taxa de falsos positivos (FPR) para diferentes valores de limite. Para cada limite, é gerada uma matriz de confusão que especifica as classes de verdadeiros positivos, falsos positivos, verdadeiros negativos e falsos negativos.

O TPR e o FPR são calculados com essas classes e plotados em um gráfico para criar a curva ROC. A área sob essa curva é calculada para gerar a pontuação do índice.