Métrica de avaliação da diferença da taxa de erro
A métrica de diferença de taxa de erro mede a porcentagem de transações que são classificadas incorretamente pelo seu modelo.
Detalhes da métrica
A diferença de taxa de erro é uma métrica de avaliação de imparcialidade que pode ajudar a determinar se o seu ativo produz resultados tendenciosos.
Escopo
A métrica de diferença de taxa de erro avalia os ativos de IA generativa e os modelos de aprendizado de máquina.
- Tipos de ativos de IA :
- Modelos de prompt
- Modelos de aprendizado de máquina
- Tarefas de IA generativa : Classificação de texto
- Tipo de problema de aprendizado de máquina : Classificação binária
Pontuações e valores
A pontuação da métrica de diferença de taxa de erro indica a diferença na taxa de erro para os grupos monitorados e de referência.
- Faixa de valores : 0.0-1.0
- Proporções :
- Em 0: ambos os grupos têm chances iguais
Fazer os cálculos
A fórmula a seguir é usada para calcular a taxa de erro (ER):
A fórmula a seguir é usada para calcular a diferença da taxa de erro:
