Métrica de avaliação do escore de impacto
A métrica de avaliação da pontuação de impacto compara a taxa em que os grupos monitorados são selecionados para receber resultados favoráveis com a taxa em que os grupos de referência são selecionados para receber resultados favoráveis.
Detalhes da métrica
A pontuação de impacto é uma métrica de avaliação de imparcialidade que pode ajudar a determinar se o seu ativo produz resultados tendenciosos.
Escopo
A métrica de pontuação de impacto avalia os ativos de IA generativa e os modelos de aprendizado de máquina.
- Tipos de ativos de IA :
- Modelos de prompt
- Modelos de aprendizado de máquina
- Tarefas de IA generativa : Classificação de texto
- Tipo de problema de aprendizado de máquina : Classificação binária
Pontuações e valores
A pontuação do índice de impacto indica se os grupos monitorados recebem taxas de seleção mais altas do que os grupos de referência. Pontuações mais altas indicam taxas de seleção mais altas para grupos monitorados.
- Faixa de valores : 0.0-1.0
- Melhor pontuação possível : 0.0
Configurações
- Limiares :
- Limite inferior: 0.8
- Limite superior: 1.0
Fazer os cálculos
A fórmula a seguir calcula a taxa de seleção para cada grupo:
A fórmula a seguir calcula a pontuação de impacto:
