Métrica de avaliação da diferença de paridade estatística
A métrica de diferença de paridade estatística compara a porcentagem de resultados favoráveis dos grupos monitorados com os grupos de referência.
Detalhes da métrica
A diferença de paridade estatística é uma métrica de avaliação de imparcialidade que pode ajudar a determinar se o seu ativo produz resultados tendenciosos.
Escopo
A métrica de diferença de paridade estatística avalia ativos de IA generativa e modelos de aprendizado de máquina.
- Tipos de ativos de IA :
- Modelos de prompt
- Modelos de aprendizado de
- Tarefas de IA generativa : Classificação de texto
- Tipo de problema de aprendizado de máquina : Classificação binária
Pontuações e valores
A pontuação da métrica de diferença de paridade estatística indica a diferença entre a proporção de resultados favoráveis nos grupos monitorados e de referência.
- Faixa de valores : 0.0-1.0
- Melhor pontuação possível : 0.0
- Proporções :
- Abaixo de 0: Benefícios mais altos para o grupo monitorado
- Em 0: ambos os grupos têm benefícios iguais
- Acima de 0: maior benefício para o grupo de referência
Fazer os cálculos
A fórmula a seguir é usada para calcular a diferença de paridade estatística:
