Métrica de avaliação da diferença da taxa de descoberta falsa
A métrica de diferença de taxa de descoberta falsa calcula a quantidade de transações falsas positivas como uma porcentagem de todas as transações com um resultado positivo.
Detalhes da métrica
A diferença na taxa de descoberta falsa é uma métrica de avaliação de imparcialidade que pode ajudar a determinar se o seu ativo produz resultados tendenciosos.
Escopo
A métrica de diferença de taxa de descoberta falsa avalia os ativos de IA generativa e os modelos de aprendizado de máquina.
- Tipos de ativos de IA :
- Modelos de prompt
- Modelos de aprendizado de máquina
- Tarefas de IA generativa : Classificação de texto
- Tipo de problema de aprendizado de máquina : Classificação binária
Pontuações e valores
A pontuação da métrica de diferença da taxa de descoberta falsa indica a abrangência de falsos positivos entre todas as transações positivas para grupos monitorados e de referência.
- Faixa de valores : 0.0-1.0
- Melhor pontuação possível : 0.0
- Proporções :
- Abaixo de 0: menos falsos positivos no grupo monitorado
- Em 0: ambos os grupos têm chances iguais
- Acima de 0: Maior taxa de falsos positivos em grupos monitorados
Processo de avaliação
Para calcular a diferença da taxa de descoberta falsa, são geradas matrizes de confusão para os grupos monitorados e de referência para identificar a quantidade de positivos falsos e verdadeiros para cada grupo. Os valores falsos e verdadeiros positivos são usados para calcular a taxa de falsos positivos para cada grupo. A taxa de falsos positivos do grupo de referência é subtraída da taxa de falsos positivos do grupo monitorado para calcular a diferença da taxa de falsas descobertas.
Fazer os cálculos
A fórmula a seguir é usada para calcular a taxa de descoberta falsa (FDR):
A fórmula a seguir é usada para calcular a diferença da taxa de descoberta falsa:
