Métrica de avaliação de desvio de previsão
A métrica de desvio de previsão mede a alteração na distribuição das classes previstas pelo LLM.
Detalhes da métrica
O desvio de previsão é uma métrica de avaliação de desvio v2 que avalia as alterações na distribuição de dados.
Escopo
A métrica de desvio de previsão avalia apenas os ativos de IA generativa.
Tipos de ativos de IA : Modelos de prompts
- Tarefas de IA generativa :
- Classificação de texto
- Idiomas suportados : Inglês
Pontuações e valores
A pontuação de desvio de previsão indica a alteração na distribuição das classes previstas pelo LLM.
- Faixa de valores : 0.0-1.0
- Melhor pontuação possível : 0.0
- Proporções :
- Em 0: Nenhuma alteração é detectada.
- Acima de 0: É detectada uma alteração crescente.
Fazer os cálculos
A seguinte fórmula de distância de Jensen Shannon é usada para calcular o desvio da previsão:
A Distância de Jensen Shannon é a forma normalizada da Divergência de Kullback-Leibler (KL) que mede o quanto uma distribuição de probabilidade difere da segunda distribuição de probabilidade. A distância de Jensen Shannon é uma pontuação simétrica e sempre tem um valor finito.
é a Divergência KL.