Métrica de avaliação de ganho cumulativo descontado normalizado

A métrica de ganho cumulativo com desconto normalizado mede a qualidade da classificação dos contextos recuperados.

Detalhes da métrica

O ganho cumulativo com desconto normalizado é uma métrica de qualidade de recuperação para avaliações de qualidade de IA generativa que mede a qualidade de como um sistema de recuperação classifica contextos relevantes. As métricas de qualidade de recuperação são calculadas com modelos LLM como juiz.

Escopo

A métrica de ganho cumulativo descontado normalizado avalia apenas os ativos geradores de IA.

  • Tipos de ativos de IA : Modelos de prompts
  • Tarefas de IA generativa : Geração Aumentada de Recuperação (RAG)
  • Idiomas suportados : Inglês

Pontuações e valores

A pontuação da métrica de ganho cumulativo com desconto normalizado indica a precisão com que os contextos recuperados são classificados. Pontuações mais altas indicam que a classificação dos contextos recuperados está correta. Pontuações mais baixas indicam que a classificação dos contextos recuperados está incorreta.

  • Faixa de valores : 0.0-1.0
  • Melhor pontuação possível : 1.0
  • Proporções :
    • Em 1: Os contextos recuperados são classificados na ordem correta.

Configurações

  • Limiares :
    • Limite inferior: 0
    • Limite superior: 1