Métrica de avaliação de similaridade de respostas

A métrica de similaridade de respostas mede a proximidade entre o texto gerado e as respostas de referência ou os resultados esperados para determinar a qualidade do desempenho do modelo.

Detalhes da métrica

A similaridade de respostas é uma métrica de qualidade de respostas para avaliações de qualidade de IA generativa que avalia a qualidade das respostas do modelo de IA generativa. As métricas de qualidade das respostas são calculadas com modelos LLM-as-a-judge.

Escopo

A métrica de relevância da resposta avalia apenas os ativos de IA generativa.

  • Tipos de ativos de IA : Modelos de prompts
  • Tarefas de IA generativa : Geração Aumentada de Recuperação (RAG)
  • Idiomas suportados : Inglês

Pontuações e valores

A pontuação da métrica de similaridade da resposta indica a similaridade entre a resposta gerada e a resposta de referência. Pontuações mais altas indicam que a resposta é mais semelhante ao resultado de referência.

  • Faixa de valores : 0.0-1.0
  • Melhor pontuação possível : 1.0

Configurações

  • Limiares :
    • Limite inferior: 0
    • Limite superior: 1