Métrica de avaliação da abstração

A métrica de abstração mede a proporção de n-gramas na saída do texto gerado que não aparecem no conteúdo de origem dos modelos de fundação para identificar a abstração no texto gerado.

Detalhes da métrica

A abstração é uma métrica de análise de conteúdo para avaliações de qualidade de IA generativa que pode ajudar a avaliar a saída do modelo de IA generativa em relação à entrada ou ao contexto do modelo.

Escopo

A métrica de abstração avalia apenas os ativos de IA generativa.

  • Tipos de ativos de IA : Modelos de prompts
  • Tarefas de IA generativa :
    • Resumo de textos
    • Geração Aumentada de Recuperação (RAG)
  • Idiomas suportados : Inglês

Pontuações e valores

A pontuação da métrica de abstração indica o nível de abstração identificado no resultado. Pontuações mais altas indicam altos níveis de abstração no resultado.

  • Faixa de valores : 0.0-1.0

Configurações

  • Limiares :
    • Limite inferior: 0
    • Limite superior: 1