Métrica de avaliação da qualidade do texto

A métrica de qualidade de texto avalia a saída de um modelo em relação aos conjuntos de dados do site SuperGLUE, medindo a pontuação, a precisão e a recuperação do site F1 em relação às previsões do modelo e seus dados de verdade.

Detalhes da métrica

A qualidade do texto é uma métrica de avaliação de qualidade de IA generativa que mede a qualidade com que os ativos de IA generativa executam as tarefas.

Escopo

A qualidade do texto avalia apenas os ativos de IA generativa.

  • Tipos de ativos de IA : Modelos de prompts
  • Tarefas de IA generativa :
    • Resumo de textos
    • Geração de conteúdo
  • Idiomas suportados : Árabe (ar), dinamarquês (da), inglês (en), francês (fr), alemão (de), italiano (it), japonês (ja), coreano (ko), português (pt), espanhol (es).

Pontuações e valores

A pontuação da métrica de qualidade do texto indica a similaridade entre as previsões e as referências. Pontuações mais altas indicam maior similaridade entre as previsões e as referências.

Configurações

  • Limiares :
    • Limite inferior: 0.8
    • Limite superior: 1