Métrica de avaliação METEOR

A métrica METEOR (Metric for Evaluation of Translation with Explicit ORdering) mede a adequação do texto gerado com traduções automáticas à estrutura do texto das traduções de referência.

Detalhes da métrica

O METEOR é uma métrica de avaliação de qualidade de IA generativa que mede o desempenho dos ativos de IA generativa nas tarefas.

Escopo

A métrica METEOR avalia apenas os ativos de IA generativa.

  • Tipos de ativos de IA : Modelos de prompts
  • Tarefas de IA generativa :
    • Resumo de textos
    • Geração de conteúdo
  • Idiomas suportados : Árabe (ar), dinamarquês (da), inglês (en), francês (fr), alemão (de), italiano (it), japonês (ja), coreano (ko), português (pt), espanhol (es).

Pontuações e valores

A pontuação da métrica METEOR indica a proximidade entre as traduções automáticas e as referências. Pontuações mais altas indicam que as traduções automáticas se aproximam mais das referências.

  • Faixa de valores : 0.0-1.0
  • Melhor pontuação possível : 1.0

Configurações

  • Limiares :
    • Limite inferior: 0
    • Limite superior: 1
  • Parâmetros :
    • Alfa: Controla os pesos relativos da precisão e da recuperação
    • Beta: Controla a forma da penalidade como uma função da fragmentação
    • Gama: O peso relativo atribuído à penalidade de fragmentação