Referências do modelo da Fundação

Como encontrar as pontuações de benchmark do modelo

Para acessar os benchmarks do modelo básico, conclua as etapas a seguir:

1. No watsonx.ai Prompt Lab no modo de bate-papo, clique no campo Modelo e escolha Exibir todos os modelos de fundação.

2. Clique na guia Modelos de benchmarks para ver os benchmarks disponíveis.

   Clique no ícone Filtro para alterar fatores como os modelos ou tipos de benchmark a serem exibidos na visualização de comparação.

   As pontuações variam de 0 a 100. Pontuações mais altas são melhores.

Executar suas próprias avaliações de benchmark de modelos de fundação

A visualização de benchmarks de modelo em watsonx.ai mostra pontuações de benchmark de testes realizados por IBM. IBM usa uma estrutura de avaliação de modelo de fundação que se baseia principalmente na biblioteca Unitxt. O Unitxt é um projeto de código aberto desenvolvido pela IBM Research para atender às necessidades exclusivas de avaliação do modelo de fundação em casos de uso corporativo. IBM também usa outra estrutura de avaliação de código aberto líder, chamada LM evaluation harness. Essas duas ferramentas de código aberto podem ser usadas para fazer avaliações independentes dos modelos de fundação.

Percorra este notebook de amostra, que avalia o modelo granite-13b-instruct-v2 em relação a benchmarks padrão usando o chicote de avaliação LM para saber mais. Consulte Usar o lm-evaluation-harness e os próprios dados de benchmarking com os modelos da fundação watsonx.ai.

Para obter mais informações, consulte os recursos a seguir:

• Unidade
• Chicote de avaliação linear

Benchmarks de compreensão do idioma inglês IBM

Os benchmarks de compreensão do idioma inglês da IBM são benchmarks publicados pela IBM com base em testes realizados pela IBM Research para avaliar a capacidade de cada modelo de realizar tarefas comuns.

A tabela a seguir descreve os conjuntos de dados, as metas e as métricas dos benchmarks IBM.

Referências de código aberto para compreensão do idioma inglês para modelos de fundação

Os benchmarks de código aberto de compreensão do idioma inglês mostram os resultados dos testes realizados pela IBM Research e que usam principalmente conjuntos de dados em inglês publicados por terceiros, como instituições acadêmicas ou equipes de pesquisa do setor.

A tabela a seguir descreve os conjuntos de dados, as metas e as métricas dos benchmarks de compreensão do idioma inglês.

Referências de compreensão de linguagem multilíngue de código aberto para modelos de fundação

Os benchmarks de compreensão de idiomas multilíngues de código aberto mostram os resultados dos testes realizados pela IBM Research e que usam conjuntos de dados multilíngues publicados por terceiros, como instituições acadêmicas ou equipes de pesquisa do setor.

A tabela a seguir descreve os conjuntos de dados, as metas, as métricas e os idiomas de destino dos benchmarks multilíngues.

Referências de código para modelos de fundação

Os benchmarks de código mostram a pontuação de vários modelos de fundação em testes que avaliam a capacidade do modelo de realizar tarefas de codificação programática, como gerar código, explicar código, corrigir código ou traduzir código de uma linguagem de programação para outra.

Esses benchmarks mostram os resultados dos testes realizados pela IBM Research usando conjuntos de dados de avaliação de código publicados por terceiros, como instituições acadêmicas ou equipes de pesquisa do setor.

A tabela a seguir descreve os conjuntos de dados, as metas e as linguagens de programação de destino para os benchmarks de código que estão disponíveis em watsonx.ai.

Métricas de referência

Algumas métricas são autoexplicativas, como a pontuação de precisão de um modelo que é testado em conjuntos de dados de múltipla escolha. Outros são menos conhecidos. A lista a seguir descreve as métricas que são usadas para quantificar o desempenho do modelo no watsonx.ai:

F1

Mede se o equilíbrio ideal entre precisão e recuperação foi alcançado. Frequentemente usado para pontuar tarefas de classificação em que a precisão mede quantas das sentenças gerais são classificadas como a classe de sentença correta e a recuperação mede a frequência com que as sentenças que deveriam ser classificadas são classificadas.

Ganho acumulado descontado normalizado (NDCG)

Uma métrica de qualidade de classificação que compara as classificações geradas a uma ordem de referência em que os itens mais relevantes estão no topo da lista de classificação.

ROUGE-L

Usado para pontuar a qualidade das compactações, medindo a semelhança entre o resumo gerado e o resumo de referência. ROUGE é a sigla para Recall-Oriented Understudy for Gisting Evaluation. O L representa a pontuação com base na sequência mais longa de palavras correspondentes. Essa métrica procura correspondências na sequência que refletem a ordem das palavras no nível da frase.

SacreBLEU

O BLEU (Bilingual Evaluation Understudy) é uma métrica para comparar uma tradução gerada com uma tradução de referência. SacreBLEU é uma versão que torna a métrica mais fácil de usar, fornecendo conjuntos de dados de teste de amostra e gerenciando a tokenização de forma padronizada. Geralmente usado para avaliar a qualidade das tarefas de tradução, mas também pode ser usado para pontuar tarefas de resumo.

Segurança

Uma métrica usada com o benchmark AttaQ 500 que combina a métrica do Índice Rand Ajustado (ARI), que considera os rótulos associados a ataques, e a Pontuação de Silhueta, que avalia as características baseadas em cluster, como coesão, separação, distorção e probabilidade. Para obter mais informações, consulte o artigo de pesquisa Unveiling safety vulnerabilities of large language models.

Taxa de vitória

Uma métrica usada com o benchmark Arena-Hard-Auto para mostrar a porcentagem de conversas nas quais as respostas do modelo levam à conclusão bem-sucedida de uma ação. Para obter mais informações, consulte o artigo de pesquisa From crowsourced data to high-quality benchmarks: Arena-Hard e o pipeline do Benchbuilder.