Cartão de modelo multilíngue Granite Embedding 278m

Idiomas Suportados

Inglês, alemão, espanhol, francês, japonês, português, árabe, tcheco, italiano, coreano, holandês e chinês. Os usuários podem ajustar o Granite-Embedding-278M-Multilingual para idiomas além desses 12 idiomas.

Uso desejado

O modelo foi projetado para produzir representações vetoriais de comprimento fixo para um determinado texto, que podem ser usadas para aplicativos de similaridade de texto, recuperação e pesquisa.

Uso com transformadores de frases

O modelo é compatível com a biblioteca SentenceTransformer e é muito fácil de usar.

Primeiro, instale a biblioteca de transformadores de frases.

pip install sentence_transformers

O modelo pode então ser usado para codificar pares de texto e encontrar a similaridade entre suas representações.

from sentence_transformers import SentenceTransformer, util

model_path = "ibm-granite/granite-embedding-278m-multilingual"
# Load the Sentence Transformer model
model = SentenceTransformer(model_path)

input_queries = [
    ' Who made the song My achy breaky heart? ',
    'summit define'
    ]

input_passages = [
    "Achy Breaky Heart is a country song written by Don Von Tress. Originally titled Don't Tell My Heart and performed by The Marcy Brothers in 1991. ",
    "Definition of summit for English Language Learners. : 1 the highest point of a mountain : the top of a mountain. : 2 the highest level. : 3 a meeting or series of meetings between the leaders of two or more governments."
    ]

# encode queries and passages
query_embeddings = model.encode(input_queries)
passage_embeddings = model.encode(input_passages)

# calculate cosine similarity
print(util.cos_sim(query_embeddings, passage_embeddings))

Uso com transformadores Huggingface

Este é um exemplo simples de como usar o modelo granite-embedding-278m-multilingual com a biblioteca Transformers e PyTorch.

Primeiro, instale as bibliotecas necessárias.

pip install transformers torch

O modelo pode então ser usado para codificar pares de texto.

import torch
from transformers import AutoModel, AutoTokenizer

model_path = "ibm-granite/granite-embedding-278m-multilingual"

# Load the model and tokenizer
model = AutoModel.from_pretrained(model_path)
tokenizer = AutoTokenizer.from_pretrained(model_path)
model.eval()

input_queries = [
    ' Who made the song My achy breaky heart? ',
    'summit define'
    ]

# tokenize inputs
tokenized_queries = tokenizer(input_queries, padding=True, truncation=True, return_tensors='pt')

# encode queries
with torch.no_grad():
    # Queries
    model_output = model(**tokenized_queries)
    # Perform pooling. granite-embedding-278m-multilingual uses CLS Pooling
    query_embeddings = model_output[0][:, 0]

# normalize the embeddings
query_embeddings = torch.nn.functional.normalize(query_embeddings, dim=1)

Avaliação

O desempenho médio do Granite-Embedding-278M-Multilingual no Multilingual Miracl (em 18 idiomas), Mintaka Retrieval (em 8 idiomas) e MTEB Retrieval para inglês (em 15 tarefas), alemão (em 4 tarefas), espanhol (em 2 tarefas), francês (em 5 tarefas), japonês (em 2 tarefas), árabe (1 tarefa), coreano (1 tarefa) e chinês (em 8 tarefas) é relatado abaixo.

Arquitetura de modelos

O modelo granite-embedding-278m-multilingual baseia-se em uma arquitetura de transformador do tipo XLM-RoBERTa somente para codificador, treinada internamente na IBM Research.

Dados de treinamento

Em geral, os dados de treinamento consistem em quatro fontes principais: (1) dados emparelhados de título-corpo não supervisionados extraídos da Web, (2) dados emparelhados disponíveis publicamente com licença permissiva e amigável à empresa, (3) dados emparelhados IBM direcionados a domínios técnicos específicos e (4) dados sintéticos IBM. Os dados estão listados abaixo:

Notavelmente, não usamos o popular conjunto de dados de recuperação MS-MARCO em nosso corpus de treinamento devido à sua licença não comercial, enquanto outros modelos de código aberto treinam nesse conjunto de dados devido à sua alta qualidade.

Infraestrutura

Treinamos o Granite Embedding Models usando o cluster de computação da IBM, o Cognitive Compute Cluster, que é equipado com GPUs NVIDIA A100 80gb. Esse cluster oferece uma infraestrutura dimensionável e eficiente para treinar nossos modelos em várias GPUs.

Considerações éticas e limitações

Os dados em inglês usados para treinar o modelo de idioma base foram filtrados para remover textos que continham ódio, abuso e palavrões.

Recursos

• Saiba mais sobre as últimas atualizações do Granite : site do IBM Granite
• Comece com tutoriais, práticas recomendadas e conselhos de engenharia imediatos: Documentação IBM Granite
• Saiba mais sobre os recursos de aprendizado mais recentes Granite : Desenvolvedor IBM