IBM slate-125m-english-rtrvr carte modèle

Pré-entraînement spécifique à une tâche

Cette étape utilise le cadre RetroMAE, pour rendre notre LM sous-jacente plus orientée vers la recherche. Nous initialisons notre LM de base avec slate.125m.english et poursuivons avec le pré-entraînement RetroMAE, en utilisant les données du tableau 1. Nos hyper-paramètres sont les suivants : taux d'apprentissage : 2e-5, nombre de pas : 190000, GPUs : 24 A100 40GB.

Remarque : il s'agit de notre LM de base pour les deux étapes suivantes.

Mise au point avec des données non supervisées à grande échelle

Ce modèle est initialisé avec le modèle pré-entraîné de RetroMAE et est entraîné comme suit.

Nous utilisons un cadre bi-encodeur pour l'apprentissage d'un modèle d'intégration, comme le montre la figure 1. Le LM pré-entraîné de RetroMAE est affiné avec les paires de textes " <query, passage> à l'aide d'un objectif de perte contrastive. Nous extrayons des paires à grande échelle de divers domaines, comme indiqué dans le tableau 2. Le modèle est entraîné avec diverses paires, y compris des tâches de classification telles que la NLI (Natural Language Inference) qui consiste à faire correspondre une prémisse à l'hypothèse correspondante. Nos hyper-paramètres sont les suivants : taux d'apprentissage : 2e-4; nombre d'étapes : 35000 ; GPUs : 8 A100_80GB, taille effective du lot : 16k paires

Ajustement fin avec des données supervisées à petite échelle avec des négatifs durs

Enfin, le modèle est affiné à l'aide de paires d'entraînement supervisées de haute qualité, la supervision provenant de l'extraction de données négatives dures, pour la tâche de recherche. Les points de contrôle intermédiaires du modèle sont utilisés de manière itérative pour extraire des données négatives spécifiques au jeu de données, qui sont ensuite utilisées pour un réglage fin supervisé. Ce processus vise à rendre le modèle plus robuste en lui permettant d'apprendre de ses propres erreurs et aide à se stabiliser avec des données beaucoup plus petites.

Nous affinons le modèle en utilisant un sous-ensemble d'ensembles de données (tels qu'ils ont été trouvés en effectuant des expériences de validation sur un ensemble de données retenu) mentionnés dans la section sur les données d'entraînement, qui sont les suivants : AllNLI, Squad, Stackexchange, NQ, HotpotQA, Fever et un sous-ensemble de 5M de chacun des ensembles de données Specter, S2orc, WikiAnswers. En outre, nous générons synthétiquement des triplets pour créer des paires de questions-réponses de bonne qualité, des vérifications factuelles, etc. à l'aide du " Mixtral-8x7B-Instruct-v0.1. Afin d'améliorer les performances pour les cas d'utilisation IBM, nous incluons également des paires créées à partir des données du support logiciel d'IBM et des IBM Docs

Les hyperparamètres d'entraînement sont les suivants : taux d'apprentissage : 2e-5; longueur maximale de la requête : 64 ; longueur maximale du passage : 512 ; nombre maximal de pas : 5000 ; taille effective du lot : 512 ; GPUs : 1A100_80GB

Lignes de base

Pour une comparaison équitable, nous comparons avec les lignes de base suivantes :

1. BM25 (un modèle traditionnel basé sur tf-idf)

2. ELSER (un algorithme de recherche commercial fourni par Elastic)

3. all-MiniLM-l6-v2: un modèle populaire de transformateurs de phrases à source ouverte. Ce modèle partage la même architecture que le slate.30m.english.rtrvr, et a été entraîné sur un plus grand nombre de données sans licence commerciale. Pour plus de détails, veuillez consulter la carte modèle du visage de câlin

4. E5-base: un modèle de transformateur à source ouverte récent avec de très bonnes performances sur le benchmark BEIR. Il s'agit d'un modèle de base, qui a la même architecture que slate.125m.english.rtrvr [Référence : Wang et.al 2022 : Text Embeddings by Weakly-Supervised Contrastive Pre-training]. Carte modèle Huggingface

5. E5-small: un modèle plus petit au sein de la famille E5 open source. La dimension d'intégration de ce modèle correspond à celle de slate.30m.rtrvr (384), mais il comporte 12 couches, ce qui le rend plus grand et légèrement plus lent. [Référence : Wang et.al 2022 : Text Embeddings by Weakly-Supervised Contrastive Pre-training]. Carte modèle Huggingface

6. BGE-base : un modèle de transformateur à source ouverte récent qui présente l'une des meilleures performances sur le benchmark BEIR pour une taille d'intégration de 768. Carte modèle Huggingface

7. BGE-small : un modèle de transformateur à source ouverte récent qui présente l'une des meilleures performances sur le benchmark BEIR pour la taille d'intégration 384. Carte modèle Huggingface

Nous comparons également les performances de ces modèles avec les anciennes versions des modèles d'ardoise, slate.125m.english.rtrvr-012024 et slate.30m.english.rtrvr-012024.

Notre évaluation de référence : BEIR(onglet de recherche de MTEB)

Le benchmark BEIR contient 15 tâches d'extraction de sources ouvertes évaluées dans un contexte d'essai zéro. Le BEIR s'est concentré sur la diversité, y compris neuf tâches de recherche différentes : Vérification des faits, prédiction des citations, recherche de questions en double, recherche d'arguments, recherche de nouvelles, réponse aux questions, recherche de tweets, RI bio-médicale et recherche d'entités. En outre, il inclut des ensembles de données provenant de divers domaines textuels, des ensembles de données couvrant des sujets généraux (comme Wikipedia) et des sujets spécialisés (comme les publications COVID-19 ), différents types de texte (articles d'actualité ou tweets), des ensembles de données de différentes tailles3.6k - 15M documents), et des ensembles de données avec différentes longueurs de requête (longueur moyenne de la requête entre 3 et 192 mots) et longueurs de document (longueur moyenne du document entre 11 et 635 mots). Le BEIR utilise la méthode du Normalized Cumulative Discount Gain (plus précisément, nDCG@10) pour l'évaluation.

Long NQ

Long NQ est un ensemble de données IBM conçu pour évaluer l'ensemble du pipeline RAG, basé sur un sous-ensemble de l'ensemble de données NaturalQuestions. L'ensemble de démonstration comprend 300 questions auxquelles il est possible de répondre et un corpus de 178 891 passages tirés de 2 345 documents Wikipédia. Long NQ fournit également des passages de Wikipédia en or qui sont pertinents pour chaque question. Lors de la recherche, il s'agit d'obtenir le passage en or pertinent du corpus pour chaque question.

Résultats

Figure 2. Comparaison des performances sur le benchmark BEIR (onglet de recherche MTEB)

Figure 3 Comparaison des performances sur l'ensemble de données Long NQ