IBM slate-125m-english-rtrvr musterkarte

Aufgabenspezifische Vorschulung

In dieser Phase wird das RetroMAE verwendet, um unser zugrunde liegendes LM stärker auf das Abrufen von Informationen auszurichten. Wir initialisieren unser Basis-LM mit slate.125m.english und fahren mit dem RetroMAE fort, wobei wir die Daten in Tabelle 1 verwenden. Unsere Hyper-Parameter sind: Lernrate: 2e-5, Anzahl der Schritte: 190000, GPUs: 24 A100 40GB.

Hinweis: Dies ist unser Basis-LM für die folgenden 2 Stufen.

Feinabstimmung mit unüberwachten Daten in großem Maßstab

Dieses Modell wird mit dem vortrainierten RetroMAE initialisiert und wie folgt trainiert.

Für das Training eines Einbettungsmodells verwenden wir einen Bi-Encoder-Rahmen, wie in Abbildung 1 dargestellt. Der von RetroMAE vortrainierte LM wird mit Textpaaren von " <query, passage> unter Verwendung eines kontrastiven Verlustziels feinabgestimmt. Wir ermitteln große Paare aus verschiedenen Bereichen, wie in Tabelle 2 angegeben. Das Modell wird mit verschiedenen Paaren trainiert, darunter Klassifizierungsaufgaben wie NLI (Natural Language Inference), bei denen eine Prämisse mit der entsprechenden Hypothese abgeglichen werden muss. Unsere Hyper-Parameter sind: Lernrate: 2e-4; Anzahl der Schritte: 35000; GPUs: 8 A100_80GB, effektive Stapelgröße: 16k Paare

Feinabstimmung mit überwachten Daten in kleinem Maßstab mit harten Negativen

Schließlich wird das Modell mit hochwertigen überwachten Trainingspaaren, die aus dem Hard Negative Mining stammen, für die Retrievalaufgabe feinabgestimmt. Die Kontrollpunkte des Zwischenmodells werden iterativ verwendet, um datensatzspezifische harte Negative zu ermitteln, die dann für die überwachte Feinabstimmung verwendet werden. Dieser Prozess zielt darauf ab, das Modell robuster zu machen, indem es aus seinen eigenen Fehlern lernt, und hilft bei der Stabilisierung mit viel kleineren Daten.

Zur Feinabstimmung des Modells verwenden wir eine Untergruppe von Datensätzen (die wir durch Validierungsexperimente mit einem zurückgehaltenen Datensatz gefunden haben), die im Abschnitt Trainingsdaten erwähnt werden: AllNLI, Squad, Stackexchange, NQ, HotpotQA, Fever und eine 5M Teilmenge von Specter, S2orc und WikiAnswers. Darüber hinaus generieren wir auch synthetisch Tripel, um qualitativ hochwertige Frage-Antwort-Paare, Faktenüberprüfungen usw. mit Hilfe von " Mixtral-8x7B-Instruct-v0.1 zu erstellen. Um eine bessere Leistung für IBM Anwendungsfälle zu erzielen, werden auch Paare aus IBM Software Support-Daten und IBM Docs einbezogen.

Die Hyperparameter für das Training sind: Lernrate: 2e-5; maximale Abfragelänge: 64; maximale Durchgangslänge: 512; maximale Schritte: 5000; effektive Stapelgröße: 512; GPUs: 1A100_80GB

Baselines

Um einen fairen Vergleich anzustellen, vergleichen wir mit den folgenden Grundlinien:

1. BM25 (ein traditionelles Modell auf der Grundlage von tf-idf)

2. ELSER (ein kommerzieller Suchalgorithmus, der von Elastic bereitgestellt wird)

3. all-MiniLM-l6-v2: ein beliebtes Open-Source-Modell für Satzumwandler. Dieses Modell hat die gleiche Architektur wie slate.30m.english.rtrvr, wurde aber auf mehr Daten ohne kommerzielle Lizenzen trainiert. Weitere Einzelheiten entnehmen Sie bitte der Modellkarte von Huggingface

4. E5-base: ein neueres Open-Source-Transformatormodell mit sehr guter Leistung beim BEIR-Benchmark. Dies ist ein Basismodell, das die gleiche Architektur wie slate.125m.english.rtrvr hat. [Referenz: Wang et.al., 2022: Texteinbettungen durch schwach überwachtes kontrastives Vortraining]. Modellkarte Huggingface

5. E5-small: ein kleineres Modell innerhalb der E5. Die Einbettungsdimension dieses Modells entspricht der von slate.30m.rtrvr (384), allerdings hat es 12 Schichten und ist daher größer und etwas langsamer. [Referenz: Wang et.al., 2022: Texteinbettungen durch schwach überwachtes kontrastives Vortraining]. Modellkarte Huggingface

6. BGE-base: ein aktuelles Open-Source-Transformationsmodell mit einer der besten Leistungen beim BEIR-Benchmark für die Einbettungsgröße 768. Modellkarte Huggingface

7. BGE-small: ein aktuelles Open-Source-Transformationsmodell mit einer der besten Leistungen beim BEIR-Benchmark für die Einbettungsgröße 384. Modellkarte Huggingface

Wir vergleichen auch die Leistung dieser Modelle mit den älteren Versionen der Schiefermodelle, slate.125m.english.rtrvr-012024 und slate.30m.english.rtrvr-012024.

Unser Bewertungsmaßstab: BEIR(MTEBs Registerkarte für die Suche)

Der BEIR-Benchmark besteht aus 15 Open-Source-Retrievalaufgaben, die in einer Zero-Shot-Situation bewertet werden. BEIR konzentrierte sich auf Diversität und umfasste neun verschiedene Abrufaufgaben: Faktenüberprüfung, Vorhersage von Zitaten, Suche nach doppelten Fragen, Suche nach Argumenten, Suche nach Nachrichten, Beantwortung von Fragen, Suche nach Tweets, bio-medizinische IR und Suche nach Entitäten. Darüber hinaus enthält es Datensätze aus verschiedenen Textdomänen, Datensätze, die breite Themen (wie Wikipedia) und spezialisierte Themen (wie COVID-19 ) abdecken, unterschiedliche Texttypen (Nachrichtenartikel vs. Tweets), Datensätze unterschiedlicher Größe3.6k - 15M Dokumente) und Datensätze mit unterschiedlichen Abfragelängen (durchschnittliche Abfragelänge zwischen 3 und 192 Wörtern) und Dokumentlängen (durchschnittliche Dokumentlänge zwischen 11 und 635 Wörtern). BEIR verwendet zur Bewertung die Metrik Normalized Cumulative Discount Gain (genauer gesagt nDCG@10).

Lang NQ

Long NQ ist ein IBM, der für die Evaluierung der gesamten RAG-Pipeline entwickelt wurde und auf einer Teilmenge des NaturalQuestions basiert. Das Dev-Set umfasst 300 beantwortbare Fragen mit einem Korpus von 178.891 Passagen aus 2.345 Wikipedia-Dokumenten. Long NQ bietet auch goldene Wikipedia-Passagen, die für jede Frage relevant sind. Beim Retrieval besteht die Aufgabe darin, für jede Frage die relevante Gold-Passage aus dem Korpus zu erhalten.

Ergebnisse

Abbildung 2: Leistungsvergleich beim BEIR-Benchmark (Registerkarte MTEB-Abfrage)

Abb. 3 Leistungsvergleich mit dem Long NQ-Datensatz