Was ist parametereffiziente Feinabstimmung (PEFT)?

Neural Networks, die für allgemeine Aufgaben wie die Verarbeitung natürlicher Sprache (NLP) oder die Bildklassifizierung trainiert wurden, können sich auf eine verwandte neue Aufgabe spezialisieren, ohne komplett neu trainiert zu werden. PEFT ist eine ressourceneffiziente Methode, um hochspezialisierte Modelle zu erstellen, ohne jedes Mal bei Null anfangen zu müssen.

Die PEFT friert die meisten Parameter und Schichten des vortrainierten Sprachmodells ein, während den letzten Schichten einige trainierbare Parameter, sogenannte Adapter, für vorgegebene nachgelagerte Aufgaben hinzugefügt werden.

Die fein abgestimmten Modelle behalten alle während des Trainings gewonnenen Erkenntnisse, spezialisieren sich aber gleichzeitig auf ihre jeweiligen nachgelagerten Aufgaben. Viele PEFT-Methoden steigern die Effizienz zusätzlich durch Gradient Checkpointing, eine speichersparende Technik, die Modellen hilft, zu lernen, ohne zu viele Informationen auf einmal zu speichern.

Die parametereffiziente Feinabstimmung sorgt für ein ausgewogenes Verhältnis zwischen Effizienz und Leistung, um Unternehmen bei der Maximierung von Rechenressourcen zu helfen und gleichzeitig die Speicherkosten zu minimieren. Bei der Abstimmung mit PEFT-Methoden können Transformer-basierte Modelle wie GPT-3, LLaMA und BERT das gesamte Wissen aus den Parametern ihres Vortrainings nutzen und gleichzeitig eine bessere Leistung erzielen, als sie es ohne Feinabstimmung tun würden.

PEFT wird häufig beim Transferlernen verwendet, bei dem Modelle, die für eine Aufgabe trainiert wurden, auf eine zweite verwandte Aufgabe angewendet werden. Beispielsweise könnte ein für die Bildklassifizierung trainiertes Modell für die Objekterkennung eingesetzt werden. Wenn ein Basismodell zu groß ist, um es komplett neu zu trainieren, oder wenn sich die neue Aufgabe von der ursprünglichen unterscheidet, kann PEFT eine ideale Lösung sein.

Herkömmliche Methoden zur vollständigen Feinabstimmung beinhalten geringfügige Anpassungen aller Parameter in vortrainierten LLMs, um sie auf bestimmte Aufgaben abzustimmen. Da die Entwicklungen im Bereich der künstlichen Intelligenz (KI) und des Deep Learning (DL) jedoch zu größeren und komplexeren Modellen geführt haben, ist der Prozess der Feinabstimmung in Bezug auf Rechenressourcen und Energie zu anspruchsvoll geworden.

Außerdem hat jedes feinabgestimmte Modell die gleiche Größe wie das Original. All diese Modelle nehmen erhebliche Mengen an Speicherplatz in Anspruch, was die Kosten für die Unternehmen, die sie nutzen, weiter in die Höhe treibt. Während Feinabstimmung effizienteres maschinelles Lernen (ML) ermöglicht, ist der Prozess der Feinabstimmung von LLMs selbst ineffizient geworden.

PEFT passt die wenigen Parameter an, die für den beabsichtigten Anwendungsfall des Modells am relevantesten sind, um eine spezielle Modellleistung zu erzielen und gleichzeitig die Modellgewichtungen zu reduzieren, was zu erheblichen Rechenkosten- und Zeiteinsparungen führt.

Parametereffiziente Feinabstimmung bietet eine Fülle von Vorteilen und ist deshalb beliebt bei Unternehmen, die bei ihrer Arbeit LLMs nutzen.

Die meisten großen Sprachmodelle, die in der generativen KI (Gen-KI) verwendet werden, basieren auf teuren Grafikprozessoren (GPUs) von Herstellern wie Nvidia. Jedes LLM verbraucht große Mengen an Rechenressourcen und Energie. Indem nur die wichtigsten Parameter angepasst werden, lassen sich große Einsparungen bei den Energie- und Cloud-Computing-Kosten erzielen.

Die Time-to-Value ist die Zeit, die benötigt wird, um ein LLM zu entwickeln, zu trainieren und bereitzustellen, damit es für das Unternehmen, das es einsetzt, Mehrwert generieren kann. Da PEFT nur wenige trainierbare Parameter anpasst, nimmt die Aktualisierung eines Modells für eine neue Aufgabe weitaus weniger Zeit in Anspruch. PEFT kann eine vergleichbare Leistung wie ein vollständiger Feinabstimmungsprozess zu einem Bruchteil des Zeit- und Kostenaufwands liefern.

Katastrophales Vergessen liegt vor, wenn LLMs das während des anfänglichen Trainingsprozesses erworbene Wissen verlieren oder „vergessen“, während sie auf neue Anwendungsfälle umtrainiert oder abgestimmt werden. Da PEFT die meisten der ursprünglichen Parameter beibehält, schützt es auch vor katastrophalem Vergessen.

Von einer Überanpassung spricht man, wenn sich ein Modell während des Trainingsprozesses zu eng an seine Trainingsdaten hält, so dass es nicht in der Lage ist, in anderen Kontexten genaue Vorhersagen zu treffen. Mit PEFT abgestimmte Transformatormodelle sind viel weniger anfällig für eine Überanpassung, da die meisten ihrer Parameter statisch bleiben.

Indem PEFT sich auf einige wenige Parameter konzentriert, senkt es die Anforderungen an die Trainingsdaten für den Feinabstimmungsprozess. Eine vollständige Feinabstimmung erfordert einen viel größeren Trainingsdatensatz, da während des Feinabstimmungsprozesses alle Parameter des Modells angepasst werden.

Ohne PEFT sind die Kosten für die Entwicklung eines spezialisierten LLM viel zu hoch für viele kleinere oder mittelgroße Unternehmen. PEFT macht LLMs für Teams zugänglich, die andernfalls möglicherweise nicht über die Zeit oder Ressourcen verfügen, die für das Training und die Feinabstimmung von Modellen erforderlich sind.

Mit PEFT können Data Scientists und andere Fachleute allgemeine LLMs an individuelle Anwendungsfälle anpassen. KI-Teams können mit der Optimierung von Modellen experimentieren, ohne sich Gedanken über den Verbrauch von Rechen-, Energie- und Speicherressourcen machen zu müssen.

Den KI-Teams stehen verschiedene PEFT-Techniken und -Algorithmen zur Verfügung, die jeweils bestimmte Vorteile und Spezialisierungen haben. Zahlreiche der beliebtesten PEFT-Tools sind auf Hugging Face und in zahlreichen anderen GitHub-Communitys zu finden.

Adapter zählen zu den ersten PEFT-Techniken, die auf Modelle zur Verarbeitung natürlicher Sprache (NLP) angewendet werden. Die Forscher versuchten, die Herausforderung zu meistern, ein Modell für mehrere nachgelagerte Aufgaben zu trainieren und gleichzeitig die Modellgewichtungen zu minimieren. Adaptermodule waren die Lösung: kleine Erweiterungen, die in jede Transformatorschicht des Modells eine Handvoll trainierbarer, aufgabenspezifischer Parameter einfügen.

Die 2021 eingeführte Low-Rank-Adaption großer Sprachmodelle (LoRA) verwendet zwei Low-Rank-Zerlegungsmatrizen, um die Modellgewichtungen zu minimieren und die Teilmenge der trainierbaren Parameter noch weiter zu reduzieren.

QLoRA ist eine erweiterte Version von LoRA, die die Gewichtung jedes vortrainierten Parameters von der typischen 32-Bit-Gewichtung auf nur 4 Bit quantisiert oder standardisiert. Daher bietet QLoRA erhebliche Speichereinsparungen und ermöglicht die Ausführung eines LLM auf nur einer GPU.

Präfix-Tuning wurde speziell für Modelle zur Generierung natürlicher Sprache (NLG) entwickelt und hängt an jede Transformatorschicht einen aufgabenspezifischen kontinuierlichen Vektor an, der als Präfix bezeichnet wird, während alle Parameter eingefroren bleiben. Infolgedessen speichern durch Präfix-Tuning optimierte Modelle mehr als tausendmal weniger Parameter als vollständig fein abgestimmte Modelle mit vergleichbarer Leistung.

Prompt-Tuning vereinfacht das Präfix-Tuning und trainiert Modelle, indem angepasste Prompts in die Eingabe- oder Trainingsdaten eingefügt werden. Hard Prompts werden manuell erstellt, während es sich bei Soft Prompts um KI-generierte Zahlenfolgen handelt, die Wissen aus dem Basismodell beziehen. Es hat sich gezeigt, dass Soft Prompts beim Tuning besser abschneiden als von Menschen erstellte Hard Prompts.

P-Tuning ist eine Variante des Prompt-Tunings, die für Natural Language Understanding (NLU) Aufgaben entwickelt wurde. Anstatt manuell erstellte Prompts zu verwenden, führte P-Tuning automatisiertes Prompt-Training und automatische Prompt-Generierung ein, wodurch im Laufe der Zeit wirkungsvolleren Trainingsprompts entstanden.