Was ist Wissensdestillation?

Wissensdestillation macht sich die Tatsache zunutze, dass künstliche neuronale Netze „universelle Approximatoren“ sind: Bei genügend Trainingsdaten und einer ausreichend großen versteckten Schicht kann ein neuronales Netz jede Funktion mit beliebiger Genauigkeit approximieren.⁵

Beim herkömmlichen maschinellen Lernen wird das „Wissen“ eines trainierten Modells mit seinen erlernten Parametern identifiziert: die variablen Gewichtungen (und Verzerrungen), die auf die verschiedenen mathematischen Operationen im neuronalen Netz angewendet werden und die den Einfluss eines bestimmten Teils des Outputs des Netzes auf einen anderen Teil verstärken oder verringern. Diese Sichtweise von Wissen macht es schwer zu erkennen, wie ein Modell das Wissen eines anderen Modells von anderer Größe und Struktur aufnehmen kann.

Stattdessen verwendeten Hinton et al. eine abstraktere, flexiblere Sichtweise des Wissens einfach als „erlernte Zuordnung von Eingabevektoren zu Ausgabevektoren“. Mit anderen Worten: Wissensdestillation interpretiert das Wissen eines Modells nicht als die rein mathematischen Parameter, die es im Training lernt, sondern als die Art und Weise, wie es nach diesem Training auf neue Daten verallgemeinert.

Durch dieses alternative Verständnis von Wissen zielen die Methoden der Wissensdestillation darauf ab, die Schülermodelle so zu trainieren, dass sie nicht nur den endgültigen Output des Lehrermodells für eine bestimmte Eingabe nachahmen, sondern auch die Argumentationsschritte, die das Lehrermodell unternimmt, um zu diesem endgültigen Output zu gelangen. Konzeptionell funktioniert dies ähnlich wie die Abstimmung von Anweisungen durch CoT-Prompts (Chain-of-Thought, also Denkketten), die die Qualität von LLM-Antworten verbessern, indem sie ihnen beibringen, ihre Argumentation „Schritt für Schritt“ zu formulieren.

Beim konventionellen überwachten oder selbstüberwachten Lernen erzeugt eine Verlustfunktion einen Vektor, der die Divergenz (oder den Verlust) zwischen den Outputs des Modells und den „richtigen“ Outputs (oder Ground Truth) über verschiedene Eingaben hinweg darstellt. Durch Anpassen der Modellparameter, um die Steigung (oder den Gradienten) dieses Vektors durch einen Optimierungsalgorithmus wie den Gradientenabstieg zu minimieren, kommen die Ausgaben des Modells diesen korrekten Outputs näher. Die Argumentationsschritte des Modells sind zwar „wichtig“, da sie den endgültigen Output beeinflussen, werden aber in der Regel nicht mit einer herkömmlichen Verlustfunktion gemessen.

Wissensdestillation hingegen trainiert das Schülermodell auch darauf, den Denkprozess des Lehrermodells nachzuahmen, indem eine spezielle Art von Verlustfunktion, Destillationsverlust, hinzugefügt wird, bei der diskrete Denkschritte als weiche Ziele für die Optimierung verwendet werden.

Der Output eines jeden KI-Modells kann als Vorhersage verstanden werden: ein autoregressives LLM sagt das nächste Wort bzw. die nächsten Wörter in einer bestimmten Sequenz voraus; ein Computer-Vision-Modell, das zur Bildklassifizierung verwendet wird, sagt die Kategorie eines bestimmten Bildes voraus. Um zu diesen endgültigen Vorhersagen zu gelangen, die in diesem Zusammenhang als „harte Ziele“ bezeichnet werden, machen Deep-Learning-Modelle in der Regel mehrere vorläufige Vorhersagen und verwenden eine Softmax-Funktion, um die Vorhersage mit der höchsten Wahrscheinlichkeit auszugeben. Während des Trainings wird eine Cross-Entropie-Verlustfunktion verwendet, um die Wahrscheinlichkeit für den richtigen Output zu maximieren und die Wahrscheinlichkeit für den falschen Output zu minimieren.

Ein Bildklassifizierungsmodell sagt beispielsweise die Wahrscheinlichkeit voraus, dass ein Eingabebild zu jeder bekannten Klasse gehört, auf deren Erkennung das Modell trainiert wurde, und gibt dann die Klasse mit dem höchsten Wahrscheinlichkeitswert aus. Im mathematischen Sprachgebrauch des maschinellen Lernens werden diese einzelnen klassenbezogenen Vorhersagen als Logits bezeichnet.Ebenso prognostiziert ein autoregressives LLM mehrere Möglichkeiten für jedes nächste Wort und (abhängig von seiner Temperatureinstellung) eine dieser Möglichkeiten für seine Leistung.

Bei der Wissensdestillation liefern diese vom Lehrermodell erzeugten Zwischenprognosen – die „weichen Ziele“ – oft die wichtigsten Trainingsdaten für das Schülermodell. Die relativen Wahrscheinlichkeiten, die diesen vorläufigen Vorhersagen zugewiesen werden, geben einen wertvollen Einblick in die Verallgemeinerung des Lehrermodells. Zum Beispiel ist es für ein Bildklassifizierungsmodell um ein Vielfaches wahrscheinlicher, ein Bild eines Fuchses als „Hund“ zu klassifizieren als als „Sandwich“. Weiche Ziele liefern somit weitaus mehr Informationen pro Trainingsfall als harte Ziele.

Weiche Zielvorgaben bieten auch mehr Konsistenz als harte Zielvorgaben: Die endgültige Vorhersage eines Modells könnte letztendlich von einer winzigen Differenz zwischen zwei Logit-Werten abhängen, aber die Logit-Werte selbst haben eine viel geringere Varianz im Gradienten zwischen den einzelnen Trainingsbeispielen.

Aufgrund der Fülle und Stabilität der von weichen Zielen bereitgestellten Informationen kann das Schülermodell anhand von weniger Trainingsbeispielen und einer höheren Lernrate trainiert werden, als sie beim Training des ursprünglichen Lehrermodells verwendet wurden.

Um die Generalisierungstendenzen des Schülernetzwerks denen des Lehrernetzwerks anzunähern, werden bei der Wissensdestillation in der Regel zwei Verlustfunktionen verwendet. Die erste ist eine Standard-Verlustfunktion, die mit „hartem Verlust“ arbeitet und die endgültigen Ergebnisse des Schülermodells anhand der Ground-Truth-Labels (beim überwachten Lernen) oder anhand der ursprünglichen Datenstichprobe (beim selbstüberwachten Lernen) misst. Die zweite ist der Destillationsverlust, ein „weicher Verlust“, der die weichen Ziele des Schülermodells mit denen des Lehrers vergleicht.

Da es für jedes Trainingsbeispiel mehrere weiche Ziele geben kann, misst der Destillationsverlust den Unterschied zwischen der Wahrscheinlichkeitsverteilung der weichen Ziele des Lehrernetzwerks und der Wahrscheinlichkeitsverteilung des Schülernetzwerks. Zu diesem Zweck wird häufig die Kullback-Leibler-Divergenz (oder „KL-Divergenz“) verwendet.

Diese verschiedenen Formen von Wissen lassen sich im Allgemeinen in eine von drei Kategorien einteilen: antwortbasiertes Wissen, merkmalbasiertes Wissen oder beziehungsbasiertes Wissen.

Antwortbasiertes Wissen, die häufigste Form der Wissensdestillation, konzentriert sich auf die Übertragung von Informationen aus der endgültigen Output-Schicht des Lehrermodells. Bei einer typischen antwortbasierten Methode der Wissensdestillation wird das Schülermodell darauf trainiert, Protokolle auszugeben, die mit den Vorhersagen des Lehrermodells übereinstimmen.

Wenn die weichen Ziele des Lehrermodells eine niedrige Entropie aufweisen – mit anderen Worten, wenn die Vorhersagen extrem „zuverlässig“ sind, etwa wenn ein Klassifizierungsmodell für eine Klasse einen Logit-Wert sehr nahe bei 1 (was Gewissheit darstellt) und für alle anderen Logits nahe 0 ausgibt –, liefern sie nicht so viele Informationen. Antwortbasierte Methoden verwenden daher oft eine hohe Temperatureinstellung für die Modellausgaben, was die Entropie der Modellvorhersagen erhöht. Dies gewährleistet eine variablere Wahrscheinlichkeitsverteilung und damit eine größere Menge an Informationen aus jedem Trainingsbeispiel.

Merkmalsbasiertes Wissen konzentriert sich auf Informationen, die in den Zwischenschichten oder „verborgenen Schichten“ eines neuronalen Netzes übermittelt werden. Hier führen neuronale Netze in der Regel eine Merkmalsextraktion durch, also die Identifizierung eindeutiger Merkmale und Muster der Eingabedaten, die für die jeweilige Aufgabe relevant sind.

In den konvolutionalen neuronalen Netzen, die vor allem für Computer-Vision-Aufgaben wie die Bildsegmentierung verwendet werden, erfasst jede aufeinanderfolgende verborgene Schicht zunehmend mehr Details, während die Daten durch das Netz übertragen werden. In einem Modell, das zur Klassifizierung von Tierbildern nach Arten verwendet wird, könnten die ersten versteckten Schichten einfach das Vorhandensein einer Tierform in einem Teil des Fotos erkennen; die mittleren versteckten Schichten könnten erkennen, dass es sich bei dem Tier um einen Vogel handelt; die letzten versteckten Schichten, kurz vor der Output-Schicht, würden die nuancierten Details erkennen, die eine Vogelart von einer anderen, eng verwandten Art unterscheiden.

Das Ziel merkmalbasierter Wissensdestillationsmethoden ist es daher, das Schülermodell so zu trainieren, dass es die gleichen Merkmale wie das Lehrernetzwerk lernt. Merkmalbasierte Destillationsverlustfunktionen werden verwendet, um den Unterschied zwischen den Merkmalsaktivierungen der beiden Netzwerke zu messen und dann zu minimieren.

Während sich sowohl antwortbasiertes als auch merkmalbasiertes Wissen auf die Ausgaben bestimmter Modellebenen konzentriert, konzentriert sich die beziehungsbasierte Wissensdestillation auf die Beziehungen zwischen verschiedenen Ebenen oder zwischen Merkmalskarten, die die Aktivierungen auf verschiedenen Ebenen oder an verschiedenen Orten darstellen.

Im Wesentlichen stellt das beziehungsbasierte Wissen vielleicht den umfassendsten Ansatz dar, um das Schülernetzwerk zu trainieren, den „Denkprozess“ des Lehrermodells nachzuahmen. Diese Beziehungen und Korrelationen können auf verschiedene Weise modelliert werden, einschließlich Korrelationen zwischen Merkmalskarten, Matrizen, die die Ähnlichkeit zwischen verschiedenen Schichten darstellen, Merkmalseinbettungen oder Wahrscheinlichkeitsverteilungen von Merkmalsdarstellungen.

Bei der Offline-Destillation ist das Lehrernetzwerk bereits vortrainiert und seine Modellgewichte werden eingefroren, um weitere Änderungen zu verhindern. Die Offline-Destillation ist typisch für viele KD-Ansätze für LLMs, bei denen das Lehrermodell oft ein größeres proprietäres Modell ist, für das die Modellgewichte nicht geändert werden können.

Unter bestimmten Umständen ist möglicherweise kein entsprechend vortrainiertes und angemessen leistungsfähiges Lehrermodell verfügbar, oder ein Data Scientist möchte das Lehrernetzwerk auf seinen spezifischen Anwendungsfall zuschneiden. Online-Destillationsprogramme zielen darauf ab, gleichzeitig sowohl die Lehrer- als auch die Schülernetzwerke zu schulen.

Zum Beispiel schlugen Cioppa et al. ein Online-Destillationsschema für semantische Segmentierungsmodelle vor, die bei Live-Sportereignissen verwendet werden, bei denen sich die visuellen Umstände während eines Spiels ändern können. Ziel war es, den Kompromiss zwischen der Geschwindigkeit eines kleineren Netzwerks und der Genauigkeit eines größeren Netzwerks zu umgehen, indem ein langsames, leistungsstarkes Modell kontinuierlich mit Live-Match-Daten trainiert und gleichzeitig das Wissen dieses größeren Modells in ein kleineres, schnelleres Modell umgewandelt wurde, das zur Generierung von Output in Echtzeit eingesetzt wurde.⁶

Bei der Selbstdestillation fungiert ein Netzwerk sowohl als Lehrer als auch als Schüler. Während die herkömmliche Wissensdestillation die Übertragung von Wissen von einem Modell auf ein anderes beinhaltet, kann die Selbstdestillation als Übertragung von Wissen aus den tieferen Schichten eines Netzwerks auf die flachen Schichten desselben Netzwerks verstanden werden.⁷

Bei der Selbstdestillation werden den Zwischenschichten des Modells mehrere aufmerksamkeitsbasierte „flache Klassifikatoren“ in unterschiedlicher Tiefe hinzugefügt. Während des Trainings fungieren die tiefer liegenden Klassifikatoren als Lehrermodelle und leiten das Training der anderen aufmerksamkeitsbasierten Module durch zwei Arten von Destillationsverlusten: einen Verlust der KL-Divergenz-Metrik für die Outputs und einen L2-Regularisierungsverlust für die Merkmalszuordnungen.

Nachdem das Modell trainiert und für die Inferenz bereit ist, werden alle diese flachen Klassifikatoren aus dem Modell entfernt. Dadurch kann das Modell größer sein und während des Trainings eine höhere Kapazität für die Mustererkennung haben, aber kleiner und folglich schneller und effizienter sein, wenn es eingesetzt wird.

Die LLMs mit den stärksten Fähigkeiten sind in den meisten Fällen zu kostspielig und rechenintensiv, um für viele potenzielle Nutzer wie Hobbyisten, Start-ups oder Forschungseinrichtungen zugänglich zu sein. Darüber hinaus können proprietäre LLMs trotz ihrer fortschrittlichen Leistung und einzigartigen Fähigkeiten naturgemäß nicht auf Nischenanwendungen und spezifische Anwendungsfälle zugeschnitten werden.

Darüber hinaus sind die meisten kommerziell rentablen LLMs zu groß und rechenintensiv, um lokal auf Mobiltelefonen oder anderen Edge-Geräten verwendet zu werden. Dies bringt verschiedene logistische, rechnerische und datenschutzrechtliche Komplikationen mit sich, die mit einem kleineren Modell, das direkt auf mobilen Geräten ausgeführt werden könnte, umgangen werden könnten. Die Modellkomprimierung der Wissensdestillation ist daher ein vielversprechender Weg, um die neu entstehenden Eigenschaften großer Modelle auf Modelle zu übertragen, die klein genug sind, um auf dem Gerät ausgeführt zu werden.