Was ist kontinuierliches Lernen?

Inkrementelles Lernen ermöglicht es Modellen, sich neues Wissen anzueignen und mit der Unvorhersehbarkeit der realen Welt Schritt zu halten, ohne altes Wissen zu vergessen. Nichtstationäre Daten bedeuten, dass die Datenverteilungen nicht statisch sind. Bei erfolgreicher Implementierung ergeben sich Ergebnisse in Modellen, die aufgabenspezifisches Wissen bewahren und auch über dynamische Datenverteilungen hinweg verallgemeinert werden können. 

Kontinuierliche Lernmodelle sind so konzipiert, dass sie neue Daten adaptiv in sich verändernden Umgebungen anwenden. Das kontinuierliche Lernen, auch als lebenslanges Lernen bezeichnet, ist von neurowissenschaftlichen Konzepten inspiriert, die sich auf die Art und Weise beziehen, wie Menschen neue Dinge lernen und gleichzeitig das behalten, was sie bereits wissen. Wer einmal Skateboardfahren lernt, vergisst nicht sofort, wie man Fahrrad fährt.

Herkömmliche maschinelle Lernsysteme trainieren Modelle auf großen statischen Datensätzen. Der Datensatz durchläuft den Algorithmus des Modells in Batches, während das Modell seine Gewichtungen oder Parameter aktualisiert. Das Modell verarbeitet den gesamten Datensatz mehrmals, wobei jeder Zyklus als Epoche bezeichnet wird. 

Entwickler identifizieren den Zweck des Deep Learning-Modells im Voraus, stellen einen Trainingsdatensatz zusammen, der dem Lernziel entspricht, und schulen das Modell mit diesen Daten. Dann wird das Modell getestet, validiert und bereitgestellt. Durch die Feinabstimmung des maschinellen Lernmodells mit mehr Daten kann seine Leistung an neue Aufgaben angepasst werden. 

Herkömmliche Lernmethoden spiegeln die Dynamik der realen Welt nicht vollständig wider. Beim überwachten Lernen werden statische Datensätze mit bekannten Ergebnissen verwendet. Beim unüberwachten Lernen kann ein Modell Daten selbstständig sortieren, die Trainingsdaten sind jedoch nach wie vor endlich und unveränderlich. Verstärkendes Lernen ist ähnlich sicher und beschränkt. 

Im Gegensatz zu traditionellen Lernmethoden versucht das kontinuierliche Lernen, die Plastizität des menschlichen Gehirns auf künstliche neuronale Netze anzuwenden. Neuroplastizität ist die Eigenschaft des Gehirns, die es ihm ermöglicht, sich anzupassen und zu lernen, ohne Vorwissen zu vergessen, wenn es auf veränderte Umstände stößt. 

Einige Arten des kontinuierlichen Lernens beginnen immer noch mit einem Offline-Batch-Training in mehreren Epochen, ähnlich wie beim traditionellen Offline-Training. Kontinuierliches Online-Lernen trainiert Modelle ausschließlich mit einem Strom von Single-Pass-Daten. 

Kontinuierliches Lernen hilft tiefen neuronalen Netzen, sich in dynamischen Umgebungen zu optimieren und anzupassen. Für herkömmliches maschinelles Lernen sind umfangreiche und feste Datensätze, ausreichend Zeit und Rechenleistung für das Training sowie ein bekannter Zweck des Modells erforderlich. Wenn eine oder mehrere dieser Voraussetzungen nicht erfüllt sind, bietet kontinuierliches Lernen eine Alternative. 

• Abschwächung von katastrophalem Vergessen

• Kleine Trainings-Datensätze 

• Ändern von Datenverteilungen

• Ressourcenoptimierung 

• Rauschtoleranz 

Wenn Deep-Learning-Modelle mit neuen Daten oder neuen Verteilungen trainiert werden, können sie früheres Wissen verlieren. Dieses Phänomen, das als katastrophales Vergessen bekannt ist, ist die Folge einer Überanpassung der Parameter eines Modells an neue Daten. Die Modelle aktualisieren ihre internen Gewichtungen so weit, dass die neuen Parameter für die ursprüngliche Aufgabe des Modells nicht mehr relevant sind. 

Kontinuierliches Lernen leitet Trainingsdaten schrittweise durch das KI-Modell. Das Modell wird mit einer Abfolge kleiner Datensätze gespeist, die manchmal nur aus einer einzigen Stichprobe bestehen. Transferlernen, bei dem ein Modell bereits gelerntes auf neue Aufgaben anwendet, trägt dazu bei, die Menge der erforderlichen neuen Daten zu minimieren. 

Die Welt befindet sich in einem ständigen Wandel. Menschen und andere Tiere haben die Fähigkeit zu lernen entwickelt, was ihnen hilft, in widrigen Situationen zu bestehen. Wenn zum Beispiel ein Lebensmittelvorrat ausgeht, kann es wichtig sein, herauszufinden, wie man etwas anderes isst, um das Überleben zu sichern. 

Aber nicht alle Tiere sind so leistungsfähig. Koalas können nicht einmal ihre Hauptnahrungsquelle – Eukalyptusblätter – erkennen, wenn die Blätter von einem Baum genommen und auf einem Haufen auf einem Teller abgelegt werden. Koalas essen zwar manchmal andere Blätter von anderen Bäumen, können sich aber Nahrung nur als „Blätter an Bäumen“ vorstellen. Ihr glattes Gehirn kann von dieser Erwartung nicht abweichen. 

Stellen Sie sich ein Computer-Vision-Modell vor, das für den Einsatz in selbstfahrenden Autos gedacht ist. Das Modell muss wissen, wie es andere Fahrzeuge auf der Straße, aber auch Fußgänger, Radfahrer, Motorradfahrer, Tiere und Gefahren erkennen kann. Es muss wechselnde Wetter- und Verkehrsmuster erkennen und sich einwandfrei an diese anpassen, z. B. einen plötzlichen Regenschauer oder wenn sich ein Einsatzfahrzeug mit eingeschalteten Lichtern und Sirene nähert. 

Sprachen verändern sich im Laufe der Zeit. Ein Modell der Verarbeitung natürlicher Sprache sollte in der Lage sein, Veränderungen in der Bedeutung von Wörtern und deren Verwendung zu verarbeiten. Ebenso muss ein für die Robotertechnik entwickeltes Modell in der Lage sein, sich anzupassen, wenn sich die Umgebung des Roboters verändert. 

KI-Modelle sind ressourcenintensiv. Das Training und der Verbrauch großer Mengen an Strom und Wasser können Millionen von Dollar kosten. Es ist nicht immer möglich, neue Modelle bereitzustellen, wenn neue Aufgaben anfallen. Es ist auch rechnerisch nicht möglich, jede einzelne vorherige Aufgabe im verfügbaren Speicher eines Modells zu erhalten. 

Kontinuierliches Lernen ermöglicht es großen Sprachmodellen (LLMs) und anderen neuronalen Netzen, sich an sich ändernde Anwendungsfälle anzupassen, ohne zu vergessen, wie man frühere Herausforderungen bewältigt. Unternehmen können die Anzahl der im Einsatz befindlichen Modelle minimieren, indem sie die potenziellen Funktionen jedes verwendeten Modells erweitern. 

Wenn die Algorithmen für kontinuierliches Lernen gut trainiert sind, sollten sie in der Lage sein, relevante Daten sicher zu identifizieren und gleichzeitig Rauschen zu ignorieren: bedeutungslose Datenpunkte, die reale Werte nicht genau widerspiegeln. Das Rauschen resultiert aus Signalfehlern, Messfehlern und Eingabefehlern und deckt auch Sonderfälle ab. Sonderfälle sind Datenpunkte, die sich vom Rest der Daten so unterscheiden, dass sie irrelevant sind. 

Die Herausforderungen des kontinuierlichen Lernens lassen sich grob in drei Kategorien einteilen, je nachdem, wie sich der Datenstrom im Laufe der Zeit verändert¹:

• Aufgabeninkrementelles kontinuierliches Lernen
   

• Domäneninkrementelles kontinuierliches Lernen
   

• Klasseninkrementelles kontinuierliches Lernen

Aufgabeninkrementelles Lernen ist ein schrittweiser Ansatz für das Multitasking-Lernen, bei dem ein Algorithmus lernen muss, eine Reihe verschiedener Aufgaben zu erledigen. Für den Algorithmus muss klar sein, welche Aufgabe von ihm erwartet wird, entweder indem sich die Aufgaben ausreichend voneinander unterscheiden oder indem die Eingaben mit der entsprechenden Ausgabe gekennzeichnet werden. 

Ein praktisches Beispiel für aufgabenbezogenes Lernen wäre das Erlernen der japanischen Sprache, dann Mandarin, dann Tschechisch und dann Spanisch. In der Regel ist klar, welche Sprache der Sprecher zu einem bestimmten Zeitpunkt verwenden sollte. 

Da die Aufgaben nacheinander auf das Modell übertragen werden, besteht die Herausforderung darin, sicherzustellen, dass das Modell das Lernen ausreichend von einem zum nächsten übertragen kann. Auch die Gesamtzahl der Aufgaben ist nicht immer im Voraus bekannt, insbesondere bei Modellen, die sich bereits in der Bereitstellung befinden. 

Die Verhinderung von katastrophalem Vergessen ist eine Selbstverständlichkeit – das Modell zur Anwendung von Transferlernen zu bringen, ist das eigentliche Ziel bei aufgabeninkrementellen Lernmethoden. 

Das domäneninkrementelle Lernen deckt Herausforderungen ab, bei denen sich die Datenverteilung ändert, aber die Art der Herausforderung bleibt gleich. Die Bedingungen rund um die Aufgabe haben sich in gewisser Weise verändert, die potenziellen Ausgaben jedoch nicht. Im Gegensatz zum aufgabeninkrementellen Lernen muss das Modell nicht die spezifische, zu lösende Aufgabe identifizieren. 

Ein Modell, das für die optische Zeichenerkennung (OCR) entwickelt wurde, müsste beispielsweise verschiedene Dokumentenformate und Schriftarten erkennen. Es ist nicht wichtig zu wissen, wie oder warum sich die Umgebung verändert hat, sondern zu erkennen, dass sie sich verändert hat, und die Aufgabe trotzdem zu erledigen. 

Änderungen in der Datenverteilung sind eine langjährige Herausforderung beim maschinellen Lernen, da Modelle in der Regel auf einem diskreten, statischen Datensatz trainiert werden. Wenn sich die Datenverteilungen nach der Bereitstellung ändern, kann domänenspezifisches Lernen den Modellen helfen, die Leistungseinbußen zu minimieren.

Klasseninkrementelles Lernen liegt vor, wenn ein Klassifizierermodell eine Reihe von Klassifizierungsaufgaben mit einer wachsenden Anzahl von Ausgabeklassen ausführen muss. Das Modell muss in der Lage sein, sowohl jede Instanz korrekt zu lösen als auch Klassen aufzurufen, die in früheren Instanzen gefunden wurden. 

Ein Modell, das darauf trainiert wurde, Fahrzeuge als Pkw oder Lkw zu klassifizieren, könnte später gebeten werden, Busse und Motorräder zu identifizieren. Von dem Modell wird erwartet, dass es sein Wissen über alle gelernten Klassen im Laufe der Zeit beibehält, nicht nur über die Optionen in jedem einzelnen Fall. Wenn das Modell auf „Autos vs. Lkw“ trainiert und ihm später „Busse vs. Motorräder“ gegeben wird, sollte es auch erfolgreich erkennen können, ob es sich bei einem Fahrzeug um ein Auto oder einen Bus handelt. 

Modernstes klasseninkrementelles Lernen ist eine der schwierigsten Herausforderungen im Bereich des kontinuierlichen Lernens, da das Auftreten neuer Klassen die Unterschiede zwischen zuvor etablierten Klassen verwischen kann.

Das Ziel aller kontinuierlichen Lerntechniken ist es, das Stabilität-Plastizitäts-Dilemma auszubalancieren: ein Modell stabil genug zu machen, um zuvor erlerntes Wissen zu behalten, und dennoch plastisch genug, um neues Wissen zu kultivieren. Obwohl Forscher zahlreiche Ansätze für kontinuierliches Lernen identifiziert haben, lassen sich viele in eine von drei Kategorien einordnen:

• Regularisierungstechniken
   

• Techniken zur Parameterisolierung
   

• Wiederholungstechniken

Bei der Regularisierung handelt es sich um eine Reihe von Techniken, die die Fähigkeit eines Modells zur Überanpassung an neue Daten einschränken. Das Modell darf seine Architektur während des inkrementellen Trainings nicht aktualisieren, während Techniken wie die Wissensdestillation – bei der ein größeres Modell ein kleineres „lehrt“ – dazu beitragen, Wissen zu bewahren. 

• Die elastische Gewichtungskonsolidierung (EWC) fügt der Verlustfunktion des Lernalgorithmus eine Strafe hinzu, die ihn daran hindert, drastische Änderungen an den Parametern eines Modells vorzunehmen. Optimierungsalgorithmen verwenden den Gradienten der Verlustfunktion als Metrik für die Benchmark-Modellleistung. 

• Synaptische Intelligenz (SI), die die Aktualisierung von Parametern auf der Grundlage eines kumulativen Verständnisses der relativen Bedeutung der einzelnen Parameter begrenzt. 

• Lernen ohne Vergessen (LWF) trainiert Modelle mit neuen Aufgabendaten und bewahrt altes Wissen, indem es die Ausgaben früherer Aufgaben schult.

Parameterisolationsmethoden ändern einen Teil der Architektur eines Modells, um neue Aufgaben aufzunehmen, während die Parameter für vorherige Aufgaben eingefroren werden. Das Modell baut sich selbst neu auf, um seine Funktionen zu erweitern, jedoch mit dem Vorbehalt, dass einige Parameter nicht angepasst werden können. Anschließend werden nur die Parameter trainiert, die für die neuen Aufgaben in Frage kommen. 

Progressive neuronale Netze (PNNs) erstellen beispielsweise aufgabenspezifische Spalten von neuronalen Netzen für neue Aufgaben. Parallele Verbindungen zu anderen Spalten ermöglichen Transfer-Lernen und verhindern gleichzeitig, dass diese Spalten geändert werden.

Bei den Wiederholungstechniken wird ein Modell während der Aktivierung regelmäßig Stichproben aus früheren Datensätzen ausgesetzt. Beim wiederholungsbasierten kontinuierlichen Lernen werden Stichproben älterer Daten in einem Pufferspeicher gespeichert und in nachfolgende Trainingszyklen integriert. Die fortlaufende Belastung durch ältere Daten verhindert eine Überanpassung des Modells an neue Daten. 

Speichertechniken sind zuverlässig effektiv, gehen aber zu Lasten des regelmäßigen Zugriffs auf frühere Daten, der ausreichend Speicherplatz erfordert. Situationen, in denen sensible personenbezogene Daten verwendet werden, können auch Probleme bei der Implementierung von Speichertechniken verhindern. 

Bei der generativen Wiederholung wird ein generatives Modell verwendet, um Proben früherer Daten zu synthetisieren, die in das zu trainierende Modell eingespeist werden, z. B. in einen Klassifikator, der neue Klassen lernen muss, ohne alte zu vergessen.