Large Language Models beibringen, unerwünschte Inhalte zu „vergessen“

Während Large Language Models (LLMs) immer besser darin werden, aus riesigen Datenmengen zu lernen, sorgt eine neue Technik, die genau das Gegenteil bewirkt, für Furore: „Machine Unlearning“, also maschinelles Verlernen oder Vergessen.

Dieser relativ neue Ansatz lehrt LLMs, sensible, nicht vertrauenswürdige oder urheberrechtlich geschützte Daten zu vergessen oder zu „verlernen“. Das geht schneller, als Modelle von Grund auf neu zu trainieren, und entfernt nachträglich bestimmte unerwünschte Daten oder Verhaltensweisen.

Es ist daher keine Überraschung, dass Technologiegiganten wie IBM, Google und Microsoft mit Hochdruck daran arbeiten, das maschinelle Verlernen für den Massenmarkt fit zu machen. Der zunehmende Fokus auf das Verlernen zeigt jedoch auch einige Stolpersteine bei dieser Technik: Modelle, die zu viel vergessen, und ein Mangel an branchenweiten Tools zur Bewertung der Wirksamkeit des Verlernens.

LLMs werden anhand von Terabytes an Daten trainiert und „lernen“ dadurch, Entscheidungen zu treffen und Vorhersagen zu fällen, ohne explizit dafür programmiert zu werden. Dieser Zweig der KI, der als maschinelles Lernen bekannt ist, erfreut sich zunehmender Beliebtheit, da Algorithmen des maschinellen Lernens die Art und Weise imitieren, wie Menschen lernen, und so die Genauigkeit der von ihnen generierten Inhalte schrittweise verbessern.

Mehr Daten bedeuten aber auch mehr Probleme. Oder wie Nathalie Baracaldo, Senior Research Scientist bei IBM, es ausdrückt: „Welche Daten auch immer gelernt werden – die guten und die schlechten – sie werden sich festsetzen.“

Und so können immer größere Modelle auch giftigere, hasserfülltere Sprache erzeugen und sensible Daten enthalten, die gegen Cybersicherheitsstandards verstoßen. Aber warum ist das so? Diese Modelle werden auf unstrukturierten und nicht vertrauenswürdigen Daten aus dem Internet trainiert. Selbst bei rigorosen Versuchen, Daten zu filtern, Modelle abzustimmen, um zu definieren, welche Fragen nicht beantwortet und welche Antworten gegeben werden sollen, und andere Verhaltensregeln zu verwenden, um die Ausgabe eines Modells zu überprüfen, schleichen sich unerwünschtes Verhalten, Malware, toxische und urheberrechtlich geschütztes Material durch.

Das erneute Trainieren dieser Modelle, um die unerwünschten Daten zu entfernen, dauert Monate und kostet Millionen von Dollar. Außerdem werden bei Open-Source-Modellen alle Schwachstellen des Basismodells auf viele andere Modelle und Anwendungen übertragen.

Ansätze zum Verlernen zielen darauf ab, diese Probleme zu lindern. Durch die Identifizierung der zu verlernenden Elemente, z. B. bestimmte Datenpunkte wie Inhalte, die schädliche, unethische oder urheberrechtlich geschützte Sprache oder unerwünschte Prompts enthalten, entfernen Algorithmen effizient die Wirkung gezielter Inhalte.

Ein Forscherteam von Microsoft nutzte diesen Verlernansatz, um herauszufinden, ob sie das Llama2-7b-Modell von Meta dazu bringen könnten, urheberrechtlich geschütztes Material aus Harry Potter zu vergessen, auf dem es aus dem Internet trainiert wurde. Vor dem Entlernen antwortete das Modell auf einen Prompt wie „Wer ist Harry Potter?“: „Harry Potter ist der Hauptprotagonist in J. K. Rowlings Fantasy-Romanreihe.“

Nach der Feinabstimmung des Modells, um urheberrechtlich geschütztes Material zu „verlernen“, reagiert das Model mit dem Folgenden auf den gleichen Prompt: „Harry Potter ist ein britischer Schauspieler, Autor und Regisseur …“.

„Im Grunde genommen „vergisst“ das Modell jedes Mal den ursprünglichen Inhalt, wenn es auf einen Kontext stößt, der mit den Zieldaten zusammenhängt“, erklärten die Forscher Ronen Elden und Mark Russinovich in einem Blogbeitrag. Das Team hat sein Modell auf Hugging Face geteilt, sodass die KI-Community das Verlernen erkunden und auch daran herumbasteln konnte.

Neben der Entfernung von urheberrechtlich geschütztem Material ist das Entfernen sensibler Inhalte zum Schutz der Privatsphäre von Personen ein weiterer wichtiger Anwendungsfall. Ein Team unter der Leitung von Radu Marculescu von der University of Texas in Austin arbeitet in Zusammenarbeit mit KI-Spezialisten von JP Morgan Chase an maschinellem Entlernen für generative Bild-zu-Bild-Modelle. In einem kürzlich erschienenen Bericht haben sie gezeigt, dass sie in der Lage sind, unerwünschte Bildelemente zu eliminieren, ohne die Leistung des gesamten Bildsets zu verschlechtern.

Diese Technik könnte beispielsweise in Szenarien wie Drohnenbefragungen von Immobilien hilfreich sein, sagte Professor Marculescu. „Wenn Gesichter von Kindern deutlich sichtbar wären, könnte man diese unkenntlich machen, um deren Privatsphäre zu schützen.“

Google beschäftigt sich außerdem intensiv mit dem Thema Verlernen innerhalb der breiteren Open-Source-Entwicklergemeinschaft. Im Juni 2023 startete Google seine erste Machine-Unlearning-Challenge. Im Rahmen des Wettbewerbs wurde ein Altersvorhersageprogramm eingesetzt, das anhand von Gesichtsbildern trainiert worden war. Nach dem Training musste eine bestimmte Teilmenge der Trainingsbilder vergessen werden, um die Privatsphäre oder die Rechte der betroffenen Personen zu schützen.

Es ist zwar nicht perfekt, aber die ersten Ergebnisse verschiedener Teams sind vielversprechend. Durch den Einsatz von maschinellem Verlernen auf einem Llama-Modell konnte beispielsweise Baracaldos Team bei IBM den Toxizitätswert von 15,4 % auf 4,8 % reduzieren, ohne die Genauigkeit anderer vom LLM ausgeführter Aufgaben zu beeinträchtigen. Und anstatt Monate für das erneute Training eines Modells zu benötigen, ganz zu schweigen von den Kosten, dauerte das Verlernen lediglich 224 Sekunden.

Warum wird maschinelles Verlernen also nicht weit verbreitet eingesetzt?

„Die Methoden zum Verlernen stecken noch in den Kinderschuhen und lassen sich noch nicht gut skalieren“, erklärt Baracaldo.

Die erste große Herausforderung ist das „katastrophale Vergessen“ – das heißt, ein Modell vergisst mehr, als die Forscher wollten, sodass das Modell keine Schlüsselaufgaben mehr erfüllt, für die es entwickelt wurde.

Das IBM Team hat ein neues Framework entwickelt, um die Funktionsweise von Modellen nach dem Training zu verbessern. Mit einem Ansatz, den sie als Split-Unlearn-Then-Merge oder SPUNGE bezeichnen, konnten sie unerwünschtes Verhalten wie Toxizität und gefährliches Wissen wie Biosicherheits- oder Cybersicherheitsrisiken verlernen und gleichzeitig die allgemeinen Fähigkeiten der Modelle erhalten.

Die Entwicklung umfassender und zuverlässiger Bewertungsinstrumente zur Messung der Wirksamkeit von Verlernprozessen bleibt ebenfalls ein zu lösendes Problem, sagen Forscher einhellig.

Auch wenn das Verlernen noch in den Kinderschuhen steckt, wird die Arbeit daran intensiviert, da es ein so breites Spektrum an potenziellen Anwendungen, Branchen und Regionen gibt, in denen es sich als nützlich erweisen könnte.

In Europa beispielsweise schützt die EU-Datenschutz-Grundverordnung das „Recht auf Vergessenwerden“ von Einzelpersonen. Wenn eine Person sich entscheidet, ihre Daten zu entfernen, könnte maschinelles Verlernen dazu beitragen, sicherzustellen, dass Unternehmen diese Gesetzgebung einhalten und entscheidende Daten entfernen. Über Sicherheit und Datenschutz hinaus kann maschinelles Verlernen auch in jeder Situation nützlich sein, in der Daten hinzugefügt oder entfernt werden müssen, wenn Lizenzen ablaufen oder Kunden beispielsweise ein großes Finanzinstitut oder ein Krankenhauskonsortium verlassen.

„Was ich am Verlernen so liebe“, so Baracaldo, „ist, dass wir weiterhin alle unsere anderen Verteidigungslinien nutzen können, wie zum Beispiel das Filtern von Daten.“ Wir können das Modell aber auch „reparieren“ oder modifizieren, wann immer wir feststellen, dass etwas schiefgeht, um alles Unerwünschte zu entfernen.“