Was sind maskierte Sprachmodelle?

Maskierte Sprachmodelle (MLM) sind eine Art großes Sprachmodell (LLM), das dazu dient, fehlende Wörter aus Texten bei Aufgaben der natürlichen Sprachverarbeitung (NLP) vorherzusagen. Im weiteren Sinne ist die maskierte Sprachmodellierung eine Form des Trainings von Transformatormodellen – insbesondere von bidirektionalen Kodiererrepräsentationen von Transformatoren (Bidirectional Encoder Representations from Transformers, BERT) und dem davon abgeleiteten robust optimierten BERT-Vortrainingsansatz (Robustly Optimized BERT Pretraining Approach, RoBERTa) – für NLP-Aufgaben, indem das Modell darauf trainiert wird, maskierte Wörter in einem Text auszufüllen und dadurch die wahrscheinlichsten und kohärentesten Wörter zur Vervollständigung des Textes vorherzusagen^.1

Maskierte Sprachmodellierung hilft bei vielen Aufgaben – von der Stimmungsanalyse bis zur Textgenerierung – indem ein Modell darauf trainiert wird, die kontextuelle Beziehung zwischen Wörtern zu verstehen. Tatsächlich verwenden Forschungsentwickler oft maskierte Sprachmodellierung, um vortrainierte Modelle zu erstellen, die für nachgelagerte Aufgaben wie Textklassifikation oder maschinelle Übersetzung weiter überwacht und feinjustiert werden. Maskierte Sprachmodelle bilden somit die Grundlage für viele moderne Sprachmodellierungsalgorithmen. Obwohl Masked Language Modeling eine Methode zum Vortraining von Sprachmodellen ist, wird sie in Online-Quellen manchmal auch als Transferlernmethode bezeichnet. Das ist vielleicht nicht ungerechtfertigt, da einige Forschungsgruppen damit begonnen haben, maskierte Sprachmodellierung als eigenständige Endaufgabe zu implementieren.

Die HuggingFace-Transformatoren und Tensorflow-Textbibliotheken enthalten Funktionen zum Trainieren und Testen maskierter Sprachmodelle in Python, sowohl als Endaufgaben als auch für nachgelagerte Aufgaben.

Das allgemeine Verfahren zur Charakterisierung maskierter Sprachmodelle ist recht einfach. Da es sich beim Masked Language Modeling um eine Form des unüberwachten Lernens handelt, beginnt es mit einem großen und unannotierten Textdatensatz. Der Algorithmus ersetzt eine zufällige Stichprobe von Wörtern aus diesem Eingabetext durch maskierte Token, die aus dem Token [MASK] oder anderen Wort-Token aus dem Vokabular des Eingabetextes bestehen können. Für jedes maskierte Token sagt das Modell dann voraus, welches Wort-Token am wahrscheinlichsten im ursprünglichen Eingabetext vorkam.²

Zum Beispiel wurden im folgenden Satz aus Shakespeares Othello zwei Wörter durch maskierte Token ersetzt, während ein anderes Wort durch ein völlig anderes Worttoken ersetzt wurde:

Das Modell trainiert dann einen bidirektionalen Encoder, der die ursprünglich maskierten Eingabetoken vorhersagt. Wie macht es das? Zugegebenermaßen erfordert die Aufklärung der inneren Mechanismen maskierter Sprachmodelle ein Fundament in fortgeschrittener Algebra und maschinellem Lernen. Dennoch ist ein oberflächlicher Überblick möglich.

Für jedes Token in den Eingabedaten generiert das Modell Einbettungen ähnlich wie bei einem Bag of Words-Modell. Das Modell kombiniert diese Worteinbettungen mit Positionskodierungen, um den Eingang des Transformators zu erzeugen. Positionskodierungen stellen kurz gesagt die Position eines gegebenen Worttokens in einer Sequenz mit einem eindeutigen Vektorwert dar. Durch positionsbezogene Kodierungen (oder positionsbezogene Einbettungen) kann das Modell semantische Informationen über Wörter durch ihre positionsbezogenen Beziehungen zu anderen Wörtern erfassen.

Das Transformer-Modell verwendet dann diese Einbettungen und Positionseinbettungen, um Wahrscheinlichkeitsverteilungen über die Eingabe für jedes der maskierten Token zu generieren. Die Wörter mit der höchsten vorhergesagten Wahrscheinlichkeit für jedes maskierte Token sind die jeweiligen Vorhersagen des Modells für den wahren Wert jedes Tokens.³

Die Modellierung maskierter Sprachen ist ein charakteristisches Merkmal des Bert-Transformer-Modell-Pretrainings – tatsächlich wurden beide gemeinsam in die maschinelle Lerngemeinschaft eingeführt. Vor BERT waren Sprachmodelle unidirektional. Das heißt, sie haben Sprachdarstellungen gelernt, indem sie nur den Text berücksichtigt haben, der einem bestimmten Wort vorausgeht. Der Ansatz von BERT zur Modellierung maskierter Sprache berücksichtigt jedoch sowohl den vorangehenden als auch den nachfolgenden Text.⁴ Der Hauptunterschied zwischen unidirektionalen und bidirektionalen Ansätzen hängt davon ab, wie die Selbstaufmerksamkeitsschicht des Transformators die Ausgaben dekodiert.

Bei der Vorhersage des nächsten Wortes in einer Sequenz – oder in unserem Fall des fehlenden Wortes – berücksichtigt ein unidirektionales Modell nur jene Wörter, die dem fehlenden Wert vorausgehen. Transformator-Decoder, die auf diese Weise arbeiten, werden auch als kausal oder rückwärtsblickend bezeichnet. Bei der Verarbeitung einer Eingabesequenz berücksichtigt der Decoder nur diese Eingaben bis einschließlich des betreffenden Eingabetokens; Der Decoder hat keinen Zugriff auf Token-Eingänge, die nach dem in Betracht gezogenen sind. Im Gegensatz dazu erzeugt ein bidirektionaler Encoder, wie im BERT-Modell übernommen, Vorhersagen mit allen Eingaben, die sowohl dem maskierten Wert vorausgehen als auch folgen.⁵

Zur Veranschaulichung greifen wir auf das bereits erwähnte Zitat von Othello zurück: „Aber ich denke, es ist die Schuld ihrer Ehemänner, wenn Frauen fallen.“ Stellen Sie sich vor, wir hätten aus irgendeinem Grund diesen ganzen Text, nur ohne das Wort „Frauen“: „Aber ich denke, es ist die Schuld ihrer Ehemänner, wenn ________ fallen.“ Wir wollen herausfinden, was diese Lücke füllt. Diese Abbildung veranschaulicht den Unterschied in der Art und Weise, wie beide Decoder unseren Beispielsatz verarbeiten würden:

In dieser Abbildung bezeichnet y die vorhergesagte Ausgabe für das maskierte Token. Der unidirektionale Transformer verwendet nur die Eingabewerte vor dem maskierten Token, um dessen Wert vorherzusagen. Der bidirektionale Transformer verwendet jedoch Einbettungen aus allen Eingaben – sowohl denen, die der Maske vorausgehen, als auch denen, die ihr folgen –, um den Wert des maskierten Tokens vorherzusagen.

Entwickler und Forscher verwenden maskierte Sprachmodelle, um viele NLP-Aufgaben zu steuern, wie zum Beispiel Named Entity Recognition, Fragebeantwortung und Textklassifikation. Wie bei vielen NLP-Bereichen konzentrierte sich die Forschung zur maskierten Sprachmodellierung oft auf lateinische Sprachen und vor allem auf Englisch. In jüngerer Zeit entwickeln und bewerten veröffentlichte Experimente Datensätze nicht-lateinischer Sprachen wie Japanisch und Russisch für maskierte Sprachmodelle und nachgelagerte Aufgaben.⁶ Zusätzlich schlägt eine Forschungsgruppe eine schwach überwachte Methode zum Vortrainieren mehrsprachiger maskierter Sprachmodelle vor. Konkret führen sie ein spezielles maskiertes Token ein, um einen sprachübergreifenden Vorwärtsdurchlauf beim Vortraining auf mehrsprachigen Datensätzen durchzuführen. Ihre Methode zeigt eine deutliche Verbesserung bei der sprachübergreifenden Klassifizierung mit mehrsprachigen maskierten Sprachmodellen.⁷

Wie bereits erwähnt, verwenden Forscher die maskierte Sprachmodellierung häufig als Mittel zur Verbesserung der Modellleistung bei nachgelagerten NLP-Aufgaben. Zu diesen Aufgaben gehören:

Named Entity Recognition. Diese Aufgabe verwendet Modelle und Neural Networks, um vordefinierte Objektkategorien in Texten zu identifizieren – wie zum Beispiel Personennamen, Städtenamen usw. Wie bei vielen Zielen des maschinellen Lernens hat sich der Mangel an geeigneten Daten auch bei der Erkennung benannter Entitäten als Hindernis erwiesen. Um dieses Problem zu begegnen, haben Forscher die Modellierung maskierter Sprache als Form der Datenerweiterung für die Erkennung benannter Entitäten mit bemerkenswertem Erfolg untersucht.⁸

Stimmungsanalyse. Die Stimmungsanalyse analysiert und klassifiziert Daten als positiv, negativ oder neutral. Sie wird häufig zur Klassifizierung großer Sammlungen von Online-Kundenrezensionen verwendet. Ähnlich wie bei der Erkennung benannter Entitäten haben Forscher maskierte Sprachmodelle als Datenerweiterungsmethode für die Sentimentanalyse untersucht.⁹ Darüber hinaus zeigt die Modellierung maskierter Sprache vielversprechende Ansätze für die Domänenanpassung in der Stimmungsanalyse. Forschung zeigt insbesondere, dass es dabei hilft, sich bei Aufgaben der Stimmungsanalyse auf die Vorhersage von Wörtern mit hoher Gewichtung zu konzentrieren.¹⁰