Was ist ein Encoder-Decoder-Modell?

Beim Deep Learning ist die Encoder-Decoder-Architektur eine Art neuronales Netz, die am häufigsten mit der Transformer-Architektur in Verbindung gebracht wird und beim sequenziellen Lernen verwendet wird. In der Literatur werden Encoder-Decoder daher als eine Form des Sequenz-zu-Sequenz-Modells (seq2seq-Modell ) bezeichnet. Ein Großteil der Forschung zum maschinellen Lernen konzentriert sich auf Encoder-Decoder-Modelle für Aufgaben zur Verarbeitung natürlicher Sprache (NLP) mit großen Sprachmodellen (LLMs).

Encoder-Decoder-Modelle werden verwendet, um sequenzielle Daten zu verarbeiten, wobei insbesondere Eingabesequenzen auf Ausgabesequenzen unterschiedlicher Länge zugeordnet werden, z. B. bei der neuronalen maschinellen Übersetzung, der Textzusammenfassung, der Bildunterschrift und der Spracherkennung. Bei solchen Aufgaben ist die Zuordnung eines Tokens in der Eingabe zu einem in der Ausgabe oft indirekt. Nehmen wir zum Beispiel die maschinelle Übersetzung: In einigen Sprachen erscheint das Verb am Satzanfang (wie im Englischen), in anderen am Ende (z. B. im Deutsch) und in einigen kann die Position des Verbs variabler sein (z. B. Latein). Ein Encoder-Decoder-Netzwerk erzeugt Ausgabesequenzen variabler Länge, die jedoch kontextuell angemessen sind, um einer gegebenen Eingabesequenz zu entsprechen.¹

Wie aus den jeweiligen Namen hervorgeht, kodiert der Encoder eine bestimmte Eingabe in eine Vektordarstellung, und der Decoder dekodiert diesen Vektor in denselben Datentyp wie den ursprünglichen Eingabedatensatz.

Sowohl der Encoder als auch der Decoder sind separate, vollständig verbundene neuronale Netze. Dabei kann es sich um rekurrente neuronale Netze (RNNs) – inklusive der Varianten Long Short Term Memory (LSTM), Gated Recurrent Units (GRUs) – und Convolutional Neural Networks (CNNs) sowie um Transformer-Modelle handeln. Ein Encoder-Decoder-Modell enthält in der Regel mehrere Encoder und mehrere Decoder.

Jeder Encoder besteht aus zwei Schichten: der Selbstbeobachtungsschicht (oder dem Selbstbeobachtungsmechanismus) und dem Feed-Forward-Neuralnetzwerk. Die erste Schicht hilft dem Encoder dabei, andere verwandte Wörter in einer bestimmten Eingabe zu untersuchen und sich darauf zu konzentrieren, während er ein bestimmtes Wort darin codiert. Das vorwärtsgerichtete neuronale Netz verarbeitet die Codierungen weiter, sodass sie für nachfolgende Encoder- oder Decoderschichten geeignet sind.

Der Decoder-Teil besteht außerdem aus einer Selbstbeobachtungsschicht und einem vorwärtsgerichteten neuronalen Netzwerk sowie einer zusätzlichen dritten Schicht: der Encoder-Decoder-Aufmerksamkeitsschicht. Diese Schicht lenkt die Aufmerksamkeit des Netzwerks auf bestimmte Teile der Ausgabe des Encoders. Die Multi-Head-Attention-Schicht ordnet dadurch Token aus zwei verschiedenen Sequenzen zu.²

In der Literatur werden Encoder-Decoder-Modelle im Allgemeinen als aus drei Komponenten bestehend dargestellt: dem Encoder, dem Kontextvektor und dem Decoder.³

Die Hauptkomponente des Encoders ist der Selbstbeobachtungs-Mechanismus. Der Selbstbeobachtungs-Mechanismus bestimmt die Token-Gewichtung in einer Eingabe, um die Beziehungen zwischen den Token widerzuspiegeln. Im Gegensatz zum herkömmlichen Wort-Einbetten, das die Wortreihenfolge ignoriert, verarbeitet die Selbstbeobachtung die gesamte eingegebene Textsequenz, um das gewichtete durchschnittliche Einbetten jedes Token zu berechnen, wobei der Abstand des Tokens zu allen anderen Token in der Textsequenz berücksichtigt wird. Es berechnet dieses durchschnittliche Einbetten als lineare Kombination aller Einbettungen für die Eingabesequenz gemäß der folgenden Formel:

Hier ist x_j ein vorgegebenes Eingabetoken an der j-ten Position in der Eingabetextzeichenfolge und x_i ist das entsprechende Ausgabetoken an der i-ten Position in der Eingabetextzeichenfolge. Der Koeffizient w_ij ist das Aufmerksamkeitsgewicht, das mit der sogenannten Softmax-Funktion berechnet wird und darstellt, wie wichtig das jeweilige Token im Ausgabetext für die entsprechende Quellsequenz ist. Mit anderen Worten: Dieser Koeffizient signalisiert, wie viel Aufmerksamkeit der Encoder jedem Token im Ausgabetext in Bezug auf die Bedeutung des ursprünglichen Tokens im Quelltext widmen sollte.⁴

Der Encoder übergibt dieses Token an die Feed-Forward-Schicht, die diesem Token eine Positionskodierung (oder Einbetten) hinzufügt. Diese Positionskodierung berücksichtigt die Reihenfolge der Token in einem Text, insbesondere den Abstand zwischen den Token. Zusammen bilden diese Token-Einbettungen und die Positionseinbettung den verborgenen Zustand, der an den Decoder weitergegeben wird.⁵

In der Literatur wird der endgültige verborgene Zustand des Encoders allgemein als Kontextvektor bezeichnet. Es handelt sich dabei um eine komprimierte, numerische Darstellung des ursprünglichen Eingabetextes des Encoders. Mit anderen Worten handelt es sich dabei, um das Einbetten und die Positionskodierung, die der Encoder für jedes Wort in der Eingabe erzeugt.

In der Literatur wird der Kontextvektor häufig mit der folgenden Funktion definiert, wobei der Kontextvektor X als jedes Token (x) an der i-ten Position in der Eingabesequenz definiert ist: ⁶

Ähnlich wie der Encoder besteht der Decoder aus einer Selbstbeobachtungsschicht und einem Feed-Forward-Netzwerk. Dazwischen enthält der Decoder eine Multi-Head-Attention-Maskierungsschicht. Dies markiert den Unterschied zwischen Encoder und Decoder. Während der Encoder gleichzeitig kontextualisierte Token-Einbettungen erzeugt, verwendet die Multi-Head-Attention-Schicht des Decoders autoregressive Maskierung.

Zunächst empfängt der Decoder den Kontextvektor vom Encoder. Der Decoder verwendet diese positionellen Einbettungen, um die Aufmerksamkeitswerte für jedes Token zu berechnen. Diese Aufmerksamkeitsscores bestimmen, inwieweit jedes Token aus der Eingabesequenz spätere Token darin beeinflussen wird. Das heißt: Die Ergebnisse bestimmen, wie viel Gewicht jedes Token in den Bestimmungen anderer Token hat, wenn Ausgabesequenzen erzeugt werden.

Eine wichtige Funktion dabei ist jedoch, dass der Decoder keine zukünftigen Token verwendet, um die vorangegangenen Token in derselben Sequenz zu bestimmen. Die generierte Ausgabe jedes Tokens hängt nur von den vorangegangenen Token ab. Das heißt: Beim Erzeugen der Ausgabe eines Tokens berücksichtigt der Decoder nicht die nächsten Wörter oder Token nach dem aktuellen. Wie es bei vielen Techniken der künstlichen Intelligenz der Fall ist, zielt dies darauf ab, konventionelle Auffassungen darüber nachzuahmen, wie Menschen Informationen verarbeiten, insbesondere Sprache. Dieser Ansatz zur Informationsverarbeitung wird als autoregressiv bezeichnet.⁷

Einer der wichtigsten Vorteile von Encoder-Decoder-Modellen für nachgelagerte NLP-Aufgaben wie Stimmungsanalyse oder maskierte Sprachmodellierung ist die Produktion von kontextualisierten Einbetten. Diese Einbettungen unterscheiden sich von den festen Wort-Einbettungen, die in den Bag of words-Modellen verwendet werden.

Erstens berücksichtigen feste Einbettungen nicht die Wortreihenfolge. Dabei ignorieren sie die Beziehungen zwischen Token in einer Textsequenz. Kontextualisierte Einbettungen berücksichtigen jedoch die Wortreihenfolge über Positionskodierungen. Darüber hinaus versuchen kontextualisierte Einbettungen, die Beziehung zwischen Token durch den Aufmerksamkeitsmechanismus zu erfassen, der bei der Erstellung der Einbettungen den Abstand zwischen Token in einer gegebenen Sequenz berücksichtigt.

Feste Einbettungen generieren ein Einbetten für ein bestimmtes Token und fassen alle Instanzen dieses Tokens zusammen. Encoder-Decoder-Modelle erzeugen kontextualisierte Einbettungen für jede Tokeninstanz eines Tokens. Als Ergebnisse können kontextualisierte Einbettungen polyseme Wörter, d. h. Wörter mit mehreren Bedeutungen, besser handhaben. Fliegen kann zum Beispiel eine Handlung oder ein Insekt bezeichnen. Eine feste Worteinbettung fasst die verschiedenen Bedeutungen dieses Wortes zusammen, indem sie eine einzige Einbettung für das Token oder Wort erstellt. Ein Encoder-Decoder-Modell generiert jedoch individuelle kontextualisierte Einbettungen für jedes Vorkommen des Wortes „Fliegen“ und erfasst so unzählige Bedeutungen durch mehrere unterschiedliche Einbettungen.⁸

Wie zu erwarten war, hat die Encoder-Decoder-Architektur viele Varianten, jede mit ihren eigenen primären Anwendungsfällen in Bereich der Data Science und des maschinelles Lernens.

Nur EncoderDiese Modelle (die auch als Auto-Encoder bezeichnet werden) verwenden nur den Encoder-Stack und verzichten auf Decoder. Solchen Modellen fehlt daher eine autoregressive maskierte Modellierung und sie haben Zugriff auf alle Token im anfänglichen Eingabetext. Daher werden diese Modelle als bidirektional beschrieben, da sie alle umgebenden Token (sowohl vorhergehende als auch nachfolgende) verwenden, um Vorhersagen für einen bestimmten Token zu treffen. Bekannte Encoder-Modelle sind die BERT-Modellfamilie, wie BERT,⁹ RoBERTa,¹⁰ und ELECTRA,¹¹ sowie die IBM Slate-Modelle. Reine Encoder-Modelle werden oft für Aufgaben verwendet, die das Verständnis einer gesamten Eingabe erfordern, wie Textklassifizierung oder Named Entity Recognition.

Nur Decoder.Diese Modelle (auch autoregressive Modelle genannt) verwenden nur den Decoder-Stack und verzichten auf jegliche Encoder. Daher können die Aufmerksamkeitsschichten des Modells bei der Erstellung von Token-Vorhersagen nur auf die Token zugreifen, die vor dem betrachteten Token liegen. Reine Decoder-Modelle werden häufig für Aufgaben der Textgenerierung wie die Beantwortung von Fragen, das Schreiben von Code oder Chatbots wie ChatGPT verwendet. Ein Beispiel für ein reines Decoder-Modell ist die IBM Granite-Reihe der Foundational Models.¹²