Was sind Worteinbettungen?

Die Entwicklung von Einbettungen zur Darstellung von Text hat eine entscheidende Rolle bei der Weiterentwicklung von Anwendungen in den Bereichen Verarbeitung natürlicher Sprache (NLP) und maschinelles Lernen (ML) gespielt. Worteinbettungen sind zu einem festen Bestandteil von Aufgaben wie Textklassifizierung, Stimmungsanalyse, maschineller Übersetzung und mehr geworden.

Herkömmliche Methoden zur Darstellung von Wörtern auf eine für Maschinen verständliche Weise, wie die One-Hot-Codierung, stellen jedes Wort als spärlichen Vektor mit einer Dimension dar, die der Größe des Vokabulars entspricht. Hier ist nur ein Element des Vektors „heiß“ (auf 1 gesetzt), um das Vorhandensein dieses Wortes anzuzeigen. Dieser Ansatz ist zwar einfach, leidet aber unter dem Fluch der Dimensionalität, lässt semantische Informationen vermissen und erfasst keine Beziehungen zwischen Wörtern.

Worteinbettungen hingegen sind dichte Vektoren mit kontinuierlichen Werten, die mithilfe von maschinellen Lerntechniken geschult werden, häufig basierend auf neuronalen Netzwerken. Die Idee ist, Repräsentationen zu lernen, die die semantische Bedeutung und die Beziehungen zwischen Wörtern kodieren. Worteinbettungen werden trainiert, indem ein Modell einer großen Menge von Textdaten ausgesetzt wird und die Vektordarstellungen basierend auf dem Kontext angepasst werden, in dem Wörter vorkommen.

Eine beliebte Methode zum Trainieren von Worteinbettungen ist Word2Vec, das ein neuronales Netzwerk verwendet, um die umgebenden Wörter eines Zielworts in einem bestimmten Kontext vorherzusagen. Ein weiterer weit verbreiteter Ansatz ist GloVe (Global Vectors for Word Representation), der zur Erstellung von Einbettungen auf globale Statistiken zurückgreift.

Worteinbettungen haben sich für NLP-Aufgaben als unschätzbar wertvoll erwiesen, da sie es Algorithmen des maschinellen Lernens ermöglichen, die semantischen Beziehungen zwischen Wörtern auf nuanciertere Weise zu verstehen und zu verarbeiten als traditionelle Methoden.

Worteinbettungen werden in einer Vielzahl von NLP-Aufgaben verwendet, um die Darstellung von Wörtern zu verbessern und semantische Beziehungen zu erfassen, darunter:

In den 2000er Jahren begannen Forscher mit der Erforschung von neuronalen Sprachmodellen (NLMs), die neuronale Netzwerke zur Modellierung der Beziehungen zwischen Wörtern in einem kontinuierlichen Raum verwenden. Diese frühen Modelle legten den Grundstein für die spätere Entwicklung von Worteinbettungen.

Bengio et al. (2003) führten vorwärtsgerichtete neuronale Netze zur Sprachmodellierung ein. Diese Modelle waren in der Lage, verteilte Darstellungen von Wörtern zu erfassen, waren jedoch nur begrenzt in der Lage, große Vokabularien zu verarbeiten.

Forscher, darunter Mnih und Hinton (2009), erforschten wahrscheinliche Modelle, um verteilte Darstellungen von Wörtern zu lernen. Diese Modelle waren in der Lage, verteilte Darstellungen von Wörtern zu erfassen, aber sie waren in ihrer Fähigkeit, große Wortschätze zu verarbeiten, begrenzt.

Das Word2Vec-Modell, das von Tomas Mikolov und seinen Kollegen bei Google im Jahr 2013 eingeführt wurde, markierte einen bedeutenden Durchbruch. Word2Vec nutzt zwei Modelle, Continuous Bag of Words (CBOW) und Continuous Skip-gram, die effizient Worteinbettungen aus großen Korpora lernen und sich aufgrund ihrer Einfachheit und Effektivität weit verbreitet haben.

GloVe (Global Vectors for Word Representation), eingeführt von Pennington et al. im Jahr 2014, basiert auf der Idee, globale Statistiken (Wort-Co-Occurrence-Häufigkeiten) zu verwenden, um Vektorrepräsentationen für Wörter zu lernen. Es wurde in verschiedenen NLP-Anwendungen verwendet und ist für seine Fähigkeit bekannt, semantische Beziehungen zu erfassen.

Heute, mit dem Aufkommen von Deep Learning, sind Einbettungsschichten zu einem Standardbestandteil neuronaler Netzwerkarchitekturen für NLP-Aufgaben geworden. Einbettungen werden jetzt nicht nur für Wörter, sondern auch für Entitäten, Sätze und andere linguistische Einheiten verwendet. Zum großen Teil haben Worteinbettungen dazu beigetragen, dass sich Sprachmodelle wie Recurrent Neural Networks (RNNs), Long Short Memory (LSTM)-Netzwerke, Embeddings from Language Models (ELMo), BERT, ALBERT (A Light BERT) und GPT so rasant entwickelt haben. 

Das Hauptziel von Worteinbettungen ist es, Wörter so darzustellen, dass ihre semantischen Beziehungen und Kontextinformationen erfasst werden. Diese Vektoren sind numerische Darstellungen in einem kontinuierlichen Vektorraum, wobei die relativen Positionen der Vektoren die semantischen Ähnlichkeiten und Beziehungen zwischen den Wörtern widerspiegeln.

Der Grund für die Verwendung von Vektoren zur Darstellung von Wörtern ist, dass die meisten Algorithmen für maschinelles Lernen, einschließlich neuronaler Netze, nicht in der Lage sind, einfachen Text in seiner Rohform zu verarbeiten. Sie benötigen Zahlen als Eingaben, um eine Aufgabe auszuführen.

Der Prozess der Erstellung von Worteinbettungen beinhaltet das Trainieren eines Modells anhand eines großen Textkorpus (z. B. Wikipedia oder Google News). Der Textkorpus wird vorverarbeitet, indem der Text in Token zerlegt, Stoppwörter und Interpunktion entfernt und andere Textbereinigungsaufgaben durchgeführt werden.

Ein gleitendes Kontextfenster wird auf den Text angewendet, und für jedes Zielwort werden die umgebenden Wörter innerhalb des Fensters als Kontextwörter betrachtet. Das Worteinbettungsmodell wird so trainiert, dass es ein Zielwort auf der Grundlage seiner Kontextwörter vorhersagt oder umgekehrt.

So können die Modelle verschiedene sprachliche Muster erfassen und jedem Wort einen eindeutigen Vektor zuordnen, der die Position des Wortes in einem kontinuierlichen Vektorraum darstellt. Wörter mit ähnlichen Bedeutungen werden nahe beieinander platziert, und der Abstand und die Richtung zwischen den Vektoren kodieren den Grad der Ähnlichkeit.

Beim Trainingsprozess werden die Parameter des Einbettungsmodells so angepasst, dass der Unterschied zwischen den vorhergesagten und den tatsächlichen Wörtern im Kontext minimiert wird.

Hier ist ein vereinfachtes Beispiel für Worteinbettungen für einen sehr kleinen Korpus (6 Wörter), bei dem jedes Wort als dreidimensionaler Vektor dargestellt wird:

    Katze          [0.2, -0,4, 0,7]
    Hund         [0,6, 0,1, 0,5]
    Apfel      [0,8, -0,2, -0,3]
    orange    [0,7, -0,1, -0,6]
    glücklich     [-0,5, 0,9, 0,2]
    traurig         [0,4, -0,7, -0,5]

In diesem Beispiel ist jedes Wort (z. B. „Katze“, „Hund“, „Apfel“) einem eindeutigen Vektor zugeordnet. Die Werte im Vektor repräsentieren die Position des Wortes in einem kontinuierlichen 3-dimensionalen Vektorraum. Es wird erwartet, dass Wörter mit ähnlichen Bedeutungen oder Kontexten ähnliche Vektordarstellungen haben. Zum Beispiel liegen die Vektoren für „Katze“ und „Hund“ nahe beieinander, was ihre semantische Beziehung widerspiegelt. Ebenso haben die Vektoren für „glücklich“ und „traurig“ entgegengesetzte Richtungen, was auf ihre gegensätzlichen Bedeutungen hinweist.

Das obige Beispiel ist stark vereinfacht und dient der Veranschaulichung. Tatsächliche Worteinbettungen haben in der Regel Hunderte von Dimensionen, um kompliziertere Beziehungen und Nuancen in der Bedeutung zu erfassen.

Worteinbettungen sind zu einem grundlegenden Werkzeug im NLP geworden. Sie bilden die Grundlage für das Verständnis und die Darstellung von Sprache in einer Weise, die mit der zugrunde liegenden Semantik von Wörtern und Sätzen übereinstimmt.

Im Folgenden finden Sie einige der wichtigsten Konzepte und Entwicklungen, die die Verwendung von Worteinbettungen zu einer so leistungsstarken Technik gemacht haben, die NLP voranbringt.

Häufigkeitsbasierte und vorhersagebasierte Einbettungsmethoden stellen zwei große Kategorien von Ansätzen im Zusammenhang mit Worteinbettungen dar. Diese Methoden unterscheiden sich hauptsächlich darin, wie sie Vektordarstellungen für Wörter erzeugen.

Frequenzbasierte Einbettungen beziehen sich auf Wortrepräsentationen, die von der Häufigkeit der Wörter in einem Korpus abgeleitet sind. Diese Einbettungen beruhen auf der Idee, dass die Wichtigkeit oder Bedeutung eines Wortes daraus abgeleitet werden kann, wie häufig es im Text vorkommt.

Ein Beispiel für frequenzbasierte Einbettungen ist Term Frequency-Inverse Document Frequency (TF-IDF). TF-IDF wurde entwickelt, um Wörter hervorzuheben, die sowohl in einem bestimmten Dokument häufig als auch im gesamten Korpus relativ selten vorkommen, und hilft so, Begriffe zu identifizieren, die für ein bestimmtes Dokument von Bedeutung sind.

Der TF-IDF-Score für einen Begriff (ein Wort) in einem Dokument wird nach der folgenden Formel berechnet:

 TF-IDF (t,d,D) = TF(t,d) x IDF(t, D)

Zu den Anwendungen von TF-IDF gehören Information Retrieval, Dokumenten-Ranking, Textzusammenfassung und Text Mining.

Obwohl frequenzbasierte Einbettungen einfach und leicht verständlich sind, fehlt ihnen die Tiefe der semantischen Informationen und des Kontextbewusstseins, die fortschrittlichere vorhersagebasierte Einbettungen bieten.

Vorhersagebasierte Einbettungen sind Wortdarstellungen, die von Modellen abgeleitet werden, die darauf trainiert sind, bestimmte Aspekte des Kontextes eines Wortes oder benachbarter Wörter vorherzusagen. Im Gegensatz zu frequenzbasierten Einbettungen, die sich auf statistische Daten über das Vorkommen von Wörtern konzentrieren, erfassen vorhersagebasierte Einbettungen semantische Beziehungen und Kontextinformationen und liefern so umfassendere Darstellungen von Wortbedeutungen.

Vorhersagebasierte Einbettungen können zwischen Synonymen unterscheiden und Polysemie (mehrere Bedeutungen eines Wortes) besser handhaben. Die Vektorraumeigenschaften von vorhersagebasierten Einbettungen ermöglichen Aufgaben wie die Messung von Wortähnlichkeit und das Lösen von Analogien. Auf Vorhersagen basierende Einbettungen können auch gut auf unbekannte Wörter oder Kontexte verallgemeinert werden, was sie im Umgang mit Begriffen außerhalb des Vokabulars robust macht.

Vorhersagebasierte Methoden, insbesondere solche wie Word2Vec und GloVe (siehe unten), haben sich auf dem Gebiet der Worteinbettungen durchgesetzt, da sie in der Lage sind, eine umfangreiche semantische Bedeutung zu erfassen und sich gut auf verschiedene NLP-Aufgaben übertragen lassen.

Word2Vec (Word to Vector) wurde 2013 von einem Forscherteam bei Google, darunter Tomas Mikolov, entwickelt und hat sich zu einer grundlegenden Technik für das Erlernen von Worteinbettungen in der natürlichen Sprachverarbeitung (NLP) und in Modellen für maschinelles Lernen entwickelt.

Word2Vec besteht aus zwei Hauptmodellen zur Erzeugung von Vektordarstellungen: Continuous Bag of Words (CBOW) und Continuous Skip-gram.

Im Zusammenhang mit Word2Vec zielt das Continuous Bag of Words (CBOW)-Modell darauf ab, ein Zielwort auf der Grundlage seiner umgebenden Kontextwörter innerhalb eines bestimmten Fensters vorherzusagen. Es verwendet die Kontextwörter, um das Zielwort vorherzusagen, und die erlernten Einbettungen erfassen die semantischen Beziehungen zwischen den Wörtern.

Das Continuous Skip-gram model hingegen nimmt ein Zielwort als Eingabe und versucht, die umgebenden Kontextwörter vorherzusagen.

Bei einer Folge von Wörtern in einem Satz nimmt das CBOW-Modell eine feste Anzahl von Kontextwörtern (Wörter, die das Zielwort umgeben) als Eingabe. Jedes Kontextwort wird als Einbettung (Vektor) durch eine gemeinsame Einbettungsschicht dargestellt. Diese Einbettungen werden während des Trainingsprozesses gelernt.

Die einzelnen Kontext-Worteinbettungen werden aggregiert, in der Regel durch Summierung oder Mittelwertbildung. Diese aggregierte Darstellung dient als Eingabe für die nächste Schicht.

Die aggregierte Darstellung wird dann zur Vorhersage des Zielworts mit Hilfe einer Softmax-Aktivierungsfunktion verwendet. Das Modell wird so trainiert, dass es die Differenz zwischen der von ihm vorhergesagten Wahrscheinlichkeitsverteilung über das Vokabular und der tatsächlichen Verteilung (One-Hot-codierte Darstellung) für das Zielwort minimiert.

Das CBOW-Modell wird trainiert, indem die Gewichte der Einbettungsschicht auf der Grundlage ihrer Fähigkeit, das Zielwort genau vorherzusagen, angepasst werden.

Das kontinuierliche Skip-Gram-Modell verwendet Trainingsdaten, um die Kontextwörter auf der Grundlage der Einbettung des Zielworts vorherzusagen. Konkret gibt es eine Wahrscheinlichkeitsverteilung über das Vokabular aus, die angibt, wie wahrscheinlich es ist, dass jedes Wort im Kontext des Zielworts vorkommt.

Das Trainingsziel besteht darin, die Wahrscheinlichkeit zu maximieren, dass die tatsächlichen Kontextwörter das Zielwort erhalten. Dabei werden die Gewichte der Einbettungsschicht so angepasst, dass die Differenz zwischen den vorhergesagten Wahrscheinlichkeiten und der tatsächlichen Verteilung der Kontextwörter minimiert wird. Das Modell ermöglicht auch eine flexible Größe des Kontextfensters. Es kann je nach den spezifischen Anforderungen der Aufgabe angepasst werden, sodass Benutzer sowohl lokale als auch globale Kontextbeziehungen erfassen können.

Das Skip-Gram-Modell „überspringt“ im Wesentlichen das Zielwort, um seinen Kontext vorherzusagen. Dadurch ist es besonders effektiv bei der Erfassung von semantischen Beziehungen und Ähnlichkeiten zwischen Wörtern.

Beide von Word2Vec verwendeten Modelle haben ihre eigenen Vorteile und Einschränkungen. Das Skip-Gram funktioniert gut bei der Verarbeitung großer Mengen von Textdaten und kann seltene Wörter gut darstellen. CBOW hingegen ist schneller und hat bessere Darstellungen für häufigere Wörter.

Was die Einschränkungen betrifft, so kann Word2Vec möglicherweise nicht effektiv mit Polysemie umgehen, also damit, dass ein einzelnes Wort mehrere Bedeutungen hat. Das Modell kann die Repräsentationen der verschiedenen Bedeutungen eines polysemen Wortes mitteln oder mischen. Word2Vec behandelt Wörter ebenfalls als atomare Einheiten und erfasst keine Unterwortinformationen.

Die Behebung einiger dieser Einschränkungen war die Motivation für die Entwicklung fortschrittlicherer Modelle wie FastText, GloVe und transformatorbasierter Modelle (siehe unten), die darauf abzielen, einige der Unzulänglichkeiten von Word2Vec zu überwinden.

GloVe (Global Vectors for Word Representation) ist ein Worteinbettungsmodell, das entwickelt wurde, um globale statistische Informationen über Wort-Co-Occurrence-Muster in einem Korpus zu erfassen.

Das von Jeffrey Pennington, Richard Socher und Christopher D. Manning im Jahr 2014 vorgestellte GloVe-Modell unterscheidet sich von Word2Vec dadurch, dass es den Schwerpunkt auf die Nutzung globaler Informationen legt, anstatt sich ausschließlich auf den lokalen Kontext zu konzentrieren.

GloVe basiert auf der Idee, dass die globalen Statistiken des gemeinsamen Auftretens von Wörtern im gesamten Korpus entscheidend für die Erfassung der Wortsemantik sind. Dabei wird berücksichtigt, wie häufig Wörter im gesamten Datensatz zusammen vorkommen und nicht nur im lokalen Kontext der einzelnen Wörter.

Das Modell zielt darauf ab, die Differenz zwischen den vorhergesagten Koinzidenzwahrscheinlichkeiten und den tatsächlichen Wahrscheinlichkeiten, die sich aus den Korpusstatistiken ergeben, zu minimieren.

GloVe ist im Vergleich zu einigen anderen Methoden rechnerisch effizient, da es sich auf globale Statistiken stützt und Techniken der Matrixfaktorisierung verwendet, um die Wortvektoren zu lernen. Das Modell kann auf großen Korpora trainiert werden, ohne dass umfangreiche Rechenressourcen benötigt werden.

GloVe führt skalare Gewichte für Wortpaare ein, um den Einfluss der verschiedenen Wortpaare auf den Trainingsprozess zu kontrollieren. Diese Gewichte tragen dazu bei, die Auswirkungen von sehr häufigen oder seltenen Wortpaaren auf die gelernten Einbettungen abzuschwächen.

Im Gegensatz zu den Word2Vec-Modellen (CBOW und Skip-gram), die sich auf die Vorhersage von Kontextwörtern anhand eines Zielworts oder umgekehrt konzentrieren, verwendet GloVe einen anderen Ansatz, der die Optimierung von Wortvektoren auf der Grundlage ihrer Koinzidenzwahrscheinlichkeiten beinhaltet. Der Trainingsprozess ist darauf ausgelegt, Einbettungen zu lernen, die die semantischen Beziehungen zwischen Wörtern effektiv erfassen.

Der erste Schritt ist die Erstellung einer Co-Occurrence-Matrix, die darstellt, wie oft Wörter zusammen im Korpus vorkommen.

Als nächstes wird eine Zielfunktion formuliert, die die Beziehung zwischen den Wortvektoren und ihren Koinzidenzwahrscheinlichkeiten beschreibt.

Die Zielfunktion wird mithilfe von Gradientenabstieg oder anderen Optimierungsalgorithmen optimiert. Das Ziel ist es, die Wortvektoren und Verzerrungen so anzupassen, dass die quadratische Differenz zwischen der vorhergesagten und der tatsächlichen logarithmischen Wahrscheinlichkeit des gemeinsamen Auftretens minimiert wird.

Benutzer können vortrainierte GloVe-Einbettungen herunterladen und sie für bestimmte Anwendungen feinabstimmen oder direkt verwenden.

GloVe-Einbettungen werden häufig für NLP-Aufgaben wie Textklassifizierung, Stimmungsanalyse, maschinelle Übersetzung und mehr verwendet.

GloVe eignet sich hervorragend für Szenarien, in denen die Erfassung globaler semantischer Beziehungen, das Verständnis des Gesamtzusammenhangs von Wörtern und die Nutzung von Co-Occurrence-Statistiken entscheidend für den Erfolg von Aufgaben der natürlichen Sprachverarbeitung sind.

Der Erfolg von Word2Vec und GloVe hat weitere Forschungen zu anspruchsvolleren Sprachdarstellungsmodellen wie FastText, BERT und GPT angeregt. Diese Modelle nutzen die Einbettung von Teilwörtern, Aufmerksamkeitsmechanismen und Transformatoren, um effektiv mit höherdimensionalen Einbettungen umzugehen.

Unterworteinbettungen wie FastText stellen Wörter als Kombinationen von Unterworteinheiten dar und bieten so mehr Flexibilität bei der Handhabung von seltenen oder nicht im Wortschatz enthaltenen Wörtern. Unterworteinbettungen verbessern die Robustheit und Abdeckung von Worteinbettungen.

Anders als GloVe bettet FastText Wörter ein, indem es jedes Wort als aus Zeichen-N-Grammen zusammengesetzt behandelt, anstatt als ganzes Wort. Diese Funktion ermöglicht es nicht nur, seltene Wörter zu lernen, sondern auch Wörter, die nicht im Wortschatz enthalten sind.

Aufmerksamkeitsmechanismen und Transformationsmodelle berücksichtigen kontextuelle Informationen und bidirektionale Beziehungen zwischen Wörtern, was zu fortgeschritteneren Sprachrepräsentationen führt.

Aufmerksamkeitsmechanismen wurden eingeführt, um die Fähigkeit neuronaler Netze zu verbessern, sich bei der Erstellung von Vorhersagen auf bestimmte Teile der Eingabesequenz zu konzentrieren. Anstatt alle Teile des Inputs gleich zu behandeln, erlauben Aufmerksamkeitsmechanismen dem Modell, selektiv auf relevante Teile des Inputs zu achten.

Transformatoren sind unter anderem zum Rückgrat verschiedener hochmoderner Modelle in NLP geworden, darunter BERT, GPT und T5 (Text-to-Text Transfer Transformer). Sie eignen sich hervorragend für Aufgaben wie Sprachmodellierung, maschinelle Übersetzung, Texterstellung und Beantwortung von Fragen.

Transformer verwenden einen Selbstbeobachtungsmechanismus, um Beziehungen zwischen verschiedenen Wörtern in einer Sequenz zu erfassen. Dieser Mechanismus ermöglicht es jedem Wort, alle anderen Wörter in der Sequenz zu berücksichtigen, wodurch weitreichende Abhängigkeiten erfasst werden.

Transformer ermöglichen im Vergleich zu RNNs eine stärkere Parallelisierung beim Training und sind rechnerisch effizient.