Was ist latente semantische Analyse?

LSA ist eine von zwei Hauptthemenmodellierungstechniken, die andere ist die latente Dirichlet-Allokation (LDA). Die Themenmodellierung ist eine Technik zur Verarbeitung natürlicher Sprache (NLP), die unüberwachtes Lernen auf große Text-Datensätze anwendet, um eine Zusammenfassung von Begriffen aus diesen Dokumenten zu erstellen. Diese Begriffe sollen den gesamten primären Themensatz der Sammlung darstellen. Dabei zielen Themenmodelle darauf ab, die latenten Themen oder Themen zu ermitteln, die eine Reihe von Dokumenten charakterisieren.¹

Benutzer können LSA-Themenmodelle mit dem Natural Language Toolkit (NLTK) von scikit-learn (allgemein als Sklearn bezeichnet) und Gensim in Python generieren. Die Pakete topicmodels und lda in R enthalten ebenfalls Funktionen zur Erstellung von LDA-Themenmodellen.

Die latente semantische Analyse ist mit der latenten semantischen Indexierung (LSI) verbunden, einer Technik zum Abrufen von Informationen. In Informationsabfragesystemen verwendet LSI das gleiche mathematische Verfahren wie LSA, um Benutzeranfragen auf der Grundlage des gemeinsamen Auftretens von Wörtern Dokumenten zuzuordnen. Wenn ein Benutzer ein System nach Walzer und Foxtrot abfragt, könnte er an Dokumenten interessiert sein, die keine dieser Begriffe enthalten, aber Begriffe enthalten, die oft zusammen mit ihren Abfragebegriffen vorkommen. So können beispielsweise Tango und Bolero häufig zusammen mit den Abfragebegriffen vorkommen und sollten auf Dokumente zum gleichen Thema hinweisen. LSI indiziert Dokumente nach latenten semantischen Wortgruppen, die aus häufig gleichzeitig vorkommenden Wörtern bestehen. Auf diese Weise können die Suchmaschinenergebnisse verbessert werden. LSA wendet das gleiche mathematische Verfahren wie LSI an, um die verborgene semantische Struktur zu erfassen, die großen Dokumentensammlungen zugrunde liegt.²

LSA beginnt mit der Dokument-Begriff-Matrix oder manchmal auch einer Begriff-Dokument-Matrix. Dadurch wird angezeigt, wie oft jedes Wort in allen Dokumenten vorkommt. In Python (um nur ein Beispiel zu nennen) können Benutzer diese Matrizen mithilfe eines Pandas-Datenrahmens erstellen. Hier sehen Sie ein Beispiel für eine Dokument-Term-Matrix, in der die drei Textzeichenfolgen als einzelne Dokumente verwendet werden:

d1: Meine Liebe ist wie rote, rote Rosen

d2: Rosen sind rot, Veilchen sind blau

d3: Moses vermutet, dass seine Zehen Rosen sind

Diese Matrix zeigt die Worthäufigkeit jedes Wortes in allen drei Dokumenten nach der Tokenisierung und der Stoppwortentfernung. Jede Spalte entspricht einem Dokument, während jede Zeile einem bestimmten Wort entspricht, das im gesamten Textkorpus zu finden ist. Die Werte in der Matrix geben an, wie oft ein bestimmter Begriff in einem bestimmten Dokument vorkommt. Wenn der Term w n-mal in Dokument d vorkommt, dann ist [w,d] = n. In Dokument 1 wird z. B. „rot“ zweimal verwendet, und so ist [rot, d1] = 2.

Aus der Dokument-Term-Matrix erzeugt LSA eine Dokument-Dokument-Matrix und eine Term-Term-Matrix. Wenn die Dimensionen der Dokument-Term-Matrix definiert sind als d Dokumente mal w Wörter, dann ist die Dokument-Dokument-Matrix d mal d und die Term-Term-Matrix w mal w. Jeder Wert in der Dokument-Dokument-Matrix gibt die Anzahl der Wörter an, die jedes Dokument gemeinsam hat. Jeder Wert in der Term-Term-Matrix gibt die Anzahl der Dokumente an, in denen zwei Begriffe gemeinsam vorkommen.⁹

Eine Datensparsamkeit, die zu einer Überanpassungdes Modells führt, liegt vor, wenn die Mehrheit der Datenwerte in einem bestimmten Datensatz null (d. h. leer) ist. Dies ist regelmäßig der Fall, wenn Dokument-Begriffsmatrizen erstellt werden, bei denen jedes einzelne Wort eine separate Zeilen- und Vektorraumdimension ist, da in einem Dokument regelmäßig die Mehrheit der Wörter fehlt, die in anderen Dokumenten häufiger vorkommen. In der Tat enthält die hier verwendete Beispiel-Dokument-Begriff-Matrix zahlreiche Verwendungsmöglichkeiten für Wörter wie Moses, Veilchen und Blau, die nur in einem Dokument vorkommen. Natürlich können Textvorverarbeitungstechniken wie das Entfernen von Stoppwörtern, Wortstammerkennung und Lemmatisierungdazu beitragen, die Seltenheit zu reduzieren. LSA bietet jedoch einen gezielteren Ansatz.

LSA stellt eine Technik zur Dimensionalitätsreduzierung bereit, die als singuläre Wertzerlegung (Singular Value Decomposition, SVD) bekannt ist, um die Sparsamkeit in der Dokument-Term-Matrix zu reduzieren. SVD unterstützt viele andere Ansätze zur Dimensionsreduktion, wie beispielsweise die Hauptkomponentenanalyse. SVD hilft, Probleme zu lindern, die sich aus Polysemie ergeben, d. h. einzelnen Wörtern, die mehrere Bedeutungen haben, und Synonymie, d. h. verschiedenen Wörtern mit ähnlicher Bedeutung.

Unter Verwendung der Matrizen, die aus den Begriffen der Dokument-Dokument- und Term-Term-Matrizen berechnet wurden, führt der LSA-Algorithmus die PVD für die anfängliche Term-Dokument-Matrix durch. Dadurch entstehen neue spezielle Matrizen von Eigenvektoren, die ursprünglichen Term-Dokument-Beziehungen in linear unabhängige Faktoren aufteilen. Die wichtigste davon ist die diagonale Matrix der Singularwerte, die aus den Quadratwurzeln der Eigenwerte der Dokument-Dokument-Matrix erzeugt wird. In dieser diagonalen Matrix, die oft als Σ dargestellt wird, sind die Werte immer positiv und in absteigender Reihenfolge entlang der Matrixdiagonale angeordnet:

Wie in diesem Beispiel für eine Σ-Matrix gezeigt, liegen viele der niedrigeren Werte nahe Null. Der Entwickler legt einen für seine Situation geeigneten Grenzwert fest und reduziert alle Singulärwerte in Σ unterhalb dieses Schwellenwerts auf Null. Dies bedeutet effektiv, dass alle Zeilen und Spalten, die vollständig mit Nullen belegt sind, entfernt werden. Im Gegenzug entfernen wir Zeilen und Spalten aus unseren anderen ursprünglichen Matrizen, bis sie die gleiche Anzahl von Zeilen und Spalten wie ative haben. Dadurch werden die Dimensionen des Modells reduziert.⁴

Nachdem die Modelldimensionen durch SVD reduziert wurden, vergleicht der LSA-Algorithmus Dokumente in einem niedrigdimensionalen semantischen Raum unter Verwendung der Kosinusähnlichkeit. Der erste Schritt in dieser Vergleichsphase beinhaltet die Abbildung von Dokumenten im Vektorraum. Hier behandelt LSA Texte als ein Bag-of-Words-Modell. Der Algorithmus stellt jeden Text aus dem Korpus oder der Korpora als Dokumentenvektor dar, wobei die einzelnen Wörter aus der reduzierten Matrix die Dimensionen dieses Vektors übernehmen. Die grafische Darstellung ignoriert Wortreihenfolge und Kontext und konzentriert sich stattdessen darauf, wie häufig Wörter vorkommen und wie häufig sie in verschiedenen Dokumenten gemeinsam auftreten.⁵

Bei Standard-Bag-of-words-Modellen können semantisch irrelevante Wörter (z. B. Wörter wie „der “, „einige“ und ähnliche Wörter) die höchste Termfrequenz und damit das größte Gewicht im Modell aufweisen. Die Termfrequenz-Inverse Dokumentfrequenz (TF-IDF) ist eine Methode, um dies zu korrigieren. Sie berücksichtigt die Häufigkeit eines Wortes in allen Dokumenten eines Textkorpus und gewichtet Wörter in jedem Dokument entsprechend ihrer Häufigkeit im gesamten Korpus.⁶

Sobald Dokumente im Vektorraum gezeichnet sind, verwendet der LSA-Algorithmus die Metriken, um sie zu vergleichen. Die Metriken bezeichnen die Messung des Winkels zwischen zwei Vektoren im Vektorraum. Es kann ein beliebiger Wert zwischen -1 und 1 sein. Je höher der Kosinus-Score, desto ähnlicher werden die beiden Dokumente betrachtet. Die Metriken werden durch diese Formel dargestellt, wobei a und b zwei Dokumentvektoren bezeichnen:⁷

Es gibt zahlreiche Anwendungsfälle für Topic Models, von der Literaturkritik⁸ über die Bioinformatik⁹ bis hin zur Erkennung von Hassrede in sozialen Medien.¹⁰ Wie bei vielen NLP-Aufgaben bezieht sich ein erheblicher Teil der Forschung zur Themenmodellierung im Laufe der Jahre auf Englisch und andere lateinische Schriftsprachen. In jüngerer Zeit wurden jedoch auch Themenmodellierungsansätze für Arabisch und andere nicht-lateinische Sprachen erforscht.¹¹ Die Forschung hat sich auch der Frage zugewandt, wie große Sprachmodelle (LLMs) Themenmodelle voranbringen und verbessern könnten. So wird in einer Studie argumentiert, dass LLMs eine automatisierte Methode zur Lösung langjähriger Probleme in der Themenmodellierung bieten, nämlich wie die geeignete Anzahl von Themen bestimmt und die generierten Themen bewertet werden.¹²