Was ist Themenmodellierung?

Themenmodelle identifizieren speziell gängige Schlüsselwörter oder Ausdrücke in einem Datensatz und gruppieren diese Wörter unter einer Reihe von Themen. Sie zielen darauf ab, die latenten Themen oder Themen aufzudecken, die eine Reihe von Dokumenten kennzeichnen. Auf diese Weise sind Themenmodelle eine auf maschinellem Lernen basierende Form der Textanalyse, die zur thematischen Annotation großer Textkorpora verwendet wird.²

Benutzer können mit dem Natural Language Toolkit (NLTK) von scikit-learn und gensim in Python problemlos Themenmodelle erstellen.

Als unüberwachte Lernmethode erfordern Themenmodelle keine benutzergenerierten Labels von Trainingsdaten, wie dies bei überwachten Textklassifizierungsaufgaben der Fall ist. Vielmehr generieren und annotieren Themenmodelle große Dokumentensammlungen mit thematischen Informationen in Form von Wortgruppen, die als Themen bezeichnet werden.³ Aber wie erzeugen Themenmodelle diese Wortgruppen?

Bei der Themenmodellierung wird jedes einzelne Dokument in einer Textsammlung grundsätzlich als Bag-of-Words-Modell behandelt. Das bedeutet, dass der Algorithmus zur Themenmodellierung die Wortreihenfolge und den Wortzusammenhang ignoriert und sich einfach darauf konzentriert, wie oft Wörter in jedem einzelnen Dokument vorkommen und wie oft sie gemeinsam vorkommen.⁴

Die meisten Ansätze zur Themenmodellierung beginnen mit der Erstellung einer Dokument-Begriff-Matrix. Diese Matrix modelliert den Textdatensatz mit Dokumenten als Zeilen und einzelnen Wörtern als Spalten oder umgekehrt. Die Werte in der Matrix geben die Häufigkeit an, mit der ein bestimmtes Wort in jedem Dokument vorkommt. Diese Matrix kann dann verwendet werden, um einen Vektorraum zu erzeugen, in dem n Wörter n Dimensionen entsprechen. Der Wert einer bestimmten Zeile gibt die Position des Dokuments im Vektorraum an. Dokumente, die Wörter in ähnlichen Gruppen und mit vergleichbarer Häufigkeit verwenden, liegen daher im Vektorraum näher beieinander. Von hier aus behandeln Themenmodelle die Nähe im Vektorraum als Dokumente, die ähnliche konzeptionelle Inhalte oder Themen teilen.⁵

Themenmodelle sind jedoch nicht gleichbedeutend mit einem „Bag of Words“. Während Letzteres lediglich die Anwesenheit von Wörtern in einer Sammlung von Dokumenten zählt, gruppieren Themenmodelle häufig gemeinsam auftretende Wörter in Themengruppen. Jedes Thema wird als Wahrscheinlichkeitsverteilung über ein Vokabular von Wörtern modelliert. Jedes Dokument in der Sammlung wird dann in Bezug auf diese Themen dargestellt.⁶ Auf diese Weise versuchen Themenmodelle im Wesentlichen, die Diskurse (d. h. Themen), die die betreffenden Dokumente hervorgebracht haben, zurückzuentwickeln.⁷

Algorithmen zur Themenmodellierung sind weniger alternative Methoden für eine Aufgabe als vielmehr aufeinanderfolgende Entwicklungen, die Probleme lösen sollen, die ursprünglich in Bag-of-Words-Modellen auftraten. Term Frequency-Inverse Document Frequency (TF-IDF) ist eine Modifikation von Bag of Words, die darauf abzielt, die Probleme zu lösen, die sich aus häufigen, aber semantisch irrelevanten Wörtern ergeben, indem die Prävalenz jedes Wortes in jedem Dokument in einem Textsatz berücksichtigt wird. Die latente semantische Analyse baut auf der TF-IDF-Methode auf und dient in erster Linie dazu, Polysemie und Synonymie zu behandeln. Dies führte zur probabilistischen latenten semantischen Analyse, aus der sich später die latente Dirichlet-Allokation entwickelte. Kennzeichnend für letztere ist, dass alle Dokumente einer Sammlung dieselben Themen behandeln, wenn auch in unterschiedlichen Anteilen.⁸

Die latente semantische Analyse (LSA) (auch als latente semantische Indexierung bezeichnet) verwendet eine Technik, die als Singularwertzerlegung bekannt ist, um die Lückenhaftigkeit in der Dokument-Begriff-Matrix zu reduzieren. Dies verringert Probleme, die durch Polysemie und Synonymie entstehen – also durch einzelne Wörter mit mehreren Bedeutungen oder mehrere Wörter mit einer einzigen gemeinsamen Bedeutung.

Datenarmut (Data Sparsity) bedeutet im Wesentlichen, dass die Mehrheit der Datenwerte in einem bestimmten Datensatz null (d. h. leer) ist. Dies geschieht regelmäßig bei der Erstellung von Dokument-Term-Matrizen, bei denen jedes einzelne Wort eine eigene Zeile und Vektorraumdimension ist, da in den Dokumenten regelmäßig ein Großteil der Wörter fehlt, die in anderen Dokumenten häufiger vorkommen. Natürlich können Techniken für die Vorverarbeitung von Textdaten, wie z.B. das Entfernen von Stoppwörtern oder Stemming und Lemmatization, zur Reduzierung der Matrixgröße beitragen. LSA bietet einen gezielteren Ansatz zur Reduzierung von Sparsity und Dimensionalität.

LSA beginnt mit der Dokument-Term-Matrix, die anzeigt, wie oft jedes Wort in jedem Dokument vorkommt. Auf dieser Grundlage erstellt LSA eine Dokument-Dokument-Matrix und eine Term-Term-Matrix. Wenn die Dimensionen der Dokument-Term-Matrix als d Dokumente mal w Wörter definiert sind, dann ist die Dokument-Dokument-Matrix d mal d und die Term-Term-Matrix w mal w. Jeder Wert in der Dokument-Dokument-Matrix gibt die Anzahl der Wörter an, die jedes Dokument gemeinsam hat. Jeder Wert in der Term-Term-Matrix gibt die Anzahl der Dokumente an, in denen zwei Begriffe gemeinsam vorkommen.⁹

Unter Verwendung dieser beiden zusätzlichen Matrizen führt der LSA-Algorithmus eine Einzelwertzerlegung der ursprünglichen Dokument-Term-Matrix durch und erzeugt so neue spezielle Matrizen von Eigenvektoren. Diese speziellen Matrizen zerlegen die ursprünglichen Dokument-Term-Beziehungen in linear unabhängige Faktoren. Da viele dieser Faktoren nahe Null liegen, werden sie als Null behandelt und aus den Matrizen gestrichen. Dadurch werden die Dimensionen des Modells reduziert.¹⁰

Sobald die Modelldimensionen durch die Singulärwertzerlegung reduziert wurden, vergleicht der LSA-Algorithmus die Dokumente im niedrigeren dimensionalen Raum anhand der Kosinusähnlichkeit. Unter Kosinus-Ähnlichkeit versteht man die Messung des Winkels zwischen zwei Vektoren im Vektorraum. Es kann sich um einen beliebigen Wert zwischen -1 und 1 handeln. Je höher der Kosinus-Wert, desto ähnlicher sind sich zwei Dokumente. Die Kosinusähnlichkeit wird durch diese Formel dargestellt, wobei x und y zwei Elementvektoren im Vektorraum bezeichnen:⁷

Die latente Dirichlet-Allokation (LDA) – nicht zu verwechseln mit der linearen Diskriminanzanalyse – ist ein probabilistischer Algorithmus zur Themenmodellierung. Das bedeutet, dass sie Themen generiert und Wörter und Dokumente nach Wahrscheinlichkeitsverteilungen diesen Themen zuordnet. Anhand der Dokument-Begriff-Matrix generiert der LDA-Algorithmus Themenverteilungen (d. h. Listen von Schlüsselwörtern mit jeweiligen Wahrscheinlichkeiten) nach Worthäufigkeit und gemeinsamen Vorkommen. Diese Annahme besagt, dass Wörter, die zusammen vorkommen, wahrscheinlich zu ähnlichen Themen gehören. Der Algorithmus weist Dokument-Themen-Verteilungen auf der Grundlage der Wortcluster zu, die in dem jeweiligen Dokument vorkommen.¹²

Nehmen wir zum Beispiel an, wir erstellen ein LDA-Modell für eine Sammlung von Nachrichtenartikeln, das den folgenden Teiloutput hat:

Hier haben wir zwei Themen, die wahrscheinlich als Einwanderung (Thema 1) und Astronomie (Thema 2) beschrieben werden können. Die Punktzahlen für jedes Wort sind die Wahrscheinlichkeit, dass dieses Schlagwort in dem jeweiligen Thema vorkommt. Die Wahrscheinlichkeiten, die jedem Dokument zugeordnet sind, sind die jeweiligen Wahrscheinlichkeiten des Dokuments, zu einer Mischung von Themen zu gehören, wenn man die Verteilung und das gemeinsame Auftreten von Wörtern aus jedem Thema in diesem Dokument berücksichtigt. In der ersten Zeile der Tabelle wird beispielsweise die „Grenze“ unter Thema 1 mit einer Wahrscheinlichkeit von 40 % und „Weltraum“ in Thema 2 mit einer Wahrscheinlichkeit von 60 % aufgeführt. Diese Prozentsätze geben die Wahrscheinlichkeit an, mit der die jeweiligen Begriffe in diesem Thema im gesamten Korpus vorkommen. Die erste Dokumentzeile lautet Dokument 1: Thema 1: .95, Thema 2: .05. Das bedeutet, dass das Modell auf der Grundlage des Vorkommens von Wörtern in Dokument 1 davon ausgeht, dass Dokument 1 zu 95 % aus Thema 1 und zu 5 % aus Thema 2 stammt. Mit anderen Worten: Unser hypothetisches LDA-Modell geht davon aus, dass dies die Themen und Anteile dieser Themen sind, die zur Erstellung des Modells verwendet werden.

Natürlich bereiten insbesondere mehrdeutige Wörter Probleme bei solchen diskreten Kategorisierungen – zum Beispiel kann sich das englische Wort alien auf einen Menschen mit Migrationshintergrund, aber auch auf ein außerirdisches Wesen beziehen. Wenn unser Algorithmus in einem Dokument auf „alien“ trifft, wie bestimmt er dann, zu welchem Thema das Wort (und im weiteren Sinne auch das Dokument) gehört?

Bei der Zuordnung von Themen zu Wörtern verwendet der LDA-Algorithmus das sogenannte Gibbs-Sampling. Die Formel für das Gibbs-Sampling lautet:

Um die genauen Operationen und Hyperparameter dieser Gleichung zu verstehen, sind Grundkenntnisse in Statistik und Markow-Chain-Monte-Carlo-Verfahren (kurz MCMC-Verfahren) erforderlich (letztere werden häufig beim bestärkenden Lernen eingesetzt). Dennoch können wir die Hauptkomponenten der Gleichung zusammenfassen:

• Das erste Verhältnis drückt die Wahrscheinlichkeit aus, dass Thema t in Dokument d vorkommt. Der Algorithmus berechnet diese Wahrscheinlichkeit anhand der Anzahl der Wörter im Dokument d, die zum Thema t gehören. Im Wesentlichen geht es um die Frage: Wie häufig kommt das Thema t im Dokument d vor?
• Die zweite Kennzahl drückt die Wahrscheinlichkeit aus, dass das Wort w zum Thema t gehört. Der Algorithmus berechnet diese Wahrscheinlichkeit, indem er die Vorkommen von w in t über alle Wort-Tokens in t aufzählt. Dabei stellt sich die Frage: Mit welcher Häufigkeit kommt das Wort w im gesamten Korpus im Thema t vor?

Es sollte beachtet werden, dass das Gibbs-Sampling ein iterativer Prozess ist. Das heißt, ein Wort wird nicht einmal gesampelt, einem Thema zugeordnet und dann verworfen. Vielmehr durchläuft das Gibbs-Sampling für jedes Wort mehrere Iterationen, bei denen die Wahrscheinlichkeiten für ein Thema und ein Wort im Lichte der jeweils anderen aktualisiert werden.¹³

Es gibt viele Anwendungsfälle für Themenmodelle, von der Literaturkritik¹⁴ über die Bioinformatik¹⁵ bis hin zur Erkennung von Hassreden in sozialen Medien.¹⁶ Wie bei vielen NLP-Aufgaben befasst sich ein erheblicher Teil der Themenmodellierungsforschung von jeher mit Englisch und anderen lateinischen Schriftsprachen. In jüngerer Zeit wurden jedoch auch Themenmodellierungsansätze für Arabisch und andere nicht-lateinische Sprachen erforscht.¹⁷

Die laufende Forschung befasst sich auch mit Bewertungsmetriken für Themenmodelle. In der Tat gibt es keine einheitliche Metrik zur Bewertung von Themenmodellen. In der Vergangenheit wurden für die Bewertung sowohl qualitative als auch quantitative Ansätze verwendet. Ersteres erfordert umfangreiches fachspezifisches Wissen, um Schlüsselbegriffe im Themenmodus auf ihre Interpretierbarkeit zu prüfen.¹⁸ Quantitative Maßnahmen bestehen aus Log-Likelihood- und Kohärenz-Bewertungen, die darauf abzielen, die Wahrscheinlichkeit und den Zusammenhalt von Themen innerhalb eines Modells zu messen.¹⁹ Eine Vielzahl von Forschungsergebnissen argumentiert jedoch, dass solche quantitativen Metriken unzuverlässig sein könnten.²⁰

Um Fragen im Zusammenhang mit der Evaluierung von Themenmodellen zu lösen, untersucht eine Studie Anwendungen der künstlichen Intelligenz, insbesondere große Sprachmodelle (LLMs), als Mittel zur Gestaltung und Evaluierung von LDA-Modellen für bestimmte Forschungsziele. LLMs, so die Studie, können dazu beitragen, seit langem bestehende Probleme bei der Themenmodellierung zu lösen, nämlich wie die angemessene Anzahl von Themen bestimmt und bewertet werden kann.²¹ Auch andere Studien wenden sich LLM-Anwendungen zu, um die Evaluationslücke in der Themenmodellierung zu schließen.²²