Was sind Stemming und Lemmatization?

Stemming und Lemmatization sind Textvorverarbeitungstechniken in der Verarbeitung natürlicher Sprache (NLP). Konkret reduzieren sie die flektierten Formen von Wörtern in einem Textdatensatz auf ein gemeinsames Wortstammwort oder eine Wörterbuchform, die in der Computerlinguistik auch als „Lemma“ bezeichnet wird.¹

Stemming und Lemmatization sind besonders hilfreich in Informationsabrufsystemen wie Suchmaschinen, in denen Benutzer eine Abfrage mit einem Wort stellen können (z. B. meditieren), aber Ergebnisse erwarten, die eine beliebige flektierte Form des Wortes verwenden (z. B. meditiert, Meditation usw.). Stemming und Lemmatization dienen der weiteren Verbesserung der Textverarbeitung in Algorithmen für maschinelles Lernen.

Forscher diskutieren darüber, ob künstliche Intelligenz argumentieren kann, und diese Debatte hat sich auf die Computerlinguistik ausgeweitet. Können Chatbots und Deep Learning-Modelle nur sprachliche Formen verarbeiten oder können sie Semantik verstehen?² Was auch immer man zu diesem Thema glaubt, es bleibt nichtsdestotrotz dabei, dass Modelle des Machine Learnings so trainiert werden müssen, dass sie verschiedene Wörter als morphologische Varianten eines Basiswortes erkennen. Ja sogar Wörter nach ihrer Gestalt verarbeiten, nicht nach ihrer Semantik. Durch die Reduzierung abgeleiteter Wortformen auf ein Stammwort helfen Stemming und Lemmatisierung dabei, dass Informationsabrufsysteme und Deep-Learning-Modelle morphologisch verwandte Wörter gleichsetzen.

Bei vielen Text-Mining-Aufgaben, einschließlich Textklassifizierung, Clustering, Indexierung und mehr, tragen Stemming und Lemmatisierung zur Verbesserung der Genauigkeit bei, indem sie die Dimensionalität von Algorithmen für maschinelles Lernen verringern und morphologisch verwandte Wörter gruppieren. Die Verringerung der Algorithmusdimensionalität kann wiederum die Genauigkeit und Präzision statistischer Modelle im NLP verbessern, wie z. B. Themenmodelle und Wortvektormodelle.³

Stemming und Lemmatization fungieren als eine Stufe in Text-Mining-Pipelines, die rohe Textdaten in ein strukturiertes Format für die maschinelle Verarbeitung umwandeln. Sowohl Stemming als auch Lemmatization entfernen Affixe von flektierten Wortformen, so dass nur eine Wurzelform übrig bleibt.⁴ Diese Prozesse laufen darauf hinaus, Zeichen am Anfang und Ende von Worttoken zu entfernen. Die resultierenden Wurzeln oder Basiswörter werden dann zur weiteren Verarbeitung weitergegeben. Abgesehen von dieser grundlegenden Ähnlichkeit unterscheiden sich Stemming und Lemmatization wesentlich darin, wie sie verschiedene Formen eines Wortes auf eine gemeinsame Grundform reduzieren.

Die Stemming-Algorithmen unterscheiden sich stark, obwohl sie einige allgemeine Betriebsmodi haben. Beim Stemming werde Wortsuffixe eliminiert, indem Eingabeworttoken für eine vordefinierte Liste gängiger Suffixe ausgeführt werden. Der Stemmer entfernt dann alle gefundenen Suffix-Zeichenfolgen aus dem Wort, sofern das Wort nicht gegen die mit diesem Suffix verbundenen Regeln oder Bedingungen verstößt. Einige Stemmer (z. B. Lovins-Stemmer) lassen die resultierenden Stemmerstücke durch einen zusätzlichen Satz von Regeln laufen, um missgebildete Wurzeln zu korrigieren.

Der am weitesten verbreitete Algorithmus ist der Porter-Stemming-Algorithmus und seine aktualisierte Version, der Snowball-Stemmer. Um das Stemming besser zu verstehen, können wir die folgende Passage aus Shakespeares Hamlet durch den Snowball Stemmer laufen lassen: „Denn an sich ist nichts weder gut noch schlimm; das Denken macht es erst dazu.“

Das Python Natural Language Toolkit (NLTK) enthält integrierte Funktionen für die Snowball- und Porter-Stemmer. Nach der Tokenisierung des Hamlet-Zitats mit NLTK können wir den tokenisierten Text mit diesem Code durch den Snowball-Stemmer leiten:

from nltk.stem.snowball import SnowballStemmer
from nltk.tokenize import word_tokenize

stemmer = SnowballStemmer("english", True)
text = „Es gibt nichts Gutes oder Schlechtes, aber das Denken macht es dazu“
words = word_tokenize(text)
stemmed_words = [stemmer.stem(word) for word in words]

print("Original:", text)
print("Tokenized:", words)
print("Stemmed:", stemmed_words)

Die Code-Ausgaben:

Original: Denn an sich ist nichts weder gut noch schlimm; das Denken macht es erst dazu.
Tokenisiert: ['Es gibt', "ist", "nichts", "entweder", "gut", "oder", "schlecht", "aber", "denken", "machen", "es", "also" , '.'] Stemmed: ['dort', 'ist', 'noth', 'entweder', 'gut', 'oder', 'schlecht', 'aber', 'denken', 'machen', 'es ', 'so', '.']

Die Snowball- und Porter-Stemmeralgorithmen verfügen über eine mathematischere Methode zum Eliminieren von Suffixen als andere Stemmer. Es genügt zu sagen, dass der Stemmer jedes Worttoken gegen eine Liste von Regeln ausführt, die Suffixzeichenfolgen angeben, die entsprechend der Anzahl der Vokal- und Konsonantengruppen in einem Token entfernt werden sollen.⁵ Da die englische Sprache zwar allgemeinen, aber nicht absoluten lexikalischen Regeln folgt, liefert das systematische Kriterium des Stemming-Algorithmus natürlich Fehler, wie z. B. noth.

Der Stemmer entfernt -ing, eine gemeinsame Endung, die das Präsens progressiv bezeichnet. Im Hamlet-Zitat führt das Entfernen von -ing jedoch fälschlicherweise zu dem gestemmten noth. Dies kann verhindern, dass die nachfolgende linguistische Analyse nichts mit ähnlichen Substantiven wie irgendetwas und etwas in Verbindung bringt. Außerdem lässt der Stemmer das unregelmäßige Verb is unverändert. Das Snowball-Stemmer lässt in ähnlicher Weise andere Konjugationen von sein, wie was und are, ohne Stemming. Dies kann Modelle daran hindern, unregelmäßige Konjugationen eines bestimmten Verbs richtig zuzuordnen.

In der Literatur wird Stemming im Allgemeinen als der Prozess des Entfernens von Affixen aus Wörtern definiert, um Wortketten mit Stamm zu erhalten, und Lemmatization als das größere Unterfangen der Reduzierung morphologischer Varianten auf eine Wörterbuchbasisform.⁶ Der praktische Unterschied zwischen Stemming und Lemmatization besteht darin, dass Lemmatization sicherstellt, dass das Ausgabewort eine vorhandene normalisierte Form des Wortes (z. B. Lemma) ist, die im Wörterbuch zu finden ist, während das Stemming lediglich allgemeine Suffixe am Ende von Worttoken entfernt.⁷

Da die Lemmatization darauf abzielt, die Grundformen des Wörterbuchs auszugeben, erfordert sie eine robustere morphologische Analyse als das Stemming. Das Part-of-Speech-Tagging (POS) ist ein entscheidender Schritt bei der Lemmatisierung. POS weist im Wesentlichen jedes Wort-Tag zu, das seine syntaktische Funktion im Satz bezeichnet. Das Python NLTK liefert eine Funktion für den Word-Net-Lemmatisierungsalgorithmus, mit dem wir die Hamlet Passage lemmatisieren können:

from nltk.stem import WordNetLemmatizer
from nltk.corpus import wordnet
from nltk import word_tokenize, pos_tag
 
def get_wordnet_pos(tag):
    if tag.startswith('J'):
        return wordnet.ADJ
    elif tag.startswith('V'):
        return wordnet.VERB
    elif tag.startswith('N'):
        return wordnet.NOUN
    elif tag.startswith('R'):
        return wordnet.ADV
    else:         
        return wordnet.NOUN
       
def lemmatize_passage(text):
    words = word_tokenize(text)
    pos_tags = pos_tag(words)
    lemmatizer = WordNetLemmatizer()
    lemmatized_words = [lemmatizer.lemmatize(word, get_wordnet_pos(tag)) for Word, tag in pos_tags] lemmatized_sentence = ' '.join(lemmatized_words) Return lemmatized_sentence text = "Es gibt nichts Gutes oder Schlechtes, aber das Denken macht es dazu."
result = lemmatize_passage(text) Print("Original:", text) Print("Tokenized:", Word_tokenize(Text)) Print("Lemmatized:", Ergebnis)

Der Code gibt Folgendes zurück:

Original: Denn an sich ist nichts weder gut noch schlimm; das Denken macht es erst dazu.
Tokenisiert: ['Es', 'ist', 'nichts', 'entweder', 'gut', 'oder', 'schlecht', 'aber', 'denken', 'macht', 'es', 'so', '.']
Lemmatisiert: Es gibt nichts, was weder gut noch schlecht ist, aber das Denken macht es so.

Der WordNetLemmatizer reduziert, ähnlich wie der Snowball-Stemmer, Verbkonjugationen auf Basisformen – zum Beispiel Denken zu denken, Machen zu machen. Im Gegensatz zum Snowball-Stemming-Algorithmus identifiziert der Lemmatizer jedoch nichts als Substantiv und lässt seine Endung -ing unverändert, während sie is weiter in seine Grundform be ändert. Auf diese Weise fügt der Lemmatizer unregelmäßige Verbformen besser zusammen.

Stemming und Lemmatization unterstützen in erster Linie die Normalisierung englischsprachiger Textdaten. Beide Textnormalisierungstechniken unterstützen auch mehrere andere romanische Schriftsprachen wie Französisch, Deutsch und Spanisch. Andere Schriften, wie etwa Russisch, werden zusätzlich durch den Snowball-Stemmer unterstützt. Die Entwicklung von Stemming und Lemmatization Algorithmen für andere Sprachen, insbesondere Arabisch, ist ein aktuelles und laufendes Forschungsgebiet. Das Arabische ist unter anderem aufgrund seiner agglutinierenden Morphologie, seiner orthographischen Variationen und seiner lexikalischen Mehrdeutigkeit eine besondere Herausforderung.⁸ Insgesamt stellen solche Elemente eine systematische Methode zur Identifizierung von Basiswortformen unter morphologischen Varianten problematisch dar, zumindest im Vergleich zu englischen Wörtern.

Über diese generelle Begrenzung hinaus haben Stemming und Lemmatisierung ihre jeweiligen Nachteile. Wie das Hamlet-Beispiel zeigt, ist das Stemming ein relativ heuristischer, regelbasierter Prozess der Entfernung von Zeichenketten. Über- und Unterbelegung sind zwei häufig auftretende Fehler. Ersteres liegt vor, wenn zwei semantisch unterschiedliche Wörter auf dieselbe Wurzel reduziert werden (z. B. news auf new). Under-Stemmming liegt vor, wenn zwei Wörter, die semantisch miteinander verwandt sind, nicht auf dieselbe Wurzel reduziert werden (z. B. knavish und knave zu knavish bzw. knave ).⁹ Darüber hinaus entfernt das Stemming nur Suffixe aus Wörtern und kann daher unregelmäßige Verbformen oder Präfixe nicht berücksichtigen, wie dies bei der Lemmatisierung der Fall ist. Natürlich ist das Stemming relativ einfach und unkompliziert zu implementieren, während die Lemmatisierung je nach Größe der verarbeiteten Daten rechen- und zeitaufwändiger sein kann.