Natural Language Processing (NLP) bezieht sich auf den Zweig der Informatik – und insbesondere der künstlichen Intelligenz (KI) – der sich damit befasst, Computern die Fähigkeit zu geben, Text und gesprochene Sprache auf dieselbe Art und Weise zu verstehen wie Menschen.

NLP kombiniert Computerlinguistik — regelbasiertes Modellieren natürliche Sprache — mit statistischem maschinellem Lernen und Deep-Learning-Modellen. Diese Technologien ermöglichen es Computern, menschliche Sprache in Form von Text- oder Sprachdaten zu verarbeiten und deren volle Bedeutung zu „verstehen“, einschließlich der Absichten und Gefühle des Sprechers oder Autors.

NLP steuert Computerprogramme, die Text von einer Sprache in eine andere übersetzen, auf gesprochene Befehle reagieren und große Textmengen schnell zusammenfassen – und das in Echtzeit. Es ist gut möglich, dass Sie bereits mit NLP in Form von sprachgesteuerten GPS-Systemen, digitalen Assistenten, Diktiersoftware für Sprache zu Text, Chatbots für den Kundendienst und anderen Verbraucherfunktionen zu tun hatten. NLP spielt aber auch zunehmend eine Rolle bei Unternehmenslösungen, die zur Rationalisierung von Geschäftsabläufen, zur Steigerung der Mitarbeiterproduktivität und zur Vereinfachung unternehmenskritischer Geschäftsprozesse beitragen.

Die menschliche Sprache ist voller Mehrdeutigkeiten, die es sehr schwer machen, Software zu schreiben, die die beabsichtigte Bedeutung von Text- oder Sprachdaten genau bestimmt. Homonyme, Homophone, Sarkasmus, Redewendungen, Metaphern, Ausnahmen in der Grammatik und im Sprachgebrauch, Variationen in der Satzstruktur – dies sind nur einige der Unregelmäßigkeiten der menschlichen Sprache, für die der Mensch Jahre braucht, um sie zu erlernen, die aber von Anwendungen, die auf natürlicher Sprache basieren, von Anfang an genau erkannt und verstanden werden müssen, wenn diese Anwendungen nützlich sein sollen.

Verschiedene NLP-Tasks zerlegen menschliche Text- und Sprachdaten auf eine Weise, die dem Computer hilft, den Sinn dessen, was er empfängt, zu verstehen. Im Folgenden sind einige dieser Tasks aufgeführt:

• Spracherkennung, auch Speech-to-Text genannt, ist die Task, Sprachdaten zuverlässig in Textdaten umzuwandeln. Spracherkennung ist für jede Anwendung erforderlich, die Sprachbefehle befolgt oder gesprochene Fragen beantwortet. Was die Spracherkennung besonders schwierig macht, ist die Art und Weise, wie Menschen sprechen – schnell, mit unterschiedlicher Betonung und Intonation, in verschiedenen Akzenten und oft mit falscher Grammatik.
• Wortart-Tagging, auch grammatikalisches Tagging genannt, ist der Prozess der Bestimmung der Wortart eines bestimmten Wortes oder Textes auf der Grundlage seiner Verwendung und seines Kontextes. Ein Beispiel im Englischen: Die Wortart identifiziert „make“ als Verb in „I can make a paper plane“ und als Substantiv in „What make of car do you own?“.
• Disambiguierung des Wortsinns ist die Auswahl der Bedeutung eines Worts mit mehreren Bedeutungen durch einen Prozess der semantischen Analyse, der das Wort bestimmt, das im gegebenen Kontext den meisten Sinn ergibt. Die Disambiguierung des Wortsinns hilft zum Beispiel bei der Unterscheidung der Bedeutung des Verbs „make“ in „make the grade“ (einen Abschluss machen) und „make a bet“ (eine Wette eingehen).
• Erkennung benannter Entitäten (Named Entity Recognition, NEM) identifiziert Wörter oder Phrasen als nützliche Entitäten. NEM erkennt „Kentucky“ als Ort oder „Fred“ als männlichen Vornamen.
• Bei der Auflösung von Koreferenzen geht es darum festzustellen, ob und wann sich zwei Wörter auf dieselbe Entität beziehen. Das häufigste Beispiel ist die Bestimmung der Person oder des Objekts, auf das sich ein bestimmtes Pronomen bezieht (z. B. „sie“ = „Maria“), aber es kann auch darum gehen, eine Metapher oder eine Redewendung im Text zu identifizieren (z. B. ein Fall, in dem „Bär“ kein Tier ist, sondern ein großer kräftiger Mann).
• Bei der Stimmungsanalyse wird versucht, subjektive Qualitäten – Einstellungen, Emotionen, Sarkasmus, Verwirrung, Misstrauen – aus dem Text zu extrahieren.
• Die Generierung natürlicher Sprache wird manchmal als das Gegenteil von Spracherkennung oder Speech-to-Text beschrieben; es handelt sich um die Task, bei der strukturierte Informationen in menschliche Sprache übertragen werden.

Im Blogbeitrag „NLP vs. NLU vs. NLG: die Unterschiede zwischen den drei NLP-Konzepten” finden Sie nähere Informationen dazu, wie diese Konzepte zusammenhängen.

Python und das Natural Language Toolkit (NLTK)

Die Programmiersprache Python bietet eine breite Palette von Tools und Bibliotheken, um bestimmte NLP-Tasks auszuführen. Viele davon sind im Natural Language Toolkit (NLTK) zu finden, einer Open-Source-Sammlung von Bibliotheken, Programmen und Schulungsressourcen zur Erstellung von NLP-Programmen.

Das NLTK enthält Bibliotheken für viele der oben aufgeführten NLP-Tasks sowie Bibliotheken für Subtasks wie Satzparsing, Wortsegmentierung, Normalformenreduktion und Lemmatisierung (Methoden zum Trimmen von Wörtern auf ihren Stamm) und Tokenisierung (zum Zerlegen von Phrasen, Sätzen, Absätzen und Passagen in Tokens, die dem Computer helfen, den Text besser zu verstehen). Es enthält außerdem Bibliotheken für die Implementierung von Funktionen wie semantische Schlussfolgerungen, d. h. die Fähigkeit, logische Schlüsse auf der Grundlage von Fakten aus einem Text zu ziehen.

Statistisches NLP, maschinelles Lernen und Deep Learning

Die ersten NLP-Anwendungen waren handcodierte, regelbasierte Systeme, die zwar bestimmte NLP-Tasks ausführten, aber nicht so einfach skaliert werden konnten, um eine scheinbar endlose Zahl von Ausnahmen oder die wachsenden Mengen an Text- und Sprachdaten zu bewältigen.

Hier kommt statistisches NLP ins Spiel, das Computeralgorithmen mit maschinellem Lernen und Deep-Learning-Modellen kombiniert, um Elemente von Text- und Sprachdaten automatisch zu extrahieren, zu klassifizieren und zu kennzeichnen und dann jeder möglichen Bedeutung dieser Elemente eine statistische Wahrscheinlichkeit zuzuordnen. Heutzutage ermöglichen Deep-Learning-Modelle und Lerntechniken auf der Grundlage von Convolutional Neural Networks (CNNs) und Recurrent Neural Networks (RNNs) NLP-Systeme, die bei der Arbeit „lernen“ und immer präzisere Bedeutungen aus sehr umfangreichen Korpora von unstrukturierten und nicht gekennzeichneten Text- und Sprachdaten extrahieren. 

Weitere Informationen zu den Unterschieden zwischen diesen Technologien und ihren Learning-Ansätzen finden Sie unter „KI vs. maschinelles Lernen vs. Deep Learning vs. Neuronale Netze: Was ist der Unterschied?“

Natural Language Processing ist die treibende Kraft hinter der maschinellen Intelligenz in vielen modernen Alltagsanwendungen. Die folgenden Beispiele belegen dies:

• Spamerkennung: Bei der Spamerkennung denkt man vielleicht nicht an eine NLP-Lösung, aber die besten Technologien zur Spamerkennung nutzen die Textklassifizierungsfähigkeiten von NLP, um E-Mails auf Sprachelemente zu scannen, die häufig auf Spam oder Phishing hinweisen. Zu diesen Indikatoren gehören u. a. die übermäßige Verwendung von Finanzbegriffen, typischerweise schlechte Grammatik, Drohungen, unangemessene Dringlichkeit, falsch geschriebene Firmennamen und vieles mehr. Die Spamerkennung ist eines der wenigen NLP-Probleme, die von Experten als „weitgehend gelöst“ angesehen werden (auch wenn Sie vielleicht einwenden, dass dies nicht Ihrer persönlichen Erfahrung mit E-Mails entspricht).
• Maschinelle Übersetzung: Google Translate ist ein Beispiel für eine weit verbreitete NLP-Technologie. Zu einer wirklich nützlichen maschinellen Übersetzung gehört mehr als das Ersetzen von Wörtern einer Sprache durch Wörter einer anderen.  Eine gute Übersetzung muss die Bedeutung und den Ton der Ausgangssprache genau erfassen und in einen Text mit derselben Bedeutung und der gewünschten Wirkung in der Zielsprache übertragen. Maschinelle Übersetzungsprogramme machen deutliche Fortschritte in Bezug auf die Genauigkeit. Eine gute Möglichkeit, ein maschinelles Übersetzungsprogramm zu testen, ist die Übersetzung eines Textes in eine andere Zielsprache und dann zurück in die Ausgangssprache. Ein häufig scherzhaft zitiertes Beispiel für das Sprachpaar Englisch-Russisch: Bei der damaligen Übersetzung von „The spirit is willing but the flesh is weak” aus dem Englischen ins Russische und wieder zurück ergab sich folgender Wortlaut: „The vodka is good but the meat is rotten”. Heute lautet das Ergebnis „The spirit desires, but the flesh is weak”. Das ist zwar noch immer nicht perfekt, lässt aber auf eine wesentlich verbesserte Übersetzung aus dem Englischen ins Russische schließen.
• Virtuelle Agenten und Chatbots: Virtuelle Agenten wie Apples Siri und Amazons Alexa nutzen die Spracherkennung, um Muster in Sprachbefehlen zu erkennen, und die Generierung natürlicher Sprache, um mit geeigneten Maßnahmen oder hilfreichen Kommentaren zu reagieren. Chatbots ermöglichen ähnlich gute Ergebnisse als Reaktion auf getippte Texteingaben. Die besten von ihnen lernen auch, kontextbezogene Hinweise in menschlichen Anfragen zu erkennen, und nutzen diese, um im Laufe der Zeit noch passendere Antworten oder Optionen anzubieten. Die nächste Verbesserung für diese Anwendungen ist die Beantwortung von Fragen, d. h. die Fähigkeit, auf unsere Fragen – ob erwartet oder nicht – mit relevanten und hilfreichen Antworten in ihren eigenen Worten zu antworten.
• Social-Media-Stimmungsanalyse: NLP ist zu einem unverzichtbaren Geschäftsinstrument geworden, um verborgene Daten aus Social-Media-Kanälen zu erschließen. Mit der Stimmungsanalyse kann die in Beiträgen, Antworten, Bewertungen usw. in sozialen Medien verwendete Sprache analysiert werden, um Einstellungen und Emotionen als Reaktion auf Produkte, Werbeaktionen und Ereignisse zu ermitteln – Informationen, die Unternehmen für Produktdesigns, Werbekampagnen usw. nutzen können.
• Textzusammenfassung: Hierbei werden NLP-Techniken eingesetzt, um große Mengen digitaler Texte zu verarbeiten und Zusammenfassungen und Synopsen für Indizes, Forschungsdatenbanken oder vielbeschäftigte Leser zu erstellen, die keine Zeit haben, den gesamten Text zu lesen. Die besten Anwendungen zur Textzusammenfassung nutzen semantische Schlussfolgerungen und die Generierung natürlicher Sprache (NLG), um den Zusammenfassungen nützlichen Kontext und Schlussfolgerungen hinzuzufügen.