Natural Language Processing (NLP) bezieht sich auf den Zweig der Informatik – und insbesondere der künstlichen Intelligenz (KI) – der sich damit befasst, Computern die Fähigkeit zu geben, Text und gesprochene Sprache auf dieselbe Art und Weise zu verstehen wie Menschen.
NLP kombiniert Computerlinguistik — regelbasiertes Modellieren natürliche Sprache — mit statistischem maschinellem Lernen und Deep-Learning-Modellen. Diese Technologien ermöglichen es Computern, menschliche Sprache in Form von Text- oder Sprachdaten zu verarbeiten und deren volle Bedeutung zu „verstehen“, einschließlich der Absichten und Gefühle des Sprechers oder Autors.
NLP steuert Computerprogramme, die Text von einer Sprache in eine andere übersetzen, auf gesprochene Befehle reagieren und große Textmengen schnell zusammenfassen – und das in Echtzeit. Es ist gut möglich, dass Sie bereits mit NLP in Form von sprachgesteuerten GPS-Systemen, digitalen Assistenten, Diktiersoftware für Sprache zu Text, Chatbots für den Kundendienst und anderen Verbraucherfunktionen zu tun hatten. NLP spielt aber auch zunehmend eine Rolle bei Unternehmenslösungen, die zur Rationalisierung von Geschäftsabläufen, zur Steigerung der Mitarbeiterproduktivität und zur Vereinfachung unternehmenskritischer Geschäftsprozesse beitragen.
Die menschliche Sprache ist voller Mehrdeutigkeiten, die es sehr schwer machen, Software zu schreiben, die die beabsichtigte Bedeutung von Text- oder Sprachdaten genau bestimmt. Homonyme, Homophone, Sarkasmus, Redewendungen, Metaphern, Ausnahmen in der Grammatik und im Sprachgebrauch, Variationen in der Satzstruktur – dies sind nur einige der Unregelmäßigkeiten der menschlichen Sprache, für die der Mensch Jahre braucht, um sie zu erlernen, die aber von Anwendungen, die auf natürlicher Sprache basieren, von Anfang an genau erkannt und verstanden werden müssen, wenn diese Anwendungen nützlich sein sollen.
Verschiedene NLP-Tasks zerlegen menschliche Text- und Sprachdaten auf eine Weise, die dem Computer hilft, den Sinn dessen, was er empfängt, zu verstehen. Im Folgenden sind einige dieser Tasks aufgeführt:
Im Blogbeitrag „NLP vs. NLU vs. NLG: die Unterschiede zwischen den drei NLP-Konzepten” finden Sie nähere Informationen dazu, wie diese Konzepte zusammenhängen.
Die Programmiersprache Python bietet eine breite Palette von Tools und Bibliotheken, um bestimmte NLP-Tasks auszuführen. Viele davon sind im Natural Language Toolkit (NLTK) zu finden, einer Open-Source-Sammlung von Bibliotheken, Programmen und Schulungsressourcen zur Erstellung von NLP-Programmen.
Das NLTK enthält Bibliotheken für viele der oben aufgeführten NLP-Tasks sowie Bibliotheken für Subtasks wie Satzparsing, Wortsegmentierung, Normalformenreduktion und Lemmatisierung (Methoden zum Trimmen von Wörtern auf ihren Stamm) und Tokenisierung (zum Zerlegen von Phrasen, Sätzen, Absätzen und Passagen in Tokens, die dem Computer helfen, den Text besser zu verstehen). Es enthält außerdem Bibliotheken für die Implementierung von Funktionen wie semantische Schlussfolgerungen, d. h. die Fähigkeit, logische Schlüsse auf der Grundlage von Fakten aus einem Text zu ziehen.
Die ersten NLP-Anwendungen waren handcodierte, regelbasierte Systeme, die zwar bestimmte NLP-Tasks ausführten, aber nicht so einfach skaliert werden konnten, um eine scheinbar endlose Zahl von Ausnahmen oder die wachsenden Mengen an Text- und Sprachdaten zu bewältigen.
Hier kommt statistisches NLP ins Spiel, das Computeralgorithmen mit maschinellem Lernen und Deep-Learning-Modellen kombiniert, um Elemente von Text- und Sprachdaten automatisch zu extrahieren, zu klassifizieren und zu kennzeichnen und dann jeder möglichen Bedeutung dieser Elemente eine statistische Wahrscheinlichkeit zuzuordnen. Heutzutage ermöglichen Deep-Learning-Modelle und Lerntechniken auf der Grundlage von Convolutional Neural Networks (CNNs) und Recurrent Neural Networks (RNNs) NLP-Systeme, die bei der Arbeit „lernen“ und immer präzisere Bedeutungen aus sehr umfangreichen Korpora von unstrukturierten und nicht gekennzeichneten Text- und Sprachdaten extrahieren.
Weitere Informationen zu den Unterschieden zwischen diesen Technologien und ihren Learning-Ansätzen finden Sie unter „KI vs. maschinelles Lernen vs. Deep Learning vs. Neuronale Netze: Was ist der Unterschied?“
Natural Language Processing ist die treibende Kraft hinter der maschinellen Intelligenz in vielen modernen Alltagsanwendungen. Die folgenden Beispiele belegen dies:
Mithilfe der KI-gestützten Suchtechnologie für Unternehmen finden Sie wichtige Antworten und Erkenntnisse in Ihren Geschäftsdaten.
Der NLP-Service (Natural Language Processing) für erweiterte Textanalyse
Lösen Sie Kundenprobleme auf Anhieb und über jeden Kanal.