Die Verarbeitung natürlicher Sprache (NLP) kombiniert Computerlinguistik – regelbasierte Modellierung der menschlichen Sprache – mit statistischen und maschinellen Lernmodellen, um Computern und digitalen Geräten die Möglichkeit zu geben, Text und Sprache zu erkennen, zu verstehen und zu generieren.
Als Teilbereich der künstlichen Intelligenz (KI) ist NLP das Herzstück von Anwendungen und Geräten, die
- Text von einer Sprache in eine andere übersetzen
- auf eingegebene oder gesprochene Befehle antworten
- Benutzer anhand von Spracheingaben erkennen oder authentifizieren
- große Textmengen zusammenfassen
- Absichten oder Stimmungen von Text oder Sprache bewerten
- Text, Grafiken oder andere Inhalte auf Anfrage generieren
können, oft in Echtzeit. Die meisten Menschen haben heute mit NLP in Form von sprachgesteuerten GPS-Systemen, digitalen Assistenten, Speech to Text Diktiersoftware, Chatbots für den Kundenservice und anderen verbraucherfreundlichen Anwendungen interagiert. NLP spielt aber auch eine wachsende Rolle bei Unternehmenslösungen, die dazu beitragen, Geschäftsabläufe zu rationalisieren und zu automatisieren, die Produktivität der Mitarbeiter zu steigern und geschäftskritische Prozesse zu vereinfachen.
Nutzen Sie dieses Framework zur Modellauswahl, um das am besten geeignete Modell auszuwählen und dabei Ihre Leistungsanforderungen mit den Kosten, Risiken und Bereitstellungsanforderungen in Einklang zu bringen.
Registrieren Sie sich für das Whitepaper über KI-Governance
Die menschliche Sprache ist voller Mehrdeutigkeiten, die es unglaublich schwierig machen, Software zu schreiben, die die beabsichtigte Bedeutung von Text- oder Sprachdaten genau bestimmt. Homonyme, Homophone, Sarkasmus, Idiome, Metaphern, Ausnahmen in der Grammatik und im Sprachgebrauch, Variationen in der Satzstruktur – dies sind nur einige der Unregelmäßigkeiten der menschlichen Sprache, für die Menschen Jahre brauchen, um sie zu erlernen. Programmierer müssen Anwendungen für die natürliche Sprachverarbeitung beibringen, diese Unregelmäßigkeiten von Anfang an akkurat zu erkennen und zu interpretieren, wenn diese Anwendungen sinnvoll eingesetzt werden sollen.
Verschiedene NLP-Aufgaben zerlegen menschliche Text- und Sprachdaten auf eine Weise, die es dem Computer ermöglicht, aus dem, was er aufnimmt, einen Sinn zu ziehen. Zu diesen Aufgaben gehören unter anderem:
- Spracherkennung, auch „Speech to Text“ genannt, ist die Aufgabe, Sprachdaten zuverlässig in Textdaten umzuwandeln. Spracherkennung ist für jede Anwendung erforderlich, die Sprachbefehlen folgt oder gesprochene Fragen beantwortet. Was die Spracherkennung besonders schwierig macht, ist die Art und Weise, wie Menschen sprechen – schnell, undeutlich, mit unterschiedlicher Betonung und Intonation, in verschiedenen Akzenten und oft mit falscher Grammatik.
- Wortart-Tagging, auch grammatikalisches Tagging genannt, ist der Prozess, bei dem die Wortart eines bestimmten Wortes oder Textstücks basierend auf seiner Verwendung und seinem Kontext bestimmt wird. Die Wortart identifiziert „make“ (machen) als Verb in „I can make a paper plane“ (Ich kann ein Papierflugzeug machen) und als Substantiv in „What make of car do you own?“ (Welche Automarke besitzen Sie?).
- Wortsinndisambiguierung ist die Auswahl der Bedeutung eines Wortes mit mehreren Bedeutungen durch einen Prozess der semantischen Analyse, der das Wort bestimmt, das in einem bestimmten Kontext den meisten Sinn ergibt. Die Wortsinndisambiguierung hilft zum Beispiel dabei, die Bedeutung des Verbs „make“ in „make the grade“ (achieve) vs. „make a bet“ (place) zu unterscheiden.
- Named Entity Recognition oder NEM identifiziert Wörter oder Phrasen als nützliche Entitäten. NEM identifiziert „Kentucky“ als Ort oder „Fred“ als den Namen eines Mannes.
- Ko-Referenzauflösung ist die Aufgabe, zu ermitteln, ob und wann sich zwei Wörter auf dieselbe Entität beziehen. Das häufigste Beispiel ist die Bestimmung der Person oder des Objekts, auf das sich ein bestimmtes Pronomen bezieht (z. B. „sie“ = „Maria“), aber es kann auch darum gehen, eine Metapher oder eine Redewendung im Text zu identifizieren (z. B. ein Beispiel, in dem „Bär“ kein Tier, sondern eine große haarige Person ist).
- Die Stimmungsanalyse versucht, subjektive Qualitäten –Haltungen, Emotionen, Sarkasmus, Verwirrung, Misstrauen – aus Text zu extrahieren.
- Die Erzeugung natürlicher Sprache wird manchmal als das Gegenteil von Spracherkennung oder „Speech to Text“ beschrieben; es ist die Aufgabe, strukturierte Informationen in die menschliche Sprache zu übersetzen.
Im Blogbeitrag „NLP vs. NLU vs. NLG: die Unterschiede zwischen drei Konzepten der Verarbeitung natürlicher Sprache“ erfahren Sie mehr über den Zusammenhang zwischen diesen Konzepten.
Das völlig neue Enterprise Studio verbindet traditionelles maschinelles Lernen mit neuen, auf Foundation Models basierenden generativen KI-Funktionen.
Python und das Natural Language Toolkit (NLTK)
Die Programmiersprache Python bietet eine breite Palette von Tools und Bibliotheken zur Bewältigung spezifischer NLP-Aufgaben. Viele davon sind im Natural Language Toolkit (NLTK) zu finden, einer Open-Source-Sammlung von Bibliotheken, Programmen und Schulungsressourcen für die Erstellung von NLP-Programmen.
Das NLTK enthält Bibliotheken für viele der oben genannten NLP-Aufgaben sowie Bibliotheken für Teilaufgaben wie Satzparsing, Wortsegmentierung, Stemming und Lemmatisierung (Methoden zum Trimmen von Wörtern auf ihre Wurzeln) und Tokenisierung (zum Zerlegen von Phrasen, Sätzen, Absätzen und Passagen in Token, die dem Computer helfen, den Text besser zu verstehen). Außerdem enthält es Bibliotheken für die Implementierung von Funktionen wie semantisches Schlussfolgern (Semantic Reasoning), d. h. die Fähigkeit, logische Schlussfolgerungen auf der Grundlage von aus dem Text extrahierten Fakten zu ziehen.
Statistisches NLP, maschinelles Lernen und Deep Learning
Die ersten NLP-Anwendungen waren handcodierte, regelbasierte Systeme, die zwar bestimmte NLP-Aufgaben erfüllen konnten, aber nicht ohne weiteres skalierbar waren, um einen scheinbar endlosen Strom von Ausnahmen oder die wachsenden Mengen an Text- und Sprachdaten zu bewältigen.
Hier kommt statistisches NLP ins Spiel, das Computeralgorithmen mit maschinellem Lernen und Deep-Learning-Modellen kombiniert, um Elemente von Text- und Sprachdaten automatisch zu extrahieren, zu klassifizieren und zu kennzeichnen und dann jeder möglichen Bedeutung dieser Elemente eine statistische Wahrscheinlichkeit zuzuordnen. Heutzutage ermöglichen Deep-Learning-Modelle und Lerntechniken, die auf Convolutional Neural Networks (CNNs) und rekurrenten Neuronalen Netzen (RNNs) basieren, NLP-Systeme, die bei der Arbeit „lernen“ und immer präzisere Bedeutungen aus riesigen Mengen an rohen, unstrukturierten und unbeschrifteten Text- und Sprachdatensätzen extrahieren.
Einen tieferen Einblick in die Nuancen zwischen diesen Technologien und ihren Lernansätzen finden Sie unter „KI vs. maschinelles Lernen vs. Deep Learning vs. neuronale Netze: Was ist der Unterschied?“
Die Verarbeitung natürlicher Sprache ist die treibende Kraft hinter der maschinellen Intelligenz in vielen modernen realen Anwendungen. Hier folgen einige Beispiele:
- Spamerkennung: Sie denken bei Spamerkennung vielleicht nicht an eine NLP-Lösung, aber die besten Spamerkennungs-Technologien nutzen die Textklassifizierungsfähigkeiten von NLP, um E-Mails nach sprachlichen Merkmalen zu durchsuchen, die häufig auf Spam oder Phishing hinweisen. Zu diesen Indikatoren gehören die übermäßige Verwendung von Finanzbegriffen, charakteristische schlechte Grammatik, bedrohliche Sprache, unangemessene Dringlichkeit, falsch geschriebene Firmennamen und vieles mehr. Die Spamerkennung ist eines der wenigen NLP-Probleme, die von Experten als „weitgehend gelöst“ angesehen werden (auch wenn Sie vielleicht einwenden, dass dies nicht mit Ihrer E-Mail-Erfahrung übereinstimmt).
- Maschinelle Übersetzung: Google Translate ist ein Beispiel für eine weit verbreitete NLP-Technologie im Einsatz. Eine wirklich nützliche maschinelle Übersetzung beinhaltet mehr als das Ersetzen von Wörtern in einer Sprache durch Wörter einer anderen. Eine effektive Übersetzung muss die Bedeutung und den Ton der Eingabesprache genau erfassen und in einen Text mit der gleichen Bedeutung und der gewünschten Wirkung in der Ausgabesprache übertragen. Tools für die maschinelle Übersetzung machen in Bezug auf die Genauigkeit gute Fortschritte. Eine gute Möglichkeit, ein maschinelles Übersetzungstool zu testen, ist die Übersetzung eines Textes in eine Sprache und dann zurück in das Original. Ein oft zitiertes klassisches Beispiel: Vor nicht allzu langer Zeit ergab die Übersetzung von „The spirit is willing but the flesh is weak“ (Der Geist ist willig, aber das Fleisch ist schwach) vom Englischen ins Russische und zurück „The vodka is good but the meat is rotten“ (Der Wodka ist gut, aber das Fleisch ist faul). Heute lautet das Ergebnis „The spirit desires, but the flesh is weak“ (Der Geist begehrt, aber das Fleisch ist schwach), was zwar nicht perfekt ist, aber wesentlich mehr Vertrauen in die Übersetzung vom Englischen ins Russische weckt.
- Virtuelle Agenten und Chatbots: Virtuelle Agenten wie Siri von Apple und Alexa von Amazon verwenden Spracherkennung, um Muster in Sprachbefehlen zu erkennen und natürliche Sprache zu generieren, um mit entsprechenden Aktionen oder hilfreichen Kommentaren zu antworten. Chatbots vollbringen den gleichen Kraftakt als Antwort auf getippte Texteingaben. Die besten von ihnen lernen auch, kontextbezogene Hinweise auf menschliche Anfragen zu erkennen und nutzen diese, um mit der Zeit noch bessere Antworten oder Optionen anzubieten. Die nächste Verbesserung für diese Anwendungen ist die Beantwortung von Fragen, d. h. die Fähigkeit, auf unsere Fragen – ob erwartet oder nicht – mit relevanten und hilfreichen Antworten in eigenen Worten zu antworten.
- Stimmungsanalyse in den sozialen Medien: NLP ist zu einem wichtigen Business-Tool geworden, um verborgene Erkenntnisse aus Social-Media-Kanälen zu gewinnen. Mit der Stimmungsanalyse können Sie die Sprache analysieren, die in Beiträgen, Antworten, Bewertungen usw. in den sozialen Medien verwendet wird, um Einstellungen und Emotionen als Reaktion auf Produkte, Werbeaktionen und Ereignisse zu extrahieren – diese Informationen können Unternehmen dann für Produktdesigns, Werbekampagnen usw. nutzen.
- Textzusammenfassung: Die Textzusammenfassung nutzt NLP-Techniken, um riesige Mengen digitaler Texte zu verarbeiten und Zusammenfassungen und Synopsen für Indizes, Forschungsdatenbanken oder vielbeschäftigte Leser zu erstellen, die keine Zeit haben, den gesamten Text zu lesen. Die besten Anwendungen zur Textzusammenfassung nutzen semantische Schlussfolgerungen und die Generierung natürlicher Sprache (NLG), um den Zusammenfassungen nützlichen Kontext und Schlussfolgerungen hinzuzufügen.
Steigern Sie den Geschäftswert der künstlichen Intelligenz mit einem leistungsstarken und flexiblen Portfolio aus Bibliotheken, Diensten und Anwendungen.
Nutzen Sie leistungsstarke KI für natürliche Sprache in kommerzielle Anwendungen mit einer Container-Bibliothek, die IBM Partner mit mehr Flexibilität unterstützt.
Lernen Sie die grundlegenden Konzepte für KI und generative KI kennen, einschließlich Prompt Engineering, große Sprachmodelle und die besten Open-Source-Projekte.
Erfahren Sie mehr über verschiedene NLP-Anwendungsfälle in diesem NLP-Erklärvideo.
Besuchen Sie die Website von IBM Developer, um Zugang zu Blogs, Artikeln, Newslettern und mehr zu erhalten. Werden Sie IBM Partner und integrieren Sie die integrierbare KI von IBM Watson noch heute in Ihre kommerziellen Lösungen. Integrieren Sie IBM Watson NLP Library for Embed in Ihre Lösungen.
Erleben Sie, wie Rob Thomas, GM von IBM Data & AI, NLP-Experten und Kunden einlädt, um zu zeigen, wie NLP-Technologien das Geschäft in verschiedenen Branchen optimieren.
Ethische Überlegungen zur KI waren noch nie so kritisch wie heute.
Mit PrimeQA hat IBM ein neues Open-Source-Toolkit auf den Markt gebracht, um den Fortschritt bei mehrsprachigen Frage-Antwort-Systemen voranzutreiben und es für Nutzer zu erleichtern, Informationen im Web schnell zu finden.