Was ist Named Entity Recognition?

Diese Kategorien können unter anderem Namen von Personen, Unternehmen, Standorte, Zeitausdrücke, Mengen, medizinische Codes, Geldwerte und Prozentsätze enthalten. Im Wesentlichen ist NER der Prozess, bei dem eine Textfolge (d. h. ein Satz, ein Absatz oder ein gesamtes Dokument) genommen und die Entitäten identifiziert und klassifiziert werden, die sich auf die Kategorien beziehen.

Als der Begriff „NER“ auf der sechsten Konferenz zur Förderung der Entwicklung von Methoden der Informationsextraktion (MUC-6) geprägt wurde, bestand das Ziel darin, die Aufgaben der Informationsextraktion zu optimieren, bei denen es um die Verarbeitung großer Mengen unstrukturierten Textes und die Identifizierung wichtiger Informationen ging. Seitdem hat sich NER vergrößert und weiterentwickelt, wobei ein Großteil seiner Entwicklung dem Fortschritt in den Bereichen maschinelles Lernen und Deep-Learning-Techniken zu verdanken ist.

Laut einer Umfrage aus dem Jahr 2019 verlassen sich etwa 64 % der Unternehmen auf strukturierte Daten aus internen Ressourcen, aber weniger als 18 % nutzen unstrukturierte Daten und Kommentare aus sozialen Medien, um Geschäftsentscheidungen zu treffen¹.

Die Unternehmen, die NER für die Extraktion unstrukturierter Daten verwenden, verlassen sich auf eine Reihe von Ansätzen, aber die meisten lassen sich in drei große Kategorien einteilen: regelbasierte Ansätze, maschinelles Lernen und hybride Ansätze.

• Bei regelbasierten Ansätzen wird eine Reihe von Regeln für die Grammatik einer Sprache erstellt. Die Regeln werden dann verwendet, um Entitäten im Text anhand ihrer strukturellen und grammatikalischen Merkmale zu identifizieren. Diese Methoden können zeitaufwändig sein und lassen sich möglicherweise nicht gut auf unbekannte Daten verallgemeinern.

• Ansätze des maschinellen Lernens beinhalten das Trainineren eines KI-gesteuerten maschinellen Lernmodells anhand eines gekennzeichneten Datensatzes unter Verwendung von Algorithmen wie bedingten Zufallsfeldern und maximaler Entropie (zwei Arten komplexer statistischer Sprachmodelle). Die Techniken können von traditionellen maschinellen Lernmethoden (z. B. Entscheidungsbäumen und Support-Vektor-Maschinen) bis hin zu komplexeren Deep Learning-Ansätzen wie rekurrenten neuronalen Netzen (RNNs) und Transformern reichen. Diese Methoden lassen eine bessere Verallgemeinerung auf unbekannte Daten zu, erfordern jedoch eine große Menge an gekennzeichneten Trainingsdaten und können rechenintensiv sein.

• Hybride Ansätze kombinieren regelbasierte und maschinelle Lernmethoden, um die Stärken beider zu nutzen. Sie können ein regelbasiertes System verwenden, um leicht erkennbare Entitäten schnell zu identifizieren, und ein maschinelles Lernsystem, um komplexere Entitäten zu identifizieren.

Seit der Einführung von NER hat es einige bedeutende methodische Fortschritte gegeben, insbesondere solche, die auf Deep Learning-basierten Techniken beruhen. Zu den neueren Iterationen gehören:

• Rekurrente neuronale Netze (RNNs) und langes Kurzzeitgedächtnis (Long Short-Term Memory – LSTM). RNNs sind eine Art neuronales Netz, das für Probleme bei der Sequenzvorhersage entwickelt wurde. LSTMs, eine spezielle Art von RNN, können lernen, im Laufe der Zeit Muster zu erkennen und sich Informationen über lange Sequenzen hinweg „merken“, was sie besonders nützlich für das Verständnis von Kontexten und die Identifizierung von Entitäten macht.

• Bedingte Zufallsfelder (Conditional Random Fields – CRFs). CRFs werden häufig in Kombination mit LSTMs für NER-Aufgaben verwendet. Sie können die bedingte Wahrscheinlichkeit einer ganzen Folge von Kennzeichnungen modellieren und nicht nur einzelner Kennzeichnungen, was sie für Aufgaben nützlich macht, bei denen die Kennzeichnung eines Wortes von den Kennzeichnungen der umgebenden Wörter abhängt.

• Transformer und BERT. Transformer-Netzwerke, insbesondere das BERT-Modell (Bidirectional Encoder Representations from Transformers), haben einen erheblichen Einfluss auf NER. Mithilfe eines Selbstbeobachtungsmechanismus, der die Bedeutung verschiedener Wörter abwägt, berücksichtigt BERT den gesamten Kontext eines Wortes, indem es die Wörter davor und danach betrachtet.

Der erste Schritt von NER besteht darin, einen Datensatz mit annotiertem Text zu aggregieren. Der Datensatz muss Textbeispiele enthalten, in denen genannte Entitäten gekennzeichnet oder markiert sind, wodurch ihre Typen angegeben werden. Die Anmerkungen können manuell oder mit automatisierten Methoden erfolgen.

Sobald der Datensatz erfasst wurde, muss der Text bereinigt und formatiert werden. Möglicherweise müssen Sie unnötige Zeichen entfernen, den Text normalisieren und/oder den Text in Sätze oder Tokens aufteilen.

In dieser Phase werden relevante Merkmale aus dem vorverarbeiteten Text extrahiert. Zu diesen Funktionen gehören unter anderem Part-of-Speech-Tagging (POS-Tagging), Worteinbettungen und kontextuelle Informationen. Die Auswahl der Funktionen hängt von dem spezifischen NER-Modell ab, das ein Unternehmen verwendet.

Der nächste Schritt besteht darin, ein Modell für maschinelles Lernen oder Deep Learning unter Verwendung des annotierten Datensatzes und der extrahierten Merkmale zu trainieren. Das Modell lernt, Muster und Beziehungen zwischen Wörtern im Text sowie den entsprechenden benannten Entitätskennzeichnungen zu identifizieren.

Nachdem Sie das NER-Modell trainiert haben, muss es bewertet werden, um seine Leistung zu beurteilen. Sie können Metriken wie Präzision, Recall und F1-Score messen, die angeben, wie gut das Modell benannte Entitäten korrekt identifiziert und klassifiziert.

Basierend auf den Auswertungsergebnissen verfeinern Sie das Modell, um seine Leistung zu verbessern. Dies kann das Anpassen von Hyperparametern, das Modifizieren der Trainingsdaten und/oder die Verwendung fortgeschrittenerer Techniken (z. B. Ensembling oder Domänenanpassung) umfassen.

In diesem Stadium können Sie damit beginnen, das Modell für Schlussfolgerungen auf neuen, unbekannten Text zu verwenden. Das Modell übernimmt den Eingabetext, wendet die Vorverarbeitungsschritte an, extrahiert relevante Merkmale und prognostiziert schließlich die benannten Entitätskennzeichnungen für jedes Token oder jeden Textabschnitt.

Die Ausgabe des NER-Modells muss möglicherweise nachbearbeitet werden, um die Ergebnisse zu verfeinern und/oder kontextbezogene Informationen hinzuzufügen. Es kann sein, dass Sie Aufgaben wie das Verknüpfen von Entitäten ausführen müssen, bei dem die benannten Entitäten zur weiteren Anreicherung mit Wissens- oder anderen Datenbanken verknüpft werden.

Der einfachste Weg, ein System zur Named Entity Recognition zu implementieren, besteht darin, sich auf eine Programmierschnittstelle (Application Programming Interface – API) zu verlassen. NER-APIs sind webbasierte oder lokale Schnittstellen, die Zugriff auf NER-Funktionen bieten. Einige bekannte Beispiele für NER-APIs sind:

NLTK ist eine führende Open Source-Plattform für die Entwicklung von Python-Programmen, die mit Daten in menschlicher Sprache arbeiten. Es bietet einfach zu bedienende Schnittstellen für mehr als 100 trainierte Extraktionsmodelle². Außerdem enthält es Textverarbeitungsbibliotheken zur Klassifizierung, Tokenisierung, zum Stemming, Tagging, Parsing und für semantische Schlussfolgerungen. NLKT hat seinen eigenen Klassifikator namens ne_chunk, um benannte Entitäten zu erkennen, bietet aber auch einen Wrapper, um den Stanford-NER-Tagger in Python zu verwenden.

Das Stanford NER wurde von der Stanford University entwickelt und ist eine Java-Implementierung, die weithin als Standardbibliothek zur Entitätsextraktion gilt. Es stützt sich auf CRF und bietet vortrainierte Modelle für das Extrahieren benannter Entitäten.

SpaCy ist eine in Python geschriebene und für ihre Schnelligkeit und Benutzerfreundlichkeit bekannte Open Source-Softwarebibliothek für fortgeschrittenes NLP. Sie basiert auf den neuesten Forschungsergebnissen und wurde für die Verwendung mit echten Produkten entwickelt. Sie verfügt auch über ein fortschrittliches Statistiksystem, mit dem Benutzer benutzerdefinierte NER-Extraktoren erstellen können.

Mit der Weiterentwicklung der Technologien werden NER-Systeme immer allgegenwärtiger und helfen Unternehmen, die Daten, denen sie täglich begegnen, zu verstehen. Bisher haben sie sich als nützlich für viele Sektoren erwiesen: vom Gesundheitswesen und Finanzwesen bis hin zum Kundenservice und zur Cybersicherheit.

Einige der wirkungsvollsten Anwendungsfälle sind:

Seit ihren Anfängen hat NER einen weiten Weg zurückgelegt, innovative Technologien integriert und seine Nützlichkeit im Laufe der Zeit stark erweitert. Bei der Bewertung von NER-Technologien sind jedoch einige bemerkenswerte Herausforderungen zu berücksichtigen.

Während NER bei Sprachen wie Englisch große Fortschritte gemacht hat, sind die Ergebnisse bei vielen anderen Sprachen nicht so genau. Dies ist häufig auf einen Mangel an gekennzeichneten Daten in diesen Sprachen zurückzuführen. Sprachübergreifendes NER, bei dem Wissen von einer Sprache in eine andere übertragen wird, ist ein aktiver Forschungsbereich, der dazu beitragen kann, die NET-Sprachlücke zu schließen.

Manchmal können Entitäten auch in anderen Entitäten verschachtelt sein und die Erkennung dieser verschachtelten Entitäten kann schwierig sein. In dem Satz „Die Pennsylvania State University, University Park wurde 1855 gegründet“, sind sowohl "Pennsylvania State University" als auch "Die Pennsylvania State University, University Park" gültige Entitäten.

Darüber hinaus können allgemeine NER-Modelle zwar gemeinsame Entitäten wie Namen und Standorte identifizieren, haben jedoch Schwierigkeiten mit Entitäten, die für einen bestimmten Bereich spezifisch sind. Im medizinischen Bereich zum Beispiel kann es schwierig sein, komplexe Begriffe wie Krankheits- oder Medikamentennamen zu identifizieren. Bereichsspezifische NER-Modelle können auf speziellen, bereichsspezifischen Daten trainiert werden, doch die Beschaffung dieser Informationen kann sich als schwierig erweisen.

NER-Modelle können auch auf umfassendere Probleme mit Mehrdeutigkeit stoßen (z. B. „Apple“ könnte sich auf eine Frucht oder das Technologieunternehmen beziehen), Variationen von Entitätsnamen (z. B. „USA“, „U.S.A.“, „Vereinigte Staaten“ und „Vereinigte Staaten von Amerika“ beziehen sich alle auf dasselbe Land), und begrenzte Kontextinformationen (wobei Texte und/oder Sätze nicht genügend Kontext enthalten, um Entitäten genau zu identifizieren und zu kategorisieren).

Obwohl NER seine Herausforderungen hat, verbessern die laufenden Fortschritte die Genauigkeit und Anwendbarkeit ständig und tragen somit dazu bei, die Auswirkungen der bestehenden technologischen Lücken zu minimieren.

Obwohl NER bereits etabliert ist, gibt es noch viel zu tun. 

Ein vielversprechender Bereich mit Blick in die Zukunft sind unüberwachte Lerntechniken für NER. Überwachte Lerntechniken haben sich zwar bewährt, erfordern jedoch viele gekennzeichnete Daten, deren Beschaffung schwierig sein kann. Techniken des unüberwachten Lernens erfordern keine gekennzeichneten Daten und können Unternehmen dabei helfen, Herausforderungen in Bezug auf die Datenverfügbarkeit zu meistern.

Eine weitere interessante Richtung ist die Integration von NER mit anderen NLP-Aufgaben. Beispielsweise könnten gemeinsame Modelle für NER- und Entitätsverknüpfungen (was die Verknüpfung von Entitäten mit ihren entsprechenden Einträgen in einer Wissensdatenbank beinhaltet) oder NER- und Korreferenzauflösung (bei der bestimmt wird, wann sich zwei oder mehr Ausdrücke in einem Text auf dieselbe Entität beziehen) Systeme ermöglichen, die Text besser verstehen und verarbeiten.

Few-Shot-Learning und multimodales NER erweitern auch die Fähigkeiten der NER-Technologien. Beim Few-Shot-Learning werden Modelle so trainiert, dass sie Aufgaben mit nur wenigen Beispielen ausführen, was besonders hilfreich sein kann, wenn nur wenige gekennzeichnete Daten zur Verfügung stehen. Multimodale NER hingegen beinhaltet die Integration von Text mit anderen Entitätstypen. Ein Bild oder ein Audio könnte beispielsweise zusätzlichen Kontext liefern, der bei der Erkennung von Entitäten hilft.