Mit vorab trainierten Modellen arbeiten

Watson Natural Language Processing stellt vorab trainierte Modelle in über 20 Sprachen zur Verfügung. Sie werden von einem Team engagierter Fachleute kuratiert und in jeder unterstützten Sprache auf Qualität geprüft. Diese vorab trainierten Modelle können in Produktionsumgebungen ohne Bedenken im Hinblick auf Verstöße gegen Lizenzen oder geistiges Eigentum genutzt werden.

Modell laden und ausführen

Um ein Modell zu laden, müssen Sie zunächst seinen Namen kennen. Modellnamen folgen einer Standardkonvention, die den Typ des Modells (z. B. Klassifikation oder Entitätsextraktion), den Typ des Algorithmus (z. B. SVM oder Transformer), den Sprachencode und Details des Typsystems codiert.

Verwenden Sie den Taskkatalog, um das Modell zu finden, das Ihren Anforderungen entspricht. Siehe Watson NLP-Taskkatalog.

Die erwartete Eingabe für eine bestimmte Blockklasse (z. B. für das Modell 'Entitätserwähnungen') können Sie mithilfe von help() in der Methode run() der Blockklasse finden:

import watson_nlp

help(watson_nlp.blocks.keywords.TextRank.run)

Watson Natural Language Processing umfasst Funktionen für natürliche Sprache durch Blöcke und Workflows. Jeder Block oder Workflow unterstützt Funktionen für Folgendes:

  • load(): Modell laden
  • run(): Modell für Eingabeargumente ausführen
  • train(): Trainieren Sie das Modell mit Ihren eigenen Daten (nicht alle Blöcke und Workflows unterstützen das Training)
  • save(): Speichern Sie das Modell, das mit Ihren eigenen Daten trainiert wurde.

Blöcke und Arbeitsabläufe

Blöcke arbeiten direkt auf dem Eingabedokument. Ein Beispiel für einen Block, der direkt am Eingabedokument arbeitet, ist der Syntaxblock, der Verarbeitungsoperationen für natürliche Sprache wie Zerlegung in Tokens, Reduktion auf Grundform, Wortarttagging oder Abhängigkeitsparsing ausführt.

Beispiel: Ausführen der Syntaxanalyse für ein Textsnippet:

import watson_nlp

# Load the syntax model for English
syntax_model = watson_nlp.load('syntax_izumo_en_stock')

# Run the syntax model and print the result
syntax_prediction = syntax_model.run('Welcome to IBM!')
print(syntax_prediction)

Workflows sind vordefinierte End-to-End-Pipelines von einem unformatierten Dokument zu einem endgültigen Block, wobei alle erforderlichen Blöcke als Teil der Workflow-Pipeline verkettet werden.

Ein Beispiel für den Aufruf des Workflow Entity Mentions finden Sie in diesem Beispiel:

import watson_nlp

# Load the workflow model
mentions_workflow = watson_nlp.load('entity-mentions_transformer-workflow_multilingual_slate.153m.distilled')

# Run the entity extraction workflow on the input text
mentions_workflow.run('IBM announced new advances in quantum computing', language_code="en")