Utilizzo di modelli preaddestrati

Watson Natural Language Processing fornisce modelli pre - addestrati in oltre 20 lingue. Sono curati da un team dedicato di esperti e valutati per la qualità su ogni lingua specifica. Questi modelli pre - addestrati possono essere utilizzati in ambienti di produzione senza doversi preoccupare di violazioni della licenza o della proprietà intellettuale.

Caricamento ed esecuzione di un modello

Per caricare un modello, è necessario conoscerne il nome. I nomi dei modelli seguono una convenzione standard che codifica il tipo di modello (come la classificazione o l'estrazione delle entità), il tipo di algoritmo (come SVM o trasformatori), il codice lingua e i dettagli del sistema tipo.

Per individuare il modello che corrisponde alle proprie esigenze, utilizzare il catalogo attività. Vedi Watson NLP task catalog.

Puoi individuare l'input previsto per una determinata classe di blocco (ad esempio, per il modello Citazioni entità) utilizzando help() nel metodo della classe di blocco run() :

import watson_nlp

help(watson_nlp.blocks.keywords.TextRank.run)

Watson Natural Language Processing incorpora la funzionalità del linguaggio naturale tramite blocchi e flussi di lavoro. Ogni blocco o flusso di lavoro supporta funzioni per:

  • load(): caricare un modello
  • run(): eseguire il modello sugli argomenti di input
  • train(): addestra il modello sui tuoi propri dati (non tutti i blocchi e i flussi di lavoro supportano la formazione)
  • save(): salva il modello che è stato preparato sui tuoi dati

Blocchi e flussi di lavoro

I blocchi operano direttamente sul documento di input. Un esempio di un blocco che opera direttamente sul documento di input è il blocco Sintassi, che esegue operazioni di elaborazione del linguaggio naturale come la tokenizzazione, la lemmatizzazione, parte del tagging vocale o l'analisi delle dipendenze.

Esempio: esecuzione dell'analisi della sintassi su un frammento di testo:

import watson_nlp

# Load the syntax model for English
syntax_model = watson_nlp.load('syntax_izumo_en_stock')

# Run the syntax model and print the result
syntax_prediction = syntax_model.run('Welcome to IBM!')
print(syntax_prediction)

I flussi di lavoro sono pipeline end-to-end predefinite da un documento non elaborato a un blocco finale, in cui tutti i blocchi necessari sono concatenati come parte della pipeline del flusso di lavoro.

Per un esempio di come richiamare il flusso di lavoro Entity Mentions, consultare questo esempio:

import watson_nlp

# Load the workflow model
mentions_workflow = watson_nlp.load('entity-mentions_transformer-workflow_multilingual_slate.153m.distilled')

# Run the entity extraction workflow on the input text
mentions_workflow.run('IBM announced new advances in quantum computing', language_code="en")