Trabalhando com modelos pré-treinados

Watson O Processamento de Linguagem Natural oferece modelos pré-treinados em mais de 20 idiomas. São selecionados por uma equipe especializada e avaliados quanto à qualidade em cada idioma específico. Esses modelos pré-treinados podem ser usados em ambientes de produção sem que você precise se preocupar com violações de licença ou de propriedade intelectual.

Carregando e executando um modelo

Para carregar um modelo, primeiro é necessário saber seu nome. Os nomes de modelo seguem uma convenção padrão que codifica o tipo de modelo (como classificação ou extração de entidade), tipo de algoritmo (como SVM ou transformadores), código de idioma e detalhes do sistema de tipos.

Para localizar o modelo que corresponde às suas necessidades, use o catálogos de tarefas Consulte Watson catálogo de tarefas NLP.

Você pode encontrar a entrada esperada para uma determinada classe de bloco (por exemplo, para o modelo Entity Mentions) utilizando help() o run() método da classe de bloco:

import watson_nlp

help(watson_nlp.blocks.keywords.TextRank.run)

O Watson Natural Language Processing encapsula a funcionalidade de linguagem natural por blocos e fluxos de trabalho. Cada bloco ou fluxo de trabalho suporta funções para:

  • load(): carregar um modelo
  • run(): executar o modelo em argumentos de entrada
  • train(): treinar o modelo em seus próprios dados (nem todos os blocos e fluxos de trabalho suportam treinamento)
  • save(): salve o modelo que foi treinado em seus dados

Blocos e fluxos de trabalho

Os blocos operam diretamente no documento de entrada. Um exemplo de um bloco que opera diretamente no documento de entrada é o bloco Sintaxe, que executa operações de processamento de linguagem natural, como tokenização, lemmatização, identificação de parte do discurso ou análise de dependências.

Exemplo: executando análise de sintaxe em um fragmento de texto:

import watson_nlp

# Load the syntax model for English
syntax_model = watson_nlp.load('syntax_izumo_en_stock')

# Run the syntax model and print the result
syntax_prediction = syntax_model.run('Welcome to IBM!')
print(syntax_prediction)

Os fluxos de trabalho são pipelines de ponta a ponta predefinidos de um documento bruto para um bloco final, em que todos os blocos necessários são encadeados como parte do pipeline do fluxo de trabalho

Para obter um exemplo de como chamar o fluxo de trabalho Menções de entidades, consulte este exemplo:

import watson_nlp

# Load the workflow model
mentions_workflow = watson_nlp.load('entity-mentions_transformer-workflow_multilingual_slate.153m.distilled')

# Run the entity extraction workflow on the input text
mentions_workflow.run('IBM announced new advances in quantum computing', language_code="en")