Watson Biblioteca de Processamento de Línguas

A biblioteca do Watson Natural Language Processing fornece funções de processamento de linguagem natural para análise de sintaxe e modelos pré-treinados para uma ampla variedade de tarefas de processamento de texto, como análise de sentimento, extração de palavra-chave e classificação. A biblioteca do Watson Natural Language Processing está disponível apenas para Python.

Com o Watson Natural Language Processing, é possível transformar dados não estruturados em dados estruturados, facilitando o entendimento e a transferência dos dados, principalmente se você estiver trabalhando com uma combinação de dados estruturados e não estruturados. Exemplos desses dados são registros de call center, reclamações de clientes, postagens de mídias sociais ou relatórios de problemas. Os dados não estruturados geralmente fazem parte de um registro de dados maior que inclui colunas com dados estruturados.. Extraindo significado e estrutura dos dados não estruturados e combinando essas informações com os dados nas colunas de dados estruturados:

• Fornece um entendimento mais profundo dos dados de entrada
• Pode ajudar você a tomar melhores decisões.

O Watson Natural Language Processing fornece modelos pré-treinados em mais de 20 idiomas. Eles são curados por uma equipe dedicada de especialistas e avaliados para qualidade em cada idioma específico. Esses modelos pré-treinados podem ser usados em ambientes de produção sem que você tenha que se preocupar com infrações de licença ou de propriedade intelectual.

Embora você possa criar seus próprios modelos, a maneira mais fácil de começar com o Watson Natural Language Processing é executar os modelos pré-treinados em texto não estruturado para executar tarefas de processamento de linguagem.

Alguns exemplos de tarefas de processamento de linguagem disponíveis nos modelos pré-treinados do Watson Natural Language Processing:

• Detecção de idioma: detectar o idioma do texto de entrada
• Sintaxe: tokenização, lematização, identificação de parte da fala e análise sintática de dependência
• Extração de entidade: localizar menções de entidades (como pessoa, organização ou data)
• Extração de frase nominal: extrair frases nominais do texto de entrada
• Classificação de texto: analisar texto e, em seguida, designar um conjunto de tags ou de categorias pré-definidas com base em seu conteúdo
• Classificação de sentimento: o documento de entrada é positivo, negativo ou neutro?
• Classificação de tom: classifique o tom no documento de entrada (como animado, frustrado ou triste)
• Classificação de emoção: classifique a emoção do documento de entrada (como raiva ou repulsa)
• Extração de palavras-chave: extrair frases substantivas que sejam relevantes no texto de entrada
• Conceitos: encontre conceitos de DBPedia no texto de entrada
• Relações: detectar relações entre duas entidades
• Categorias hierárquicas: designar nós individuais dentro de uma taxonomia hierárquica para o documento de entrada
• Integrações: mapear palavras individuais ou fragmentos de texto maiores para um espaço vetorial

O Watson Natural Language Processing encapsula a funcionalidade de linguagem natural por blocos e fluxos de trabalho. Blocos e fluxos de trabalho suportam funções para carregar, executar, treinar e salvar um modelo.

Para obter mais informações, consulte Trabalhando com modelos pré-treinados

Alguns exemplos de como é possível usar a biblioteca do Watson Natural Language Processing:

Executando a análise de sintaxe em um fragmento de texto:

import watson_nlp

# Load the syntax model for English
syntax_model = watson_nlp.load('syntax_izumo_en_stock')

# Run the syntax model and print the result
syntax_prediction = syntax_model.run('Welcome to IBM!')
print(syntax_prediction)

Extraindo entidades de um fragmento de texto:

import watson_nlp
entities_workflow = watson_nlp.load('entity-mentions_transformer-workflow_multilingual_slate.153m.distilled')
entities = entities_workflow.run('IBM\'s CEO Arvind Krishna is based in the US', language_code="en")
print(entities.get_mention_pairs())

Para obter exemplos de como usar a biblioteca do Watson Natural Language Processing, consulte Watson amostras de uso da biblioteca do Natural Language Processing.