Extração de entidade

Extração baseada em machine-learning para entidades gerais

Os modelos de extração baseados em aprendizado de máquina são treinados em dados rotulados para os tipos de entidade mais complexos, como pessoa, organização e local..

Recursos

Os modelos de entidade extraem entidades do texto de entrada. Os tipos de entidades a seguir são reconhecidos:

• Data
• Duração
• Recurso
• Recurso geográfico
• Título do cargo
• Localização
• Medida
• Money
• Ordinal
• Organização
• Pessoa
• Hora

Os fluxos de trabalho e blocos disponíveis diferem, dependendo do tempo de execução usado.

Nomes do Fluxo de Trabalho

• entity-mentions_transformer-workflow_multilingual_slate.153m.distilled: esse fluxo de trabalho pode ser usado em CPUs e GPUs.
• entity-mentions_transformer-workflow_multilingual_slate.153m.distilled-cpu: esse fluxo de trabalho é otimizado para tempos de execução baseados em CPU.

Idiomas suportados

A extração da entidade está disponível para os seguintes idiomas.

ar, cs, da, de, en, es, fi, fr, he, hi, it, ja, ko, nb, nl, nn, pt, ro, ru, sk, sv, tr, zh-cn

Para obter uma lista dos códigos de idioma e dos idiomas correspondentes, consulte Códigos de idioma

Código de amostra

import watson_nlp
# Load the workflow model
entities_workflow = watson_nlp.load('entity-mentions_transformer-workflow_multilingual_slate.153m.distilled')
# Run the entity extraction workflow on the input text
entities = entities_workflow.run('IBM\'s CEO Arvind Krishna is based in the US', language_code="en")
print(entities.get_mention_pairs())

Saída da amostra de código:

[('IBM', 'Organization'), ('CEO', 'JobTitle'), ('Arvind Krishna', 'Person'), ('US', 'Location')]

Extração baseada em regra para entidades gerais

O modelo baseado em regra entity-mentions_rbr_xx_stock identifica entidades sintaticamente regulares.

Nome do bloco entity-mentions_rbr_xx_stock

Recursos

A extração baseada em regra manipula sintaticamente tipos de entidade regulares. O bloco de entidade extrai entidades do texto de entrada. Os tipos de entidades a seguir são reconhecidos:

• PhoneNumber
• EmailAddress
• Número
• Porcentagem
• IPAddress
• HashTag
• TwitterHandle
• URLDate

Idiomas suportados

A extração da entidade está disponível para os seguintes idiomas. Para obter uma lista dos códigos de idioma e dos idiomas correspondentes, consulte Códigos de idiomas.

ar, cs, da, de, en, es, fi, fr, he, hi, it, ja, ko, nb, nl, nn, pt, ro, ru, sk, sv, tr, zh-cn, zh-tw

Dependências de outros blocos

Nenhuma

Código de amostra

import watson_nlp

# Load a rule-based Entity Mention model for English
rbr_entity_model = watson_nlp.load('entity-mentions_rbr_en_stock')

# Run the entity model on the input text
rbr_entity_mentions = rbr_entity_model.run('My email is john@us.ibm.com')
print(rbr_entity_mentions)

Saída da amostra de código:

{
  "mentions": [
    {
      "span": {
        "begin": 12,
        "end": 27,
        "text": "john@us.ibm.com"
      },
      "type": "EmailAddress",
      "producer_id": {
        "name": "RBR mentions",
        "version": "0.0.1"
      },
      "confidence": 0.8,
      "mention_type": "MENTT_UNSET",
      "mention_class": "MENTC_UNSET",
      "role": ""
    }
  ],
  "producer_id": {
    "name": "RBR mentions",
    "version": "0.0.1"
  }
}

Extração baseada em regra para entidades PII

O modelo baseado em regras entity-mentions_rbr_multi_pii manipula a maioria dos tipos, identificando formatos comuns de entidades PII e realizando possíveis checksum ou validações conforme apropriado para cada tipo de entidade. Por exemplo, os candidatos de número de cartão de crédito são validados usando o algoritmo Luhn.

Nome do bloco entity-mentions_rbr_multi_pii

Recursos

O bloco entidade entity-mentions_rbr_multi_pii reconhece os seguintes tipos de entidades:

Alguns nomes de tipo de entidade PII são específicos do país. O _ nos tipos de entidade a seguir é um placeholder para um código de país.

• BankAccountNumber.BBAN._ : São números de conta bancária nacional mais variáveis e a extração é majoritariamente linguística-específica sem um algoritmo de checksum geral.
• BankAccountNumber.IBAN._ : IBANs altamente padronizados são suportados de forma independente de linguagem e com um algoritmo de checksum.
• NationalNumber.NationalID._: Esses IDs nacionais não possuem um algoritmo de checksum (publicado), e estão sendo extraídos em uma base específica do idioma.
• NationalNumber.Passport._ : Os checos são implementados apenas para os países onde um algoritmo de checksum existe. Eles são especificamente extraídos de linguagem com restrições de contexto adicionais
• NationalNumber.TaxID._ : Esses IDs não possuem um algoritmo de checksum (publicado), e estão sendo extraídos em uma base específica do idioma.

Quais tipos de entidade estão disponíveis para quais linguagens e qual código de país a utilizar está listado na tabela a seguir.

Dependências de outros blocos

Nenhuma

Código de amostra

import watson_nlp

# Load the RBR PII model. Note that this is a multilingual model supporting multiple languages.
rbr_entity_model = watson_nlp.load('entity-mentions_rbr_multi_pii')

# Run the RBR model. Note that language code of the input text is passed as a parameter to the run method.
rbr_entity_mentions = rbr_entity_model.run('Please find my credit card number here: 378282246310005. Thanks for the payment.', language_code='en')
print(rbr_entity_mentions)

Saída da amostra de código:

{
  "mentions": [
    {
      "span": {
        "begin": 40,
        "end": 55,
        "text": "378282246310005"
      },
      "type": "BankAccountNumber.CreditCardNumber.Amex",
      "producer_id": {
        "name": "RBR mentions",
        "version": "0.0.1"
      },
      "confidence": 0.8,
      "mention_type": "MENTT_UNSET",
      "mention_class": "MENTC_UNSET",
      "role": ""
    }
  ],
  "producer_id": {
    "name": "RBR mentions",
    "version": "0.0.1"
  }
}