Rilevamento di entità con un dizionario personalizzato

Tipi di file di dizionario

Watson L'elaborazione del linguaggio naturale supporta due tipi di file di dizionario:

• Elenco dei termini (che terminano con .dict)

  Esempio di elenco di termini:

  Arthur
  Allen
  Albert
  Alexa
  

• Tabella (che termina con .csv)

  Esempio di tabella:

  "label", "entry"
  "ORGANIZATION", "NASA"
  "COUNTRY", "USA"
  "ACTOR", "Christian Bale"
  

È possibile utilizzare più dizionari durante la stessa estrazione. È anche possibile utilizzare entrambi i tipi contemporaneamente, ad esempio eseguendo una singola estrazione con tre dizionari, un elenco di termini e due tabelle.

Creazione di file di dizionario

Inizia creando una directory "module" all'interno del tuo notebook. Si tratta di una directory all'interno del file system del notebook che verrà utilizzata temporaneamente per archiviare i file del dizionario.

Per creare file di dizionario nel tuo notebook:

1. Crea una directory per i moduli. Si noti che il nome della cartella del modulo non può contenere trattini, poiché ciò causerebbe degli errori.

   import os
   import watson_nlp
   module_folder = "NLP_Dict_Module_1"
   os.makedirs(module_folder, exist_ok=True)
   

2. Crea i file di dizionario e salvali nella directory del modulo. È possibile importare un elenco esterno o un fil CSV, oppure creare file di dizionari in questo modo:

   # Create a term list dictionary
   term_file = "names.dict"
   with open(os.path.join(module_folder, term_file), 'w') as dictionary:
       dictionary.write('Bruce')
       dictionary.write('\n')
       dictionary.write('Peter')
       dictionary.write('\n')
   
   # Create a table dictionary
   table_file = 'Places.csv'
   with open(os.path.join(module_folder, table_file), 'w') as places:
       places.write("\"label\", \"entry\"")
       places.write("\n")
       places.write("\"SIGHT\", \"Times Square\"")
       places.write("\n")
       places.write("\"PLACE\", \"5th Avenue\"")
       places.write("\n")
   

Caricamento dei dizionari e configurazione delle opzioni di corrispondenza

I dizionari possono essere caricati utilizzando i seguenti metodi di supporto.

• Per caricare un singolo dizionario, usa watson_nlp.toolkit.rule_utils.DictionaryConfig (<dictionary configuration>)
• Per caricare più dizionari, usa watson_nlp.toolkit.rule_utils.DictionaryConfig.load_all([<dictionary configuration>)])

Per ogni dizionario è necessario specificare una configurazione. La configurazione del dizionario è un dizionario di tipo « Python », con i seguenti attributi:

Esempio di codice

Seleziona l'esempio di codice in base all'ambiente che stai utilizzando:

• Gli ambienti che includono la libreria di elaborazione del linguaggio naturale Watson utilizzano:

  # Load the dictionaries
  # Use the following helper method
  dictionaries = watson_nlp.toolkit.rule_utils.DictionaryConfig.load_all([{
      'name': 'Names',
      'source': term_file,
      'case':'insensitive'
  }, {
      'name': 'places_and_sights_mappings',
      'source': table_file,
      'dict_type': 'table',
      'mappings': {
          'columns': ['label', 'entry'],
          'entry': 'entry'
      }
  }])
  

Addestrare un modello che contiene dizionari

Dopo aver caricato i dizionari, crea un modello di dizionario e addestralo utilizzando il RBR.train() metodo. Nel metodo, specificare:

• La directory del modulo
• La lingua delle voci del dizionario
• I dizionari da consultare

Esempio di codice

custom_dict_block = watson_nlp.resources.feature_extractor.RBR.train(module_folder,
language='en', dictionaries=dictionaries)

Applicazione del modello a nuovi dati

Dopo aver addestrato i dizionari, applica il modello ai nuovi dati utilizzando il run() metodo, proprio come faresti con qualsiasi altro blocco pre-addestrato esistente.

Esempio di codice

custom_dict_block.run('Bruce is at Times Square')

Risultato dell'esempio di codice:

{(0, 5): ['Names'], (12, 24): ['SIGHT']}

Per visualizzare le etichette o il nome del dizionario:

RBR_result = custom_dict_block.executor.get_raw_response('Bruce is at Times Square', language='en')
print(RBR_result)

Risultato con le etichette:

{'annotations': {'View_Names': [{'label': 'Names', 'match': {'location': {'begin': 0, 'end': 5}, 'text': 'Bruce'}}], 'View_places_and_sights_mappings': [{'label': 'SIGHT', 'match': {'location': {'begin': 12, 'end': 24}, 'text': 'Times Square'}}]}, 'instrumentationInfo': {'annotator': {'version': '1.0', 'key': 'Text match extractor for NLP_Dict_Module_1'}, 'runningTimeMS': 3, 'documentSizeChars': 32, 'numAnnotationsTotal': 2, 'numAnnotationsPerType': [{'annotationType': 'View_Names', 'numAnnotations': 1}, {'annotationType': 'View_places_and_sights_mappings', 'numAnnotations': 1}], 'interrupted': False, 'success': True}}