Cos'è il natural language understanding (NLU)?

Le soluzioni NLU consentono alle organizzazioni di distillare insight dai dati non strutturati, come la lingua parlata o gli input in linguaggio naturale. Attraverso questa tecnologia, i computer possono anche comunicare con utenti non addestrati, senza ricorrere ai linguaggi di programmazione.  

Poiché il linguaggio umano è così sfumato, complesso e pieno di ambiguità, la comprensione del linguaggio naturale è una sfida impegnativa di machine learning per i computer scientist e gli ingegneri informatici che lavorano con i modelli linguistici di grandi dimensioni (LLM). I sistemi NLU consentono ai computer di cogliere le complessità del linguaggio scritto e parlato, ovvero sottili sfumature, strutture di frasi complesse, usi delle parole potenzialmente confusi, slang, dialetti e molto altro.  

Grazie all'ascesa dell'AI generativa e al suo utilizzo nei chatbot di largo consumo, nella risposta alle domande, nella traduzione automatica e in altre applicazioni, la tecnologia NLU riceve notevoli investimenti commerciali. Senza il riconoscimento del linguaggio naturale, i chatbot interattivi come ChatGPT non esisterebbero, ed è grazie alla tecnologia NLU che i chatbot basati su AI generativa possono tenere una conversazione realistica e naturale con gli utenti.

La comprensione del linguaggio naturale (NLU) è un tipo di elaborazione del linguaggio naturale (PNL), il campo più ampio che consente ai computer di comprendere e comunicare nel linguaggio umano. La tecnologia NLU si concentra sulla comprensione del significato, mentre le attività PNL riguardano la mappatura di elementi linguistici come la sintassi, le definizioni delle parole e le parti del discorso. 

Prima dello sviluppo della tecnologia PNL, gli utenti comunicavano con i computer tramite linguaggi di programmazione come Python e C++. Sebbene la codifica utilizzi ancora i linguaggi di programmazione, le applicazioni no-code consentono agli utenti di istruire direttamente i computer con il linguaggio naturale. 

La tecnologia PNL è emersa dal campo informatico della linguistica computazionale, che utilizza i computer per analizzare il linguaggio. L'introduzione di algoritmi di machine learning e modelli di deep learning ha permesso ai computer di svolgere attività legate al linguaggio, come il riconoscimento vocale e la generazione di contenuti. 

La generazione del linguaggio naturale (NLG) è il modo in cui i computer generano automaticamente contenuti in linguaggio umano, ad esempio quando un chatbot fornisce un riepilogo testuale o intrattiene una conversazione con un utente. Le tecnologie NLG e NLU sono solitamente abbinate. Un modello di deep learning riceve un input in linguaggio naturale, lo converte in dati utilizzabili tramite PNL (NLU inclusa), quindi genera una risposta che l'utente può comprendere tramite NLG. 

PNL, NLG e NLU sono tutti correlati, ma la tecnologia PNL è la disciplina generale che contiene le altre due. La tecnologia NLG è ciò che consente ai chatbot come ChatGPT, ai moderni bot di supporto clienti e agli assistenti vocali come Alexa di Amazon, di apparire umani quando interagiscono con gli utenti.

Il natural language understanding funziona utilizzando algoritmi di machine learning per trasformare il linguaggio parlato o scritto non strutturato in un modello di dati strutturato che ne rappresenta il contenuto e il significato. I sistemi NLU applicano l'analisi sintattica per comprendere le parole in una frase e l'analisi semantica per elaborare il significato di ciò che viene detto. 

Le tecniche di apprendimento supervisionato per gli algoritmi NLU comportano l'immissione di dati di addestramento etichettati nell'algoritmo. Questo metodo guida esplicitamente l'algoritmo a comprendere le sfumature linguistiche; ad esempio, se si utilizza l'omonimo medio un contesto statistico anziché in una descrizione della personalità. 

Le tecniche di apprendimento non supervisionato mostrano degli algoritmi a enormi set di dati senza etichetta con l'obiettivo di far scoprire all'algoritmo le relazioni e i modelli sottostanti. I modelli NLU contemporanei sono in genere addestrati con una combinazione di metodi supervisionati e non supervisionati. 

I meccanismi principali che rendono possibile i sistemi NLU includono: 

• Tokenizzazione ed embedding

• Named entity recognition (NER) 

• Riconoscimento dell'intento

La tokenizzazione in ambito NLU è l'uso di algoritmi di machine learning per segmentare il testo non strutturato in parti più piccole che possono poi essere ulteriormente analizzate. Ogni segmento risultante è noto come token. Gli algoritmi di embedding convertono ogni token in una rappresentazione numerica che viene poi tracciata su uno spazio vettoriale tridimensionale per mappare le relazioni tra i token. 

I sistemi NLU moderni utilizzano in genere modelli basati su trasformatori, come GPT, perché eccellono nel catturare le dipendenze tra i token. Le dipendenze sono relazioni a lungo raggio tra token distanti in una sequenza. L'acquisizione corretta delle dipendenze consente ai computer di mantenere la comprensione contestuale attraverso lunghe sequenze di input.

La named entity recognition (NER) è una tecnica di estrazione delle informazioni che identifica e classifica entità denominate, oppure oggetti del mondo reale, nei dati di testo. Le entità denominate possono essere fisiche, come persone, luoghi e oggetti, o astratte, come una data o l'età e il numero di telefono di una persona.

Il riconoscimento delle intenzioni indica a un algoritmo NLU cosa vuole fare un utente. I motori di ricerca utilizzano il riconoscimento dell'intento per fornire risultati pertinenti alla query corrispondente, non solo in termini fattuali, ma che forniscano all'utente le informazioni desiderate. 

Ad esempio, una ricerca per "pollo tikka masala" probabilmente restituirà un elenco di ricette. Ma cosa succede se l'utente digita invece "pollo tikka masala vicino a me?" Il riconoscimento dell'intento dice al motore di ricerca che l'utente non vuole cucinare il pollo tikka masala, bensì mangiare quello di un ristorante locale.

Le applicazioni NLU coprono un'ampia gamma di casi d'uso in cui è necessario che i computer comunichino direttamente con gli esseri umani oppure elaborino dati in linguaggio umano. I casi d'uso della comprensione del linguaggio naturale includono: 

• Analisi del sentiment

• Intento dell'utente 

• Traduzione automatica 

• Assistenza clienti

• Riconoscimento vocale 

• Classificazione del testo

• Agenti virtuali

L'analisi del sentiment è l'applicazione di modelli di machine learning per identificare l'umore e le emozioni in un contenuto. Ad esempio, i ricercatori possono utilizzare l'analisi del sentiment nei post sui social media e nelle recensioni degli utenti per identificare cosa pensano gli utenti di un brand. Le informazioni apprese possono essere applicate per il futuro sviluppo di prodotti, per gli adeguamenti di prezzo e per altre modifiche. 

I motori di ricerca utilizzano la tecnologia NLU per fornire risposte più pertinenti. Lo stesso principio si applica ai siti web con funzioni di ricerca: ad esempio, un sito di e-commerce può potenzialmente aumentare le vendite mostrando gli articoli più pertinenti in risposta alle ricerche degli utenti. L'ottimizzazione dei risultati di ricerca probabilmente porterà un numero maggiore di utenti a continuare a utilizzare il motore di ricerca o a effettuare un acquisto.

La traduzione automatica consiste nell'uso di computer per eseguire traduzioni automatizzate da una lingua all'altra. Ad esempio, immaginiamo un'applicazione per dispositivi mobili che traduce dall'inglese parlato allo spagnolo in tempo reale. Un utente di lingua spagnola potrebbe utilizzare un'applicazione di questo tipo sia per conversare con gli anglofoni, sia per capire tutto ciò che viene detto in inglese intorno a lui. 

I chatbot dell'assistenza clienti sono diventati più sofisticati con il miglioramento dell'AI generativa. La tecnologia NLU consente ai chatbot di avviare conversazioni simili a quelle umane con gli utenti e le organizzazioni li implementano sempre più spesso per gestire le richieste del servizio clienti e per rispondere alle domande più comuni. Nel frattempo, il personale umano completa l'interfaccia dell'esperienza del cliente affrontando i problemi troppo complessi per essere gestiti dall'AI. 

L'uso dei chatbot per il supporto clienti è un esempio di come i progressi nell'AI, inclusa la comprensione del linguaggio umano, abbiano semplificato i workflow e portato a una maggiore automazione dei workflow.

I sistemi NLU aiutano gli utenti a comunicare verbalmente con il software, come i sistemi di routing automatici che si incontrano quando si chiamano le grandi aziende. Invece di premere ripetutamente lo 0 finché il sistema non passa la chiamata a un operatore, le persone possono dire: "Parla con un operatore". Grazie ai sistemi NLU, il software può convertire la richiesta vocale dell'utente in dati strutturati in tempo reale e trasferire la chiamata. 

Le organizzazioni hanno iniziato a implementare gli agenti virtuali quale parte di una migliore esperienza del cliente. Questi modelli possono interfacciarsi direttamente con gli utenti, utilizzando NLU e NLG per facilitare l'interazione, e agire per conto di utenti e organizzazioni. Gli assistenti virtuali come Alexa e Siri utilizzano la tecnologia NLU per soddisfare le richieste degli utenti.