Che cos'è la generazione del linguaggio naturale (NLG)?

I sistemi NLG sono già ampiamente utilizzati sia nei prodotti aziendali che in quelli di consumo, come gli strumenti di business intelligence (BI) e i chatbot. Gli assistenti vocali comunicano con gli utenti tramite l'NLG.

I leader aziendali utilizzano l'NLG per trasformare dati complessi in testo generato da cui ricavare insight chiave. Ogni volta che un modello AI genera un output in linguaggio umano, si tratta di NLG all'opera. 

Esistono due tipi principali di NLG, estrattivo e astrattivo: 

• L'NLG estrattivo estrae parole e frasi esatte direttamente dal testo sorgente. Viene utilizzato nei casi in cui è di importanza critica una formulazione specifica, come nei documenti legali. Rispetto all'NLG astrattivo, l'NLG estrattivo è più semplice perché copia i documenti sorgente anziché generare nuovi contenuti. 

• L'NLG astrattivo crea nuovi output basati sui documenti sorgente, parafrasando e generando nuovi contenuti. Si tratta di un processo più complesso che richiede modelli più avanzati, come i trasformatori. Laddove l'NLG estrattivo è preferito in contesti tecnici, l'NLG astrattivo eccelle in applicazioni più creative.

L'NLG funziona procedendo attraverso un processo in più fasi per raffinare gli input di dati strutturati e dati non strutturati e generare output in linguaggio naturale. Come descritto dall'informatico Ehud Reiter,¹ le fasi del tipico processo NLG sono le seguenti: 

• Analisi del segnale: il sistema NLG determina quali dati di input sono necessari per l'output. Nella fase di analisi del segnale o dei dati, il riconoscimento di schemi identifica l'oggetto del contenuto e le relazioni tra gli argomenti. I dati di input includono prompt, contenuti del database e contenuti linguistici non strutturati come PDF, documenti e registrazioni in lingua parlata. Il riconoscimento del soggetto aiuta i sistemi di NLP a capire di cosa si sta parlando. 

• Interpretazione dei dati: i modelli NLP generano insight dai risultati generati dalla fase di analytics dei dati. Se i dati sono già pre-elaborati con gli insight disponibili, questo passaggio viene saltato. I sistemi di NLP identificano le parti del discorso e utilizzano l'NLU per valutarne la sintassi e la semantica, creando una comprensione del significato. 

• Pianificazione documentale: questa fase identifica quali informazioni comunicare e come formattarle. Il sistema NLG determina il suo approccio per l'output finale in base ai dati a sua disposizione e al prompt dell'utente. 

• Microplanning: dopo aver definito il contenuto e il formato della comunicazione, il sistema NLG pianifica la struttura delle frasi e dei paragrafi per l'output finale. 

• Realizzazione superficiale: il sistema NLG mette in atto il suo piano e genera output in linguaggio naturale in base ai risultati delle fasi precedenti. 

L'NLG fa parte della disciplina informatica dell'elaborazione del linguaggio naturale (NLP), ovvero l'uso di modelli di machine learning (ML) per comprendere e lavorare con il linguaggio umano.

L'NLG è la parte dell'NLP che si occupa della generazione di contenuti, in particolare dell'output di un nuovo linguaggio scritto o parlato. Ad esempio, i conversational AI chatbot utilizzano l'NLG per rispondere agli input in tempo reale. 

L'NLP converte gli input in linguaggio naturale in dati, mentre l'NLG utilizza i dati per generare output in linguaggio naturale. 

L'NLP fa parte del campo della linguistica computazionale, che studia come i computer analizzano e comprendono il linguaggio umano. L'NLP è la linguistica computazionale applicata nella pratica.

Lo sviluppo del deep learning e dei modelli linguistici di grandi dimensioni (LLM) ha reso possibile l'avanzamento dell'NLP per alimentare le numerose applicazioni di AI generativa che gestiscono la creazione di contenuti.

Il Natural Language Understanding (NLU) è un altro sottoinsieme dell'NLP. Anziché concentrarsi sul significato grammaticale e linguistico, l'NLU tenta di comprendere il linguaggio umano in modo olistico. L'NLU utilizza l'analisi semantica e sintattica per comprendere in modo completo e contestuale gli input in linguaggio naturale, tra cui emozioni, sentimenti e intenti. 

L'NLU consente ai computer di comprendere gli input in linguaggio naturale in un modo più simile agli esseri umani. Quando le persone parlano tra loro, elaborano molto più che le definizioni delle parole usate. Riescono a comprendere naturalmente il significato più profondo delle parole letterali di chi parla. 

Quando un'applicazione software offre opzioni di testo predittivo, utilizza l'NLU per comprendere l'intento dell'utente, quindi applica l'NLG per completare la frase. NLP, NLU e NLG collaborano per aiutare i computer a comunicare con gli utenti.

Molti sistemi NLG utilizzano modelli AI avanzati come i trasformatori per creare testi nuovi a partire dai dati di addestramento e dall'input dell'utente.

Tuttavia, prima che questi modelli fossero sviluppati, l'NLG era resa possibile con altri mezzi. I modelli e le tecniche NLG includono: 

• Modelli

• Sistemi basati su regole 

• Algoritmi statistici di machine learning

• Modelli di deep learning 

• Transformer

I sistemi basati su modelli utilizzano modelli di frasi predefiniti con variabili per i dati di input. I modelli sono uno dei primi e più semplici tipi di NLG, adatti a contesti in cui le strutture di frasi e documenti sono coerenti. Tuttavia, i sistemi basati su modelli non possono essere adattati ad altri casi d'uso oltre quelli predefiniti. 

Un esempio di modello potrebbe essere: nel [mese],[anno], il nostro negozio [località] ha venduto [quantità] unità di [articolo].

Sebbene questo modello sia eccellente nel presentare i dati sulle vendite in base alla posizione geografica, non è possibile applicarlo per generare una ricetta di cucina.

I sistemi basati su regole generano testo secondo una serie di regole e logiche predefinite. I primi sistemi basati su regole sono stati creati per rispecchiare il modo in cui gli esperti del settore parlavano o scrivevano. I programmatori intervistavano gli esperti, quindi creavano le regole corrispondenti per la generazione di testo. 

I sistemi "if-then" sono un esempio comune di programmazione basata su regole. Ad esempio, un software NLG per le previsioni meteorologiche potrebbe essere istruito a descrivere il clima come "sotto lo zero" se la temperatura è inferiore a 32 gradi Fahrenheit o 0 gradi Celsius.

Gli algoritmi statistici di machine learning, come le catene di Markov nascoste, identificano schemi in set di dati di grandi dimensioni per fare previsioni e prendere decisioni con nuovi dati.

Generano nuove istanze in base all'istanza corrente. Per l'NLG, le catene di Markov e altri modelli statistici generano parole che con maggiore probabilità si susseguono tra loro. 

I modelli statistici sono più flessibili dei modelli e dei sistemi basati su regole, ma richiedono grandi quantità di dati di addestramento.

I modelli di deep learning rappresentano un progresso nella tecnologia di AI rispetto agli algoritmi statistici e sono in grado di generare testo più naturale. Le reti neurali ricorrenti (RNN) sono un esempio di modelli di deep learning applicati all'NLG.

Le RNN elaborano dati sequenziali, come le parole di una frase, e possono trasferire conoscenze, come nel caso della traduzione automatica.

L'architettura dei modelli di trasformatori alimenta alcune delle tecnologie NLG più efficaci disponibili. I modelli basati su trasformatori, come GPT e BERT, utilizzano meccanismi di auto-attenzione per catturare dipendenze a lungo raggio nelle sequenze di input, offrendo una comprensione più profonda del contesto.

ChatGPT, Claude e altri chatbot basati su trasformatori possono generare output realistici in linguaggio umano.

L'NLG è presente nell'intero landscape dell'AI generativa, ovunque l'AI venga utilizzata per comunicare direttamente con gli esseri umani in linguaggio naturale. Da Siri all'analisi del sentiment, i casi d'uso di NLG includono: 

• Assistenti vocali: Siri, Alexa e altri assistenti vocali utilizzano l'NLG per rispondere alle richieste degli utenti in linguaggio parlato. Utilizzano anche l'NLP e l'NLU per il riconoscimento vocale per capire cosa vogliono gli utenti. 

• Assistenti virtuali: i chatbot e gli assistenti virtuali utilizzano l'NLG per automatizzare le interazioni con i clienti. Molte organizzazioni utilizzano assistenti virtuali per rispondere alle richieste iniziali di servizio clienti prima di trasferirle ai rappresentanti umani quando necessario. Gli agenti virtuali comunicano con gli utenti anche tramite l'NLG.

• Traduzione automatica: la traduzione automatica è l'uso di modelli di machine learning per tradurre automaticamente da una lingua all'altra. I sistemi NLG gestiscono la generazione di output e semplificano il processo di traduzione. I traduttori umani e gli esperti di localizzazione possono quindi verificare e modificare gli output in base alle esigenze. 

• Riepiloghi di dati e reporting: i sistemi NLG convertono dati complessi in riassunti e schemi facilmente comprensibili. La semplificazione dell'aggregazione e del riepilogo di articoli e report rende le previsioni più efficienti. I dirigenti aziendali utilizzano strumenti di BI basati su NLG per processi decisionali basati sui dati. Altre aziende utilizzano l'AI e l'NLG per creare questi contenuti per i propri clienti. 

• Generazione di contenuti: ogni volta che un modello di AI generativa produce contenuti in linguaggio naturale, è l'NLG a farlo. Le aziende possono scegliere di utilizzare l'NLG per automatizzare le descrizioni dei prodotti, le campagne di e-mail marketing, i post sui social media e altri tipi di contenuti di breve durata. 

• Analisi del sentiment: i sistemi NLG creano riepiloghi testuali e report basati sul feedback e sulle comunicazioni del destinatario. Le aziende possono estrarre i contenuti generati dagli utenti da recensioni, piattaforme di social media, post di forum e altre pagine online, quindi utilizzare NLP e NLG per identificare come si sentono gli utenti.