Che cos'è il riassunto del testo?

Il riassunto automatico del testo (o riassunto del documento) è un metodo di elaborazione del linguaggio naturale (NLP) che condensa le informazioni da uno o più documenti di testo di input in un testo di output originale. La quantità di testo di input che appare nell'output è oggetto di dibattito: alcune definizioni indicano solo il 10%, altre il 50%.¹ Gli algoritmi di riassunto del testo utilizzano spesso architetture di deep learning, in particolare trasformatori, per analizzare i documenti e generare riassunti di testo.

Esistono due tipi principali di riassunto: estrattivo e astrattivo.

Il riassunto estrattivo estrae le frasi non modificate dai documenti di testo originali. Una differenza fondamentale tra gli algoritmi estrattivi è il modo in cui assegnano un punteggio all'importanza delle frasi riducendo al contempo la ridondanza degli argomenti. Le differenze nel punteggio delle frasi determinano quali frasi estrarre e quali conservare.

Il riassunto astrattivo genera riassunti originali utilizzando frasi non presenti nei documenti di testo originali. Tale generazione richiede reti neurali e modelli linguistici di grandi dimensioni (LLM) per produrre sequenze di testo semanticamente significative.

Come si può intuire, il riassunto astrattivo del testo è più costoso dal punto di vista computazionale rispetto a quello estrattivo, in quanto richiede una conoscenza più specializzata dell'AI e dei sistemi generativi. Naturalmente, il riassunto estrattivo del testo può anche utilizzare reti neurali come GPT, BERT e BART, per creare riassunti. Tuttavia, gli approcci estrattivi non richiedono reti neurali.²

Le valutazioni comparative delle tecniche estrattive e astrattive mostrano risultati contrastanti. Ad esempio, alcune ricerche indicano che il riassunto astrattivo è più soggetto ad allucinazioni, cioè informazioni fuorvianti o di fatto false.³ Ulteriori ricerche, tuttavia, indicano che le allucinazioni astrattive sono in realtà allineate alla conoscenza del mondo, essendo derivate dallo stesso materiale delle fonti di riassunto.⁴ Altri confronti tra le tecniche estrattive e quelle astrattive mostrano che ognuna ha i propri vantaggi comparativi. Sebbene gli utenti umani considerino i riassunti astrattivi come più coerenti, considerano anche i riassunti estrattivi più informativi e pertinenti.⁵ La ricerca suggerisce inoltre che le controversie sull'argomento del testo influiscono sul modo in cui gli utenti visualizzano i rispettivi tipi di riassunto.⁶ Pertanto, potrebbe non esserci un confronto valutativo diretto uno a uno tra questi tipi di riassunto.

Come per altre attività di NLP, il riassunto del testo richiede che i dati di testo siano prima sottoposti a trattamento. Questo include la tokenizzazione, la rimozione delle stop word e lo stemming o lemmatizzazione per rendere il set di dati leggibile da un modello di apprendimento automatico. Dopo il pre-trattamento, tutti i metodi estrattivi di riassunto del testo seguono tre passaggi generali e indipendenti: rappresentazione, punteggio delle frasi e selezione delle frasi.

Nella fase di rappresentazione, un algoritmo segmenta e rappresenta i dati di testo pre-trattati per il confronto. Molte di queste rappresentazioni si basano su un insieme di modelli bag of words, che rappresentano segmenti di testo, ad esempio parole o frasi, come punti dati in uno spazio vettoriale. Set di dati di grandi dimensioni e composti da più documenti utilizzano la Term Frequency-Inverse Document Frequency (TF-IDF), una variante di bag of words che valuta ogni termine per ponderarne l'importanza all'interno di un set di testo. Gli strumenti di modellazione degli argomenti come l'analisi semantica latente (LSA) sono un altro metodo di rappresentazione che produce gruppi di parole chiave riassuntive ponderate tra i documenti. Altri algoritmi, ad esempio LexRank e TextRank, utilizzano invece dei grafici. Questi approcci basati su grafici rappresentano le frasi come nodi (o vertici) collegati da linee in base ai punteggi di somiglianza semantica. In che modo gli algoritmi misurano la similarità semantica?⁷

Il punteggio delle frasi, come suggerito dal nome, assegna un punteggio a ogni frase di un testo in base all'importanza per quel testo. Rappresentazioni diverse implementano metodi di punteggio diversi. Ad esempio, gli approcci di rappresentazione degli argomenti assegnano un punteggio a ciascuna frase in base al grado di espressione individuale o di combinazione di argomenti chiave. Più specificamente, questo può comportare la ponderazione delle frasi in base alla co-frequenza delle parole chiave dell'argomento. Approcci basati su grafici, calcolo della centralità delle frasi. Questi algoritmi determinano la centralità utilizzando la TF-IDF per calcolare la distanza che un determinato nodo di frase può avere dal centroide di un documento nello spazio vettoriale.⁸

L'ultimo passaggio generale degli algoritmi estrattivi consiste nella selezione delle frasi. Dopo aver ponderato le frasi in base all'importanza, gli algoritmi selezionano le n frasi più importanti per un documento o una sua raccolta. Queste frasi costituiscono il riassunto generato. Ma che cosa succede in caso di sovrapposizione semantica e tematica in queste frasi? La fase di selezione delle frasi mira a ridurre la ridondanza nei riassunti finali. I metodi di massima rilevanza marginale impiegano un approccio iterativo. In particolare, ricalcolano i punteggi di importanza delle frasi in base alla loro somiglianza con le frasi già selezionate. I metodi di selezione globali selezionano un sottoinsieme delle frasi più importanti per massimizzare l'importanza complessiva e ridurre la ridondanza.⁹

Come illustra questa panoramica, il riassunto estrattivo del testo in definitiva è un problema di classificazione del testo (e, molto spesso, delle frasi). Le tecniche estrattive di riassunto dei testi classificano i documenti e le relative stringhe di testo (ad esempio, frasi) in ordine o producono un riassunto che meglio corrisponde agli argomenti centrali individuati nei testi indicati. In questo modo, la sintesi estrattiva può essere intesa come una forma di recupero delle informazioni.¹⁰

Come spiegato, le tecniche astrattive di riassunto del testo utilizzano reti neurali per generare testo originale che riassume uno o più documenti. Sebbene esistano numerosi tipi di metodi astrattivi di riassunto del testo, la letteratura non utilizza alcun sistema di classificazione generale per descriverli.¹¹ Tuttavia, è possibile fare una panoramica degli obiettivi generali dei vari metodi.

Come per molte applicazioni di AI, il riassunto testuale astrattivo mira in ultima analisi a imitare i riassunti generati dall'uomo. Una caratteristica principale di quest'ultima è la compressione delle frasi: gli umani riassumono testi e frasi più lunghi abbreviandoli. Esistono due approcci generali alla compressione delle frasi: metodi basati su regole e metodi statistici.

I primi utilizzano le conoscenze sintattiche per analizzare i segmenti grammaticali. Questi utilizzano parole chiave, indizi sintattici o persino etichette di parti del discorso per estrarre frammenti di testo che vengono poi uniti, spesso secondo un modello predefinito. Questo modello può essere estratto da un'analisi del testo automatizzata aggiuntiva o da regole definite dall'utente.²

Negli approcci statistici, un modello (ottenuto dal pre-trattamento o dalla messa a punto) impara quali segmenti di frase rimuovere. Ad esempio, un parser ad albero può individuare frasi simili da un testo di input e popolare frasi comparabili in una struttura ad albero. Un albero delle dipendenze è una di queste strutture che modella le frasi in base alla relazione percepita tra le parole, allineandosi con le disposizioni soggetto-predicato. Una frase in questa struttura può avere il verbo come nodo centrale, con soggetti e oggetti (cioè sostantivi) e congiunzioni che si diramano. I verbi aggiuntivi si dirameranno quindi dai sostantivi a cui sono associati. Una volta che il testo è rappresentato in una struttura ad albero, l'algoritmo seleziona le parole o le frasi comuni da utilizzare in una rete generativa per creare un nuovo riassunto.¹²

Come suggerisce questa breve panoramica sulla compressione delle frasi, la fusione delle informazioni è un altro aspetto chiave del riassunto astrattivo. Le persone riassumono i documenti concatenando le informazioni di più passaggi in un'unica frase.² Un approccio proposto per imitare questo è la fusione di frasi in un insieme di più documenti. Questo approccio individua le frasi che ricorrono comunemente in un insieme di documenti e le fonde attraverso una tecnica chiamata calcolo su reticolo per produrre un riassunto in italiano coerente dal punto di vista grammaticale.¹³ Un altro metodo proposto utilizza modelli di argomenti neurali per generare termini chiave che, a loro volta, guidano la generazione di riassunti. In questo approccio, le parole chiave ricorrenti che riguardano i punti principali di più documenti vengono combinate in una singola frase o in un gruppo di frasi.¹⁴

Un'ultima problematica nel riassunto astrattivo dei testi è l'ordine delle informazioni. Le informazioni riassunte non seguono necessariamente lo stesso ordine di quelle del documento di partenza iniziale. Ad esempio, quando le persone scrivono riassunti, spesso organizzano le informazioni in modo tematico. Un metodo utilizzato per l'organizzazione tematica sono i cluster. In particolare, le frasi estratte sono organizzate in cluster in base al contenuto degli argomenti (come determinato da parole chiave ricorrenti). In questo senso, i modelli tematici neurali sono un altro potenziale approccio alle informazioni ordinate per argomento.²

Gli sviluppatori utilizzano una serie di metriche di valutazione per il riassunto del testo. Le differenze nelle metriche dipendono generalmente dal tipo di riassunto e dalla funzione del riassunto che si desidera misurare.

BLEU (bilingual evaluation understudy) è una metrica di valutazione comunemente utilizzata nella traduzione automatica. Misura la somiglianza tra la verità di base e l'output del modello per una sequenza di n parole, note come n-grammi. Nella sintesi del testo, BLEU misura la frequenza e la misura in cui gli n-grammi di un riassunto automatico si sovrappongono a quelli di un riassunto generato dall'uomo, tenendo conto delle ripetizioni di parole non corrette nel primo. Utilizza quindi questi punteggi di precisione per i singoli n-grammi per calcolare una precisione complessiva del testo, nota come precisione media geometrica. Questo valore finale è compreso tra 0 e 1, con l'1 che indica un perfetto allineamento tra la macchina e i riassunti di testo generati dall'uomo.¹⁵

ROUGE (recall-oriented understudy for gisting evaluation) è derivato dal BLEU specificamente per la valutazione delle attività di riassunto. Come BLEU, confronta i riassunti delle macchine con i riassunti generati dall'uomo utilizzando n-grammi. Ma mentre BLEU misura la precisione della macchina, ROUGE misura la capacità di richiamo della macchina. In altre parole, ROUGE calcola l'accuratezza di un riassunto automatico in base al numero di n-grammi del riassunto generato dall'uomo trovato nel riassunto automatico. Il punteggio ROUGE, come BLEU, è qualsiasi valore compreso tra 0 e 1, con l'1 che indica un perfetto allineamento tra la macchina e i riassunti di testo generati dall'uomo.¹⁶

Tieni presente che queste metriche valutano l'output finale del testo riassunto. Si distinguono dalla miriade di metodi di punteggio delle frasi utilizzati all'interno degli algoritmi di sintesi del testo che selezionano frasi e parole chiave adatte da cui produrre l'output finale riassunto.

Un certo numero di librerie consente agli utenti di implementare prontamente strumenti di riassunto del testo in Python. Ad esempio, la libreria HuggingFace Transformers viene fornita con BART, un'architettura trasformativa codificatore-decodificatore, per la generazione di riassunti di testo. L'API Language Skills di OneAI fornisce anche strumenti per generare facilmente riassunti testuali.

L'applicazione più ovvia del riassunto del testo è la ricerca accelerata. Questo ha potenziali utilizzi in vari campi, ad esempio quello legale, accademico e del marketing. Tuttavia, i ricercatori dimostrano anche come i trasformatori di riassunto del testo possano svolgere ulteriori compiti.

Notizie Gli articoli di notizie sono un set di dati comune per testare e confrontare le tecniche di riassunto del testo. Tuttavia, il riassunto non è sempre l'obiettivo finale. Alcuni studi analizzano il ruolo dei riassunti di testo derivati da trasformatori come modalità di estrazione di funzioni per alimentare i modelli di rilevamento delle fake news.¹⁷ Questa ricerca mostra un potenziale promettente e illustra come i riassunti testuali possano essere adottati per usi più ampi rispetto al semplice risparmio di tempo nella lettura di più testi.

Traduzione Il riassunto interlinguistico è un ramo del riassunto del testo che si sovrappone alla traduzione automatica. Certo, non si tratta di un campo di ricerca così ampio come quello del riassunto o della traduzione. Tuttavia, l'obiettivo di riassumere un testo nella lingua di partenza o una raccolta di testi in una lingua di destinazione diversa pone una serie di nuove sfide.¹⁸ Una pubblicazione esplora la sintesi interlinguistica con testi storici. In questo compito, le varianti linguistiche storiche (ad esempio, cinese antico rispetto a cinese moderno o greco attico rispetto al greco moderno) sono trattate come lingue distinte. L'esperimento specifico utilizza le combinazioni di parole insieme alla sintesi estrattiva e astrattiva e ai metodi di apprendimento per trasferimento per produrre riassunti moderni di documenti in lingua antica.¹⁹