Che cos'è la modellazione degli argomenti?

Nell'elaborazione del linguaggio naturale (NLP), la modellazione degli argomenti è una tecnica di text mining che applica l'apprendimento non supervisionato su grandi serie di testi per produrre una serie riassuntiva di termini derivati da quei documenti che rappresentano la serie principale complessiva di argomenti della raccolta.¹ I modelli di argomento identificano specificamente le parole chiave o le frasi comuni in un set di dati di testo e le raggruppano in una serie di argomenti. I modelli di argomento mirano pertanto a scoprire i temi o gli argomenti latenti che caratterizzano un insieme di documenti. In questo modo, i modelli di argomento sono una forma di analisi del testo basata sull'apprendimento automatico utilizzata per annotare tematicamente grandi corpora di testo.²

Gli utenti possono generare prontamente modelli di argomenti utilizzando il Natural Language Toolkit (NLTK) di scikit-learn e gensim in Python.

In quanto metodo di apprendimento senza supervisione, i modelli tematici non richiedono etichette di dati di addestramento generate dall'utente, come nelle attività di classificazione del testo supervisionata. Piuttosto, i modelli di argomento generano e, per estensione, annotano grandi raccolte di documenti con informazioni tematiche sotto forma di gruppi di parole noti come argomenti.³ In che modo i modelli tematici producono questi gruppi di parole?

La modellazione degli argomenti tratta essenzialmente ogni singolo documento di una raccolta di testi come un ammasso di parole, o "bag of words". Ciò significa che l'algoritmo di modellazione degli argomenti ignora l'ordine delle parole e il loro contesto, concentrandosi semplicemente sulla frequenza con cui esse ricorrono, e ricorrono in concomitanza con altre, all'interno di ogni singolo documento.⁴

La maggior parte degli approcci alla modellazione degli argomenti inizia generando una matrice dei termini del documento. Questa matrice modella il set di dati del testo con i documenti come righe e le singole parole come colonne, o viceversa. I valori nella matrice indicano la frequenza con cui una determinata parola compare in ciascun documento. Questa matrice può quindi essere utilizzata per generare uno spazio vettoriale, dove n parole sono uguali a n dimensioni. Il valore di una data riga indica la posizione del documento nello spazio vettoriale. I documenti che usano parole in gruppi simili e con frequenza comparabile risiederanno quindi più vicini nello spazio vettoriale. Da qui, i modelli di argomento trattano la prossimità nello spazio vettoriale come documenti che condividono contenuti concettuali o argomenti simili.⁵

I modelli di argomento non sono tuttavia sinonimo di "bag of words". Mentre queste ultime contano semplicemente la presenza di parole all'interno di una raccolta di documenti, i modelli di argomento raggruppano le parole comunemente co-occorrenti in insiemi di argomenti. Ogni argomento è modellato come una distribuzione di probabilità attraverso un vocabolario di parole. Ogni documento nella raccolta è quindi rappresentato in relazione a quegli argomenti.⁶ In questo modo, i modelli tematici tentano essenzialmente di decodificare i discorsi (cioè gli argomenti) che hanno prodotto i documenti in questione.⁷

Gli algoritmi di modellazione degli argomenti non sono tanto metodi alternativi a un'attività, quanto sviluppi sequenziali destinati a risolvere problemi inizialmente riscontrati nei modelli bag of words. La frequenza inversa del documento (TF-IDF) è una modifica del concetto di bag of words, concepita per affrontare i problemi derivanti da parole comuni ma semanticamente irrilevanti, tenendo conto della prevalenza di ciascuna parola in ogni documento di un set di testo. L'analisi semantica latente si basa su TF-IDF con l'intento principale di affrontare la polisemia e la sinonimia. Ciò ha dato vita all'analisi semantica latente probabilistica, da cui è nata l'allocazione latente di Dirichlet. La caratteristica distintiva di quest'ultima è che tutti i documenti di una collezione condividono lo stesso insieme di argomenti, anche se in proporzioni diverse.⁸

L'analisi semantica latente (Latent semantic analysis, LSA), nota anche come "indicizzazione semantica latente" utilizza una tecnica nota come "decomposizione ai valori singolari" al fine di ridurre la sparsità nella matrice documento-termine. Questo allevia i problemi derivanti dalla polisemia e dalla sinonimia, ovvero dalla presenza di singole parole con più significati o di più parole con un unico significato condiviso.

Il termine "sparsità dei dati" indica essenzialmente che la maggior parte dei valori dei dati in un determinato set di dati è nullo (ovvero vuoto). Ciò accade regolarmente quando si costruiscono matrici documento-termine, per le quali ogni singola parola è costituita da una riga e da una dimensione dello spazio vettoriale separate, poiché i documenti solitamente non contengono la maggior parte delle parole che potrebbero essere più frequenti in altri documenti. Naturalmente, le tecniche di pre-elaborazione dei dati di testo, come la rimozione delle stopword o lo stemming e la lemmatizzazione, possono aiutare a ridurre le dimensioni della matrice. L'LSA offre un approccio più mirato per ridurre sparsità e dimensionalità.

L'LSA inizia con la matrice dei termini del documento, che mostra il numero di volte in cui ogni parola appare in ogni documento. Da qui, l'LSA produce una matrice documento-documento e una matrice termine-termine. Se le dimensioni della matrice documento-termine sono definite come d documenti per w parole, allora la matrice documento-documento è d volte d e la matrice termine-termine è w volte w. Ogni valore nella matrice documento-documento indica il numero di parole che ogni documento ha in comune. Ogni valore nella matrice termine-termine indica il numero di documenti in cui coesistono due termini.⁹

Utilizzando queste due matrici aggiuntive, l'algoritmo LSA effettua la decomposizione ai singoli valori sulla matrice iniziale dei termini del documento, producendo nuove matrici speciali di autovettori. Queste matrici speciali suddividono le relazioni originali tra i termini del documento in fattori linearmente indipendenti. Poiché molti di questi fattori sono prossimi allo zero, essi vengono trattati come zero ed eliminati dalle matrici, riducendo le dimensioni del modello.¹⁰

Una volta che le dimensioni del modello sono state ridotte attraverso la decomposizione, l'algoritmo LSA confronta i documenti nello spazio dimensionale inferiore utilizzando la similarità del coseno. La similarità del coseno indica la misura dell'angolo tra due vettori nello spazio vettoriale. Esso può assumere qualsiasi valore compreso tra -1 e 1. Più alto è il valore del coseno, più due documenti sono considerati simili. La similarità del coseno è rappresentata da questa formula, in cui x e y indicano due vettori-elemento nello spazio vettoriale:¹¹

L'allocazione latente di Dirichlet (Latent Dirichlet Allocation, LDA), da non confondere con l'analisi discriminante lineare, è un algoritmo probabilistico di modellazione degli argomenti. Questo significa che l'algoritmo LDA genera argomenti, classificando parole e documenti tra essi, in base alla distribuzione probabilistica. Utilizzando la matrice documento-termine, l'algoritmo LDA genera distribuzioni di argomenti (ovvero elenchi di parole chiave con rispettive probabilità) in base alla frequenza delle parole e a quanto spesso si ripresentano nel testo. Questa ipotesi parte dal presupposto che le parole che compaiono insieme appartengano probabilmente ad argomenti simili. L'algoritmo assegna quindi distribuzioni documento-argomento in base ai cluster di parole che sono presenti nel documento considerato.¹²

Ad esempio, supponiamo di generare un modello LDA per una raccolta di nuovi articoli di notizie con il seguente output parziale:

Qui abbiamo due argomenti che potrebbero essere descritti probabilmente come immigrazione (Argomento 1) e astronomia (Argomento 2). I punteggi assegnati a ciascuna parola sono la probabilità che quella parola chiave sia presente nell'argomento specificato. Le probabilità allegate a ciascun documento sono le rispettive probabilità di appartenenza di quel documento a una combinazione di argomenti, data la distribuzione e la ripresentazione delle parole di ciascun argomento all'interno di quel documento. Ad esempio, la prima riga della tabella elenca confine in Argomento 1 con una probabilità del 40% e spazio nell'Argomento 2 con una probabilità del 60%. Queste percentuali indicano la probabilità che i rispettivi termini ricorrano in quell'argomento nell'intero corpus. La prima riga del documento è Documento 1: Argomento 1: .95, Argomento 2: .05. Questo significa che, in base alla presenza di parole nel Documento 1, il modello proietta il Documento 1 come derivato al 95% dall'Argomento 1 e al 5% derivato dall'Argomento 2. In altre parole, il nostro ipotetico modello LDA presuppone che questi siano gli argomenti e le proporzioni degli argomenti utilizzati per generare il modello.

Naturalmente, le parole polisemiche in particolare creano problemi per queste categorizzazioni separate: ad esempio, la parola estraneo può riferirsi a uno sconosciuto o a una creatura extra-terrestre. Se il nostro algoritmo incontra la parola estraneo in un documento, come determina a quale argomento (e, per estensione, a quale documento) appartiene la parola ?

Quando si assegnano argomenti a parole, l'algoritmo LDA utilizza quello che è noto come campionamento di Gibbs. La formula di campionamento Gibbs è:

Conoscere le operazioni e gli iperparametri esatti di questa equazione richiede la conoscenza fondamentale delle statistiche e delle tecniche di Markov Chain Monte Carlo (le seconde spesso impiegate nell'apprendimento per rinforzo). Possiamo tuttavia riassumere i componenti principali dell'equazione:

• Il primo rapporto esprime la probabilità dell'argomento t nel documento d. L'algoritmo calcola questa probabilità in base al numero di parole nel documento d che appartengono all'argomento t. Questo chiede essenzialmente: quanto è diffuso l'argomento t nel documento d?
• Il secondo rapporto esprime la probabilità che la parola w ricorra nell'argomento t. L'algoritmo calcola questa probabilità enumerando le occorrenze di w in t rispetto a tutte le parole chiave in t. Questo chiede: con quale frequenza la parola w ricorre nell'argomento t in tutto il resto del corpus?

È opportuno notare che il campionamento di Gibbs è un processo iterativo. Cioè, una parola non viene campionata una sola volta, le viene assegnato un argomento e poi viene messa da parte. Il campionamento di Gibbs passa invece ogni parola attraverso più iterazioni, aggiornando le probabilità argomento-parola alla luce l'una dell'altra.¹³

Esistono numerosi casi d'uso per i modelli di argomento, dalla critica letteraria¹⁴ alla bioinformatica¹⁵ al rilevamento dell'incitamento all'odio nei social media.¹⁶ Come per molte attività di NLP, una percentuale significativa della ricerca sulla modellazione degli argomenti nel corso degli anni riguarda l'inglese e altre lingue latine. Più recentemente, tuttavia, la ricerca ha esplorato gli approcci di modellazione tematica per l'arabo e altre lingue non latine.¹⁷

Le ricerche attuali affrontano anche le metriche di valutazione per i modelli di argomento. In effetti, non esiste una metrica univoca utilizzata per valutare i modelli di argomento, e metriche di valutazione passate hanno adottato approcci qualitativi e quantitativi. Il primo richiede una notevole conoscenza specifica del dominio per valutare l'interpretabilità dei termini chiave della modalità dell'argomento.¹⁸ Le misure quantitative consistono in punteggi di verosimiglianza logaritmica e coerenza, che mirano a misurare la probabilità e la coesione degli argomenti all'interno di un modello.¹⁹ Un'ampia gamma di ricerche sostiene, tuttavia, che tali metriche quantitative potrebbero essere inaffidabili.²⁰

Nel tentativo di risolvere i problemi relativi alla valutazione dei modelli tematici, uno studio analizza le applicazioni di intelligenza artificiale, in particolare i Large Language Models (LLM), come mezzo per progettare e valutare modelli LDA per obiettivi di ricerca specifici. Gli LLM, sostiene lo studio, possono aiutare a risolvere problemi di lunga data nel topic modeling, ovvero come determinare e valutare il numero appropriato di argomenti^.21 Anche altri studi si rivolgono alle applicazioni LLM come mezzo per affrontare il gap di valutazione nel topic modeling.²²