Che cos'è l'analisi semantica latente?

L'LSA è una delle due principali tecniche di modellazione degli argomenti, l'altra è l'allocazione latente di Dirichlet (LDA). La modellazione degli argomenti è una tecnica di elaborazione del linguaggio naturale (NLP) che applica l'apprendimento non supervisionato a set di dati di testo di grandi dimensioni per produrre un set di riepilogo dei termini derivati da tali documenti. Questi termini intendono rappresentare l'insieme generale di argomenti principali della raccolta. I modelli di argomento mirano a scoprire i temi o gli argomenti latenti che caratterizzano un numero di documenti.¹

Gli utenti possono generare modelli di argomenti LSA utilizzando il Natural Language Toolkit (NLTK) di scikit-learn (comunemente noto come sklearn) e gensim in Python. Anche i pacchetti topic models e lsa in R contengono funzioni per generare modelli di argomenti LSA.

L'analisi semantica latente è associata all'indicizzazione semantica latente (LSI), una tecnica di recupero delle informazioni. Nei sistemi di recupero delle informazioni, l'LSI utilizza la stessa procedura matematica alla base dell'LSA per mappare le query degli utenti ai documenti in base alla co-occorrenza delle parole. Se un utente interroga un sistema per valzer e foxtrot, potrebbe essere interessato a documenti che non contengono nessuno di questi termini ma contengono termini che spesso coincidono con i termini di ricerca. Ad esempio, tango e bolero possono spesso coesistere con i termini della ricerca e dovrebbero indicare documenti sullo stesso argomento. L'LSI indicizza i documenti in base a gruppi di parole semantiche latenti costituiti da parole comunemente co-occorrenti. In questo modo, può migliorare i risultati dei motori di ricerca. L'LSA applica la stessa procedura matematica dell'LSI per catturare la struttura semantica nascosta alla base di grandi raccolte di documenti.²

L'LSA inizia con la matrice documento-termine o talvolta con la matrice termine-documento. In questo modo viene visualizzato il numero di occorrenze per ogni parola in tutti i documenti. In Python (per fare un esempio), gli utenti possono costruire queste matrici utilizzando un dataframe di pandas. Ecco un esempio di matrice documento-termine con tre stringhe di testo come singoli documenti:

d1: My love is like red, red roses

d2: Roses are red, violets are blue

d3: Moses supposes his toes-es are roses

Questa matrice mostra la frequenza di ogni parola in tutti e tre i documenti dopo la tokenizzazione e la rimozione delle stop word. Ogni colonna corrisponde a un documento, mentre ogni riga corrisponde a una parola specifica che si trova nell'intero corpus di testo. I valori nella matrice indicano il numero di volte in cui un dato termine appare in un dato documento. Se il termine w ricorre n volte all'interno del documento d, allora [w,d] = n. Così, per esempio, il documento 1 usa "red" due volte, e quindi [red, d1] = 2.

Dalla matrice dei termini del documento, l'LSA produce una matrice documento-documento e una matrice termine-termine. Se le dimensioni della matrice documento-termine sono definite come d documenti per w parole, allora la matrice documento-documento è d volte d e la matrice termine-termine è w volte w. Ogni valore nella matrice documento-documento indica il numero di parole che ogni documento ha in comune. Ogni valore nella matrice termine-termine indica il numero di documenti in cui co-occorrono due termini.³

La scarsità dei dati, che porta all'overfitting del modello, si verifica quando la maggior parte dei valori dei dati in un determinato set di dati è null (ovvero vuota). Ciò accade regolarmente quando si costruiscono matrici documento-termine, per le quali ogni singola parola è una dimensione di riga e spazio vettoriale separata, poiché un documento mancherà regolarmente della maggior parte delle parole che sono più frequenti in altri documenti. In effetti, l'esempio di matrice documento-termine qui utilizzata contiene numerosi usi per parole come Moses, violets e blue che appaiono in un solo documento. Naturalmente, le tecniche di pre-elaborazione del testo, come la rimozione delle parole non significative, lo stemming e la lemmatizzazione, possono aiutare a ridurre la scarsità. Tuttavia, l'LSA offre un approccio più mirato.

L'LSA utilizza una tecnica di riduzione della dimensionalità nota come scomposizione a valore singolare (SVD) per ridurre la scarsità nella matrice documento-termine. L'SVD alimenta molti altri approcci di riduzione delle dimensioni, come l'analisi delle componenti principali. L'SVD aiuta ad alleviare i problemi derivanti dalla polisemia, parole singole che hanno più significati, e dalla sinonimia, parole diverse con un significato simile.

Utilizzando le matrici calcolate dai termini tra le matrici documento-documento e termine-termine, l'algoritmo LSA esegue l'SVD sulla matrice termine-documento iniziale. Questo produce nuove matrici speciali di autovettori che suddividono le relazioni termine-documento originali in fattori linearmente indipendenti. La più importante di queste è la matrice diagonale di valori singolari prodotta dalle radici quadrate degli autovalori della matrice documento-documento. In questa matrice diagonale, spesso rappresentata come Σ, i valori sono sempre positivi e disposti in ordine decrescente lungo la diagonale della matrice:

Come mostrato in questo esempio di matrice Σ, molti dei valori più bassi sono prossimi allo zero. Lo sviluppatore determina un valore di cut-off appropriato per la propria situazione e riduce a zero tutti i valori singolari in Σ al di sotto di tale soglia. Ciò significa in pratica rimuovere tutte le righe e le colonne interamente occupate da zeri. Di conseguenza, eliminiamo righe e colonne anche dalle altre matrici originali fino a farle corrispondere per numero di righe e colonne a Σ. Ciò riduce le dimensioni del modello.⁴

Una volta che le dimensioni del modello sono state ridotte tramite l'SVD, l'algoritmo LSA confronta i documenti in uno spazio semantico dimensionale inferiore utilizzando la similarità del coseno. Il primo passo di questa fase di confronto prevede la mappatura dei documenti nello spazio vettoriale. In questo caso, l'LSA tratta i testi come un modello di bag of words. L'algoritmo traccia ogni testo del corpus o dei corpora come vettore di documenti, con le singole parole della matrice ridotta come dimensioni di tale vettore. La tracciatura ignora l'ordine delle parole e il contesto, concentrandosi invece sulla frequenza con cui le parole ricorrono e sulla frequenza con cui co-occorrono nei documenti.⁵

Con i modelli di bag of words, le parole semanticamente irrilevanti (ad esempio, parole come the e some e altre parole simili) possono avere la frequenza di termini più alta e quindi il maggior peso in un modello. Il Term Frequency-Inverse Document Frequency (TF-IDF) è una tecnica per correggere questo problema. Lo fa tenendo conto della prevalenza di una parola in ogni documento di un set di testo e ponderando le parole in ogni documento in base alla prevalenza della parola nel corpus.⁶

Una volta che i documenti sono stati tracciati nello spazio vettoriale, l'algoritmo LSA utilizza le metriche di similarità del coseno per confrontarli. La similarità del coseno indica la misura dell'angolo tra due vettori nello spazio vettoriale. Può essere qualsiasi valore compreso tra -1 e 1. Più alto è il punteggio del coseno, più i due documenti sono simili. La similarità del coseno è rappresentata da questa formula, dove a e b indicano due vettori di documento:⁷

Esistono numerosi casi d'uso per i modelli di argomento, dalla critica letteraria⁸ alla bioinformatica⁹ al rilevamento dell'incitamento all'odio nei social media.¹⁰ Come per molte attività di NLP, una parte significativa della ricerca sulla modellazione degli argomenti nel corso degli anni riguarda l'inglese e altre lingue latine. Più recentemente, tuttavia, la ricerca ha esplorato gli approcci di modellazione tematica per l'arabo e altre lingue non latine.¹¹ La ricerca si è anche concentrata su come i modelli linguistici di grandi dimensioni (LLM) potrebbero far progredire e migliorare i modelli di argomento. Ad esempio, uno studio sostiene che gli LLM forniscono un metodo automatizzato per risolvere problemi di lunga data nella modellazione degli argomenti, vale a dire come determinare il numero appropriato di argomenti e come valutare gli argomenti generati.¹²