Cosa sono gli incorporamenti di parole?

Lo sviluppo dell'incorporamento per rappresentare il testo ha giocato un ruolo fondamentale nel progresso delle applicazioni di elaborazione del linguaggio naturale (NLP) e machine learning (ML). Gli incorporamenti di parole sono diventati parte integrante di attività quali la classificazione del testo, l'analisi del sentiment, la traduzione automatica e molto altro ancora.

I metodi tradizionali di rappresentazione delle parole in modo che le macchine possano comprenderle, come la codifica one-hot, rappresentano ogni parola come un vettore sparso con una dimensione pari alla dimensione del vocabolario. Qui, solo un elemento del vettore è "hot" (impostato su 1) per indicare la presenza di tale parola. Sebbene sia semplice, questo approccio soffre della maledizione della dimensionalità, ovvero manca di informazioni semantiche e non coglie le relazioni tra le parole.

Gli incorporamenti di parole, d'altro canto, sono vettori densi con valori continui formati utilizzando tecniche di machine learning, spesso basate su reti neurali. L'idea è quella di apprendere rappresentazioni che codificano il significato semantico e le relazioni tra le parole. Le incorporazioni di parole vengono addestrate esponendo un modello a una grande quantità di dati testuali e adattando le rappresentazioni vettoriali in base al contesto in cui le parole appaiono.

Un metodo popolare per l'addestramento degli incorporamenti di parole è Word2Vec, che utilizza una rete neurale per prevedere le parole circostanti di una parola target in un determinato contesto. Un altro approccio ampiamente utilizzato è GloVe (Global Vectors for Word Representation), che utilizza le statistiche globali per creare incorporamenti.

Gli incorporamenti delle parole hanno dimostrato un valore inestimabile per le attività NLP, poiché consentono agli algoritmi di machine learning di comprendere ed elaborare le relazioni semantiche tra parole in modo più sfumato rispetto ai metodi tradizionali.

Gli incorporamenti di parole vengono utilizzati in una varietà di attività di NLP per migliorare la rappresentazione delle parole e acquisire relazioni semantiche, tra cui:

Negli anni 2000, i ricercatori hanno iniziato a esplorare i modelli del linguaggio neurale (NLM), che utilizzano le reti neurali per modellare le relazioni tra le parole in uno spazio continuo. Questi primi modelli hanno gettato le basi per lo sviluppo successivo degli incorporamenti di parole.

Bengio et al. (2003) ha introdotto reti neurali feedforward per la modellazione linguistica. Questi modelli erano in grado di catturare rappresentazioni distribuite di parole, ma erano limitati nella capacità di gestire vocabolari di grandi dimensioni.

I ricercatori, tra cui Mnih e Hinton (2009), hanno esplorato i modelli probabilistici per apprendere rappresentazioni distribuite di parole. Questi modelli si concentravano sull’acquisizione delle relazioni semantiche tra le parole e rappresentavano un passo importante verso gli incorporamenti delle parole.

Il modello Word2Vec, presentato da Tomas Mikolov e dai suoi colleghi a Google nel 2013, ha segnato una svolta significativa. Word2Vec utilizza due modelli, Continuous Bag of Words (CBOW) e Continuous Skip-gram, che apprendono in modo efficiente gli incorporamenti di parole da corpora estesi e sono stati ampiamente adottati grazie alla loro semplicità ed efficacia.

GloVe (Global Vectors for Word Representation), introdotto da Pennington et al. nel 2014, si basa sull'idea di utilizzare le statistiche globali (frequenze di co-occorrenza delle parole) per apprendere le rappresentazioni vettoriali delle parole. È stato utilizzato in varie applicazioni NLP ed è noto per la sua capacità di cogliere relazioni semantiche.

Oggi, con l'affermarsi del deep learning, l'incorporamento dei layer è diventato un componente standard delle architetture di reti neurali per le attività NLP. Gli incorporamenti sono ora utilizzati non solo per le parole, ma anche per entità, frasi e altre unità linguistiche. In gran parte, gli incorporamenti di parole hanno consentito a modelli linguistici come le reti neurali ricorrenti (RNN), reti di memoria a lungo termine (LSTM), Embeddings from Language Models (eLMO), BERT, ALBERT (un BERT alleggerito) e GPT di evolversi a un ritmo così vertiginoso. 

L'obiettivo principale degli incorporamenti di parole è rappresentare le parole in modo da catturarne le relazioni semantiche e le informazioni contestuali. Questi vettori sono rappresentazioni numeriche in uno spazio vettoriale continuo, dove le posizioni relative dei vettori riflettono le somiglianze semantiche e le relazioni tra le parole.

Il motivo per cui i vettori vengono utilizzati per rappresentare le parole è che la maggior parte degli algoritmi di machine learning, comprese le reti neurali, non sono in grado di elaborare il testo normale nella sua forma grezza. Richiedono numeri come input per eseguire qualsiasi attività.

Il processo di creazione delle incorporazioni di parole prevede l'addestramento di un modello su un ampio corpus di testo (ad esempio, Wikipedia o Google News). Il corpus viene pre-elaborato suddividendo il testo in parole, rimuovendo le stop word e la punteggiatura ed eseguendo altre attività di pulizia del testo.

Quindi viene applicata al testo una finestra contestuale "scorrevole" e, per ogni parola target, le parole circostanti all'interno della finestra vengono considerate come parole di contesto. Il modello di incorporamento delle parole è addestrato per prevedere una parola target in base alle parole del contesto o viceversa.

In questo modo i modelli riescono a catturare diversi modelli linguistici e di assegnare a ogni parola un vettore unico, che rappresenta la posizione della parola in uno spazio vettoriale continuo. Le parole con significati simili sono posizionate l'una vicino all'altra, e la distanza e la direzione tra i vettori codificano il grado di somiglianza.

Il processo di addestramento comporta la regolazione dei parametri del modello di incorporamento per ridurre al minimo la differenza tra le parole previste e quelle effettive nel contesto.

Ecco un esempio semplificato di incorporamenti di parole per un corpus molto piccolo (6 parole), dove ogni parola è rappresentata come vettore tridimensionale:

    cat [0,2, -0,4, 0,7]
    cane         [0,6, 0,1, 0,5]
    mela      [0,8, -0,2, -0,3]
    arancia    [0,7, -0,1, -0,6]
    felice     [-0,5, 0,9, 0,2]
    triste         [0,4, -0,7, -0,5]

In questo esempio, ogni parola (ad es. "gatto", "cane", "mela") è associata a un vettore univoco. I valori nel vettore rappresentano la posizione della parola in uno spazio vettoriale tridimensionale continuo. Si prevede che le parole con significati o contesti simili abbiano rappresentazioni vettoriali simili. Ad esempio, i vettori per "gatto" e "cane" sono vicini tra loro, riflettendo la loro relazione semantica. Allo stesso modo, i vettori per "felice" e "triste" hanno direzioni opposte, indicando i loro significati contrastanti.

L'esempio di cui sopra è altamente semplificato a fini illustrativi. Gli incorporamenti di parole effettive hanno in genere centinaia di dimensioni per cogliere relazioni e sfumature di significato più intricate.

Gli incorporamenti di parole sono diventati uno strumento fondamentale nell'NPL, fornendo una base per comprendere e rappresentare il linguaggio in un modo che si allinea con la semantica sottostante di parole e frasi.

Di seguito sono riportati alcuni concetti chiave e sviluppi che hanno reso l'uso delle incorporazioni di parole una tecnica così potente per contribuire al progresso della NLP.

I metodi di incorporamento basati sulla frequenza e sulla previsione rappresentano due grandi categorie di approcci nel contesto dell'incorporamento di parole. Questi metodi differiscono principalmente nel modo in cui generano rappresentazioni vettoriali per le parole.

Gli incorporamenti basati sulla frequenza si riferiscono a rappresentazioni di parole derivate dalla frequenza delle parole in un corpus. Questi incorporamenti si basano sull'idea che l'importanza o il significato di una parola possa essere dedotto dalla frequenza con cui ricorre nel testo.

Un esempio di incorporamenti basati sulla frequenza è il Term Frequency-Inverse Document Frequency (TF-IDF). Il TF-IDF è progettato per evidenziare parole che sono sia frequenti all'interno di un documento specifico che relativamente rare nell'intero corpus, aiutando così a identificare i termini significativi per un particolare documento.

Il punteggio TF-IDF per un termine (parola) in un documento viene calcolato utilizzando la seguente formula:

 TF-IDF (t,d,D) = TF(t,d) x IDF(t, D)

Le applicazioni di TF-IDF includono il recupero delle informazioni, la classificazione dei documenti, il riepilogo del testo e l'estrazione del testo.

Sebbene gli incorporamenti basati sulla frequenza siano semplici e facili da comprendere, mancano della profondità delle informazioni semantiche e della consapevolezza del contesto fornite dagli incorporamenti più avanzati basati sulla previsione.

Gli incorporamenti basati sulla previsione sono rappresentazioni di parole derivate da modelli addestrati per stimare determinati aspetti del contesto di una parola o delle parole vicine. A differenza degli incorporamenti basati sulla frequenza che si concentrano sulle statistiche di occorrenza delle parole, gli incorporamenti basati sulla previsione colgono le relazioni semantiche e le informazioni contestuali, fornendo rappresentazioni più ricche dei significati delle parole.

Le incorporazioni basate sulla previsione possono differenziare i sinonimi e gestire la polisemia (significati multipli di una parola) in modo più efficace. Le proprietà dello spazio vettoriale delle incorporazioni basate sulla predizione consentono di svolgere compiti come la misurazione della somiglianza tra parole e la risoluzione di analogie. Gli incorporamenti basati su previsioni possono anche generalizzare bene con parole o contesti invisibili, rendendoli robusti nella gestione di termini fuori vocabolario.

I metodi basati sulla previsione, in particolare quelli come Word2Vec e GloVe (trattati di seguito), sono diventati dominanti nel campo degli incorporamenti di parole grazie alla capacità di cogliere un significato semantico ricco e di generalizzare bene con vari compiti dell'NLP.

Sviluppato nel 2013 da un team di ricercatori di Google, tra cui Tomas Mikolov, Word2Vec (Word to Vector) è diventato una tecnica fondamentale per l'apprendimento degli incorporamenti delle parole nei modelli di elaborazione del linguaggio naturale (NLP) e di machine learning.

Word2Vec è composto da due modelli principali per la generazione di rappresentazioni vettoriali: Continuous Bag of Words (CBOW) e Continuous Skip-gram.

Nel contesto di Word2Vec, il modello Continuous Bag of Words (CBOW) punta a prevedere una parola di destinazione in base alle parole di contesto circostanti all'interno di una determinata finestra. Utilizza le parole del contesto per prevedere la parola target e gli incorporamenti appresi catturano le relazioni semantiche tra le parole.

Il modello Continuous Skip-gram, invece, prende una parola target come input e mira a prevedere le parole di contesto circostanti.

Data una sequenza di parole in una frase, il modello CBOW prende come input un numero fisso di parole di contesto (parole che circondano la parola target). Ogni parola di contesto è rappresentata come un'incorporazione (vettore) attraverso un layer di incorporamento condiviso. Questi incorporamenti vengono appresi durante il processo di addestramento.

Gli incorporamenti di singole parole di contesto vengono aggregati, in genere sommandoli o calcolandone la media. Questa rappresentazione aggregata funge da input per il layer successivo.

La rappresentazione aggregata viene quindi utilizzata per prevedere la parola target utilizzando una funzione di attivazione softmax. Il modello è addestrato per ridurre al minimo la differenza tra la distribuzione di probabilità prevista nel vocabolario e la distribuzione effettiva (rappresentazione codificata one-hot) per la parola target.

Il modello CBOW viene addestrato regolando i pesi del layer di incorporamento in base alla sua capacità di prevedere accuratamente la parola target.

Il modello Continuous Skip-gram utilizza i dati di addestramento per prevedere le parole del contesto in base all'incorporazione della parola target. Nello specifico, restituisce una distribuzione di probabilità sul vocabolario, indicando la probabilità che ogni parola si trovi nel contesto data la parola di destinazione.

L'obiettivo dell'addestramento è quello di massimizzare la probabilità delle parole effettive del contesto, date le parole target. Ciò comporta la regolazione dei pesi del layer di incorporamento per ridurre al minimo la differenza tra le probabilità previste e la distribuzione effettiva delle parole di contesto. Il modello consente inoltre una dimensione flessibile della finestra contestuale. Può essere regolato in base ai requisiti specifici del compito, consentendo agli utenti di catturare le relazioni di contesto sia locali che globali.

Il modello Skip-gram, essenzialmente, "salta" dalla parola target per prevederne il contesto, un aspetto che lo rende particolarmente efficace nel catturare relazioni semantiche e somiglianze tra le parole.

Entrambi i modelli utilizzati da Word2Vec presentano vantaggi e limitazioni. Skip-gram funziona bene con la gestione di grandi quantità di dati di testo e si è scoperto che rappresenta bene le parole rare. CBOW, d'altra parte, è più veloce e fornisce rappresentazioni migliori per le parole più frequenti.

Per quanto riguarda le limitazioni, Word2Vec potrebbe non gestire efficacemente la polisemia, in cui una singola parola ha più significati. Il modello potrebbe mediare o mescolare le rappresentazioni dei diversi sensi di una parola polisemica. Word2Vec tratta inoltre le parole come unità atomiche e non acquisisce informazioni sulle sottoparole.

Affrontare alcune di queste limitazioni è stata la motivazione per lo sviluppo di modelli più avanzati, come FastText, GloVe e modelli basati sui trasformatori (trattati di seguito), che mirano a superare alcune carenze di Word2Vec.

GloVe (Global Vectors for Word Representation) è un modello di incorporamento delle parole progettato per acquisire informazioni statistiche globali sui modelli di co-occorrenza delle parole in un corpus.

Introdotto da Jeffrey Pennington, Richard Socher e Christopher D. Manning nel 2014, il modello GloVe differisce da Word2Vec sottolineando l'uso di informazioni globali invece di focalizzarsi esclusivamente sul contesto locale.

GloVe si basa sull'idea che le statistiche globali della co-occorrenza delle parole nell'intero corpus siano cruciali per catturare la semantica delle parole. Considera la frequenza con cui le parole coesistono tra loro nell'intero set di dati piuttosto che solo nel contesto locale delle singole parole.

Il modello mira a ridurre al minimo la differenza tra le probabilità di co-occorrenza previste e le probabilità effettive derivate dalle statistiche del corpus.

GLoVE è efficiente dal punto di vista computazionale rispetto ad altri metodi, poiché si basa su statistiche globali e utilizza tecniche di fattorizzazione a matrice per apprendere i vettori delle parole. Il modello può essere addestrato su grandi corpora senza la necessità di ampie risorse computazionali.

GloVe presenta pesi scalari per coppie di parole per controllare l'influenza delle diverse coppie di parole sul processo di formazione. Questi pesi contribuiscono a mitigare l'impatto delle coppie di parole molto frequenti o rare sugli incorporamenti appresi.

A differenza dei modelli Word2Vec (CBOW e Skip-gram), che si concentrano sulla previsione delle parole di contesto data una parola target o viceversa, GloVe utilizza un approccio diverso che prevede l'ottimizzazione dei vettori di parole in base alle probabilità di ricorrenza. Il processo di addestramento è progettato per apprendere incorporamenti che catturano efficacemente le relazioni semantiche tra parole.

Il primo passo è costruire una matrice di co-occorrenza che rappresenta la frequenza con cui le parole compaiono insieme nel corpus.

Successivamente si formula una funzione obiettivo che descrive la relazione tra i vettori di parole e le loro probabilità di co-occorrenza.

La funzione obiettivo è ottimizzata utilizzando la discesa del gradiente o altri algoritmi di ottimizzazione. L'obiettivo è regolare i vettori e le distorsioni delle parole per ridurre al minimo la differenza al quadrato tra le probabilità di co-occorrenza logaritmica previste ed effettive.

Gli utenti possono scaricare le integrazioni di GloVe pre-addestrate e metterle a punto per applicazioni specifiche o utilizzarle direttamente.

Gli incorporamenti GloVe sono ampiamente utilizzati nelle attività di NLP, come la classificazione del testo, l'analisi del sentiment, la traduzione automatica e molto altro ancora.

GloVe eccelle in scenari in cui l'acquisizione di relazioni semantiche globali, la comprensione del contesto complessivo delle parole e l'utilizzo delle statistiche di co-occorrenza sono fondamentali per il successo delle attività di elaborazione del linguaggio naturale.

Il successo di Word2Vec e GloVe ha ispirato ulteriori ricerche su modelli di rappresentazione linguistica più sofisticati, come FastText, BERT e GPT. Questi modelli utilizzano gli incorporamenti di sottoparole, i meccanismi di attenzione e i trasformatori per gestire efficacemente gli incorporamenti di dimensioni superiori.

Le incorporazioni di sottoparole, come FastText, rappresentano le parole come combinazioni di unità di sottoparole, offrendo maggiore flessibilità e gestendo parole rare o al di fuori del vocabolario. Le incorporazioni di sottoparole migliorano la robustezza e la copertura delle incorporazioni di parole.

A differenza di GloVe, FastText incorpora le parole trattando ogni parola come composta da n-grammi di caratteri invece che da una parola intera. Questa funzione gli consente non solo di apprendere parole rare ma anche parole al di fuori del vocabolario.

I meccanismi di attenzione e i modelli di trasformatore considerano le informazioni contestuali e le relazioni bidirezionali tra le parole, portando a rappresentazioni linguistiche più avanzate.

I meccanismi di attenzione sono stati introdotti per migliorare la capacità delle reti neurali di concentrarsi su parti specifiche della sequenza di input durante le previsioni. Invece di trattare tutte le parti dell’input allo stesso modo, i meccanismi di attenzione consentono al modello di prestare attenzione selettivamente alle porzioni rilevanti dell’input.

I trasformatori sono diventati la spina dorsale di vari modelli all'avanguardia in NLP, tra cui BERT, GPT e T5 (Text-to-Text Transfer Transformer), tra gli altri. Eccellono in attività come la modellazione linguistica, la traduzione automatica, la generazione di testo e la risposta alle domande.

I trasformatori utilizzano un meccanismo di auto-attenzione per catturare le relazioni tra diverse parole in una sequenza. Questo meccanismo consente a ciascuna parola di occuparsi di tutte le altre parole nella sequenza, catturando dipendenze a lungo raggio.

I trasformatori consentono una maggiore parallelizzazione durante l'addestramento rispetto agli RNN e sono efficienti dal punto di vista computazionale.