Cosa si intende per riduzione della dimensionalità?

La riduzione della dimensionalità è un metodo per rappresentare un determinato set di dati usando un numero inferiore di caratteristiche (ovvero dimensioni) pur continuando a catturare le proprietà significative dei dati originali.¹ Questo equivale a eliminare caratteristiche irrilevanti o ridondanti, o semplicemente dati rumorosi, per creare un modello con un numero inferiore di variabili. La riduzione della dimensionalità copre una serie di metodi di selezione delle caratteristiche e la compressione dei dati usati durante la pre-elaborazione. Sebbene i metodi di riduzione della dimensionalità differiscano nel funzionamento, tutti trasformano gli spazi ad alta dimensionalità in spazi a bassa dimensionalità attraverso l'estrazione o la combinazione variabile.

Nel machine learning, le dimensioni (o caratteristiche) sono le variabili predittive che determinano l'output di un modello. Possono anche essere chiamate variabili di input. I dati ad alta dimensionalità indicano qualsiasi set di dati con un elevato numero di variabili predittive. Tali set di dati possono comparire frequentemente nella biostatistica, così come negli studi osservazionali delle scienze sociali, in cui il numero di punti dati (cioè di osservazioni) supera il numero di variabili predittive.

I set di dati ad alta dimensionalità pongono una serie di problemi pratici per gli algoritmi di machine learning, come l'aumento del tempo di calcolo, lo spazio di storage per i big data e così via. Ma la preoccupazione più grande è forse la diminuzione dell'accuratezza nei modelli predittivi. I modelli statistici e di machine learning addestrati su set di dati ad alta dimensionalità spesso generalizzano in modo scadente.

Il problema della dimensionalità si riferisce alla relazione inversa tra l'aumento delle dimensioni del modello e la diminuzione della generalizzabilità. Con l'aumentare del numero di variabili di input del modello, ne aumenta lo spazio. Se il numero di punti dati rimane invariato, tuttavia, i dati diventano sparsi. Questo significa che la maggior parte dello spazio delle caratteristiche del modello è vuoto, cioè senza punti dati osservabili. Con l'aumentare della scarsità dei dati, i punti dati diventano così diversi che i modelli predittivi diventano meno efficaci nell'individuare i modelli esplicativi.²

Per spiegare adeguatamente i pattern nei dati sparsi, potrebbe verificarsi l'overfitting dei dati di addestramento da parte dei modelli. In questo modo, l'aumento della dimensionalità può portare a una scarsa generalizzabilità. L'alta dimensionalità può inibire ulteriormente l'interpretabilità del modello inducendo la multicollinearità. Con l'aumentare della quantità di variabili del modello, aumenta anche la possibilità che alcune variabili siano ridondanti o correlate.

La raccolta di più dati può ridurre la scarsità dei dati e quindi compensare il problema della dimensionalità. All'aumentare del numero di dimensioni in un modello, tuttavia, il numero di punti dati necessari per impedire il problema della dimensionalità aumenta in modo esponenziale.³ La raccolta di dati sufficienti non è, ovviamente, sempre fattibile. Da qui, la necessità di ridurre la dimensionalità per migliorare l'analisi dei dati.

Le tecniche di riduzione della dimensionalità generalmente riducono i modelli a uno spazio dimensionale inferiore estraendo o combinando le caratteristiche del modello. Al di là di questa somiglianza di base, tuttavia, gli algoritmi di riduzione della dimensionalità variano.

L'analisi dei componenti principali (PCA) è forse il metodo di riduzione della dimensionalità più diffuso. È una forma di estrazione delle caratteristiche, che combina e trasforma le caratteristiche originali del set di dati per produrre nuove caratteristiche, denominate componenti principali. Fondamentalmente, la PCA seleziona un sottoinsieme di variabili da un modello e insieme costituiscono la maggior parte o tutta la varianza presente nel set originale di variabili. La PCA proietta quindi i dati su un nuovo spazio definito da questo sottoinsieme di variabili.⁴

Ad esempio, immagina di avere un set di dati sui serpenti con cinque variabili: lunghezza del corpo (X₁), diametro del corpo nel punto più largo (X₂), lunghezza dei denti (X₃), peso (X₄) ed età (X₅). Certo, alcune di queste cinque caratteristiche possono essere correlate, come la lunghezza del corpo, il diametro e il peso. Questa ridondanza nelle caratteristiche può portare a dati sparsi e all'overfitting, diminuendo la varianza (o generalizzabilità) di un modello generato da tali dati. La PCA calcola una nuova variabile (PC₁) da questi dati che fonde due o più variabili e ne massimizza la varianza. Combinando variabili potenzialmente ridondanti, la PCA crea inoltre un modello con meno variabili rispetto al modello iniziale. Pertanto, dal momento che il nostro set di dati è partito da cinque variabili (vale a dire, pentadimensionale), il modello ridotto può avere da una a quattro variabili (vale a dire, da una a quattro dimensioni). I dati vengono quindi mappati su questo nuovo modello.⁵

Questa nuova variabile non è una delle cinque variabili originali ma una caratteristica combinata calcolata attraverso una trasformazione lineare della matrice di covarianza dei dati originali. Nello specifico, il nostro componente principale combinato è l'autovettore corrispondente all'autovalore più grande della matrice di covarianza. Possiamo inoltre creare componenti principali aggiuntivi combinando altre variabili. Il secondo componente principale è l'autovettore del secondo autovalore più grande, e così via.⁶

L'analisi discriminante lineare (LDA) è simile alla PCA in quanto proietta i dati su un nuovo spazio dimensionale inferiore, le cui dimensioni sono derivate dal modello iniziale. La LDA differisce dalla PCA per la preoccupazione di mantenere le etichette di classificazione nel set di dati. Mentre la PCA produce nuove variabili componenti destinate a massimizzare la varianza dei dati, la LDA produce variabili componenti che massimizzano anche la differenza di classe nei dati.⁷

I passaggi per l'implementazione della LDA sono simili a quelli per la PCA. L'eccezione principale è che la prima usa la matrice di dispersione, mentre la seconda usa la matrice di covarianza. Altrimenti, proprio come nella PCA, la LDA calcola combinazioni lineari delle caratteristiche originali dei dati che corrispondono ai più grandi autovalori della matrice di dispersione. Uno degli obiettivi della LDA è massimizzare la differenza interclasse riducendo al minimo la differenza intraclasse.⁸

LDA e PCA sono tipi di algoritmi di riduzione della dimensionalità lineare. L'incorporamento del vicino stocastico distribuito a T (t-SNE), tuttavia, è una forma di riduzione della dimensionalità non lineare (o apprendimento multiplo). Con l'obiettivo di preservare principalmente la varianza del modello, LDA e PCA si concentrano sul mantenimento della distanza tra punti dati dissimili nelle loro rappresentazioni dimensionali inferiori. Al contrario, t-SNE mira a preservare la struttura dei dati locali riducendo le dimensioni del modello. t-SNE differisce inoltre da LDA e PCA in quanto questi ultimi due possono produrre modelli con più di tre dimensioni, purché il modello generato abbia dimensioni inferiori rispetto ai dati originali. t-SNE, tuttavia, visualizza tutti i set di dati in tre o due dimensioni.

Come metodo di trasformazione non lineare, t-SNE rinuncia alle matrici di dati. Invece, t-SNE usa un kernel gaussiano per calcolare la somiglianza a coppie dei punti dati. I punti vicini l'uno all'altro nel set di dati originale hanno una maggiore probabilità di essere vicini rispetto a quelli più lontani. t-SNE mappa quindi tutti i punti dati su uno spazio tridimensionale o bidimensionale, tentando di preservare le coppie di dati.⁹

Esistono numerosi metodi aggiuntivi di riduzione della dimensionalità, come la PCA del kernel, l'analisi fattoriale, le foreste casuali e la scomposizione dei valori singolari (SVD). PCA, LDA e t-SNE sono tra i più utilizzati e discussi. Si noti che diversi pacchetti e librerie, come scikit-learn, sono precaricati con funzioni per l'implementazione di queste tecniche.

La riduzione della dimensionalità è stata spesso impiegata ai fini della visualizzazione dei dati.