Cos'è l'analisi delle componenti principali (PCA)?

La PCA, il cui sviluppo è attribuito a Karl Pearson, ha guadagnato popolarità grazie alla maggiore disponibilità di computer, che ha consentito calcoli statistici multivariati¹ su larga scala. La PCA è molto efficace per visualizzare ed esplorare set di dati ad alta dimensionalità, o dati con molte caratteristiche, in quanto può identificare facilmente tendenze, modelli o outlier.

La PCA è comunemente utilizzata per la pre-elaborazione dei dati da utilizzare con algoritmi di machine learning. È in grado di estrarre le caratteristiche più informative da set di dati di grandi dimensioni, preservando le informazioni più rilevanti dal set di dati iniziale. Questo riduce la complessità del modello, poiché l'aggiunta di ogni nuova caratteristica influisce negativamente sulle sue prestazioni, un fenomeno comunemente noto come "la maledizione della dimensionalità". 

Proiettando un set di dati ad alta dimensionalità in uno spazio di caratteristiche più piccolo, la PCA riduce al minimo, o elimina del tutto, problemi comuni come la multicollinearità e l'overfitting. La multicollinearità si verifica quando due o più variabili indipendenti sono altamente correlate tra di loro, il che può essere problematico per la modellazione causale. I modelli overfit si generalizzeranno male ai nuovi dati, diminuendone del tutto il valore. La PCA è un approccio comunemente utilizzato nell'analisi di regressione, ma è anche impiegata per una varietà di casi d'uso, come il riconoscimento dei modelli, l'elaborazione dei segnali, l'elaborazione delle immagini e molto altro.

Sebbene ci siano altre varianti della PCA, come la regressione delle componenti principali e la PCA kernel, questo articolo si concentrerà sul metodo principale presente nella letteratura attuale.

La PCA è una tecnica di riduzione delle dimensioni come l'analisi discriminante lineare (LDA). A differenza della LDA, la PCA non si limita alle attività di apprendimento supervisionato. Per le attività di apprendimento non supervisionato, questo significa che la PCA può ridurre le dimensioni senza dover considerare le etichette di classe o le categorie. La PCA è anche strettamente correlata all'analisi fattoriale. Entrambe riducono il numero di dimensioni o variabili in un set di dati, riducendo al minimo la perdita di informazioni. La PCA scompone le variabili in un sottoinsieme di componenti principali linearmente indipendenti. L'analisi fattoriale, tuttavia, è generalmente utilizzata per comprendere le strutture sottostanti dei dati, concentrandosi su variabili latenti o fattori non misurati, che catturano la dispersione di una variabile.

La PCA e il k-means clustering sono tecniche di machine learning non supervisionato utilizzate per l'analisi dei dati, tuttavia com obiettivi e metodi diversi. La PCA è utilizzata per ridurre la dimensionalità dei dati, mentre il k-means clustering raggruppa i punti dati in base alla similarità. La tecnica selezionata dipenderà dal set di dati specifico e dagli obiettivi dell'analisi.

La PCA crea nuove variabili, come le componenti principali, che sono combinazioni lineari delle variabili originali. La PCA prende come input un set di dati con più variabili e produce un set di dati in un sottospazio inferiore, ovvero un set di dati ridotto con meno variabili. Viene spesso utilizzata nell'analisi esplorativa dei dati per la creazione di modelli predittivi, ma viene anche utilizzata nella pre-elaborazione dei dati per la riduzione della dimensionalità.

K-means è un algoritmo di clustering che assegna punti dati ai cluster in base alla loro distanza dai centri del cluster. Prende come input un set di dati con più variabili e produce un set di cluster con punti dati simili. Viene spesso utilizzato per raggruppare i dati per una varietà di casi d'uso, come la segmentazione delle immagini, la segmentazione dei clienti e il rilevamento delle anomalie.

La PCA riassume il contenuto informativo di grandi set di dati in un insieme più piccolo di variabili non correlate, note come componenti principali. Queste componenti principali sono combinazioni lineari delle variabili originali che hanno la massima varianza rispetto ad altre combinazioni lineari. Queste componenti catturano quante più informazioni possibili dal set di dati originale.

Questa tecnica statistica coinvolge sia l'algebra lineare sia le operazioni sulle matrici e trasforma il set di dati originale in un nuovo sistema di coordinate strutturato in base alle componenti principali. Gli autovettori e gli autovalori della matrice di covarianza che sostengono le componenti principali consentono l'analisi di queste trasformazioni lineari.

Immagina di aver mappato un set di dati con più caratteristiche, ottenendo un grafico a dispersione multidimensionale. Gli autovettori forniscono la direzione della varianza nel grafico a dispersione. Gli autovalori sono i coefficienti degli autovettori; essi denotano l'importanza di questi dati direzionali. Pertanto, un autovalore elevato indica che l'autovettore corrispondente è più critico. Poiché le componenti principali rappresentano le direzioni della massima varianza nei dati, sono anche gli autovettori della matrice di covarianza.

Nella PCA vengono calcolate due componenti principali: la prima componente principale (PC1) e la seconda componente principale (PC2).

La prima componente principale (PC1) è la direzione nello spazio lungo la quale i punti dati presentano la varianza più alta o maggiore. È la linea che rappresenta meglio la forma dei punti proiettati. Maggiore è la variabilità catturata nella prima componente, maggiore è l'informazione conservata dal set di dati originale. Nessun'altra componente principale può avere una variabilità superiore.

Calcoliamo la seconda componente principale (PC2) allo stesso modo della PC1. La PC2 rappresenta la varianza più elevata successiva nel set di dati e non deve essere correlata con la PC1. Ciò significa che la PC2 deve essere ortogonale, cioè perpendicolare, alla PC1. Questa relazione può essere espressa anche come correlazione tra PC1 e PC2 uguale a zero.

In genere, viene utilizzato un grafico a dispersione per mostrare la relazione tra PC1 e PC2 quando si applica la PCA a un set di dati. Gli assi PC1 e PC2 saranno perpendicolari l'uno all'altro.

Se ci sono componenti successive, queste manterranno le stesse proprietà, in quanto non saranno correlate con altre componenti e spiegheranno qualsiasi variazione residua.

Il processo di calcolo della PCA è riassunto nei passaggi seguenti, che illustrano come vengono calcolate le componenti principali e come si relazionano ai dati originali.

Poiché la PCA può propendere verso caratteristiche specifiche, è importante valutare se sia necessaria la normalizzazione dei dati. I dati dovrebbero rispecchiare una distribuzione normale con una media pari a zero e una deviazione standard pari a uno.

In questa fase, i valori medi delle variabili vengono calcolati e sottratti dal set di dati originale in modo che ogni variabile contribuisca equamente all'analisi. Questo valore viene poi diviso per la deviazione standard di ciascuna variabile, in modo che tutte le variabili utilizzino la stessa scala.

La covarianza (cov) misura la forte correlazione di due o più variabili. La matrice di covarianza riassume le covarianze associate a tutte le combinazioni di coppie delle variabili iniziali nel set di dati. Il calcolo della matrice di covarianza aiuta a identificare le relazioni tra le variabili, ovvero il modo in cui le variabili variano rispetto alla propria media l'una in confronto all'altra. Questa matrice di dati è una matrice simmetrica, il che significa che le combinazioni di variabili possono essere rappresentate come d × d, dove d è il numero di dimensioni. Ad esempio, per un set di dati tridimensionale, ci sarebbero 3 × 3 o 9 combinazioni di variabili nella matrice di covarianza.

Il segno delle variabili nella matrice ci dice se le combinazioni sono correlate:

• Positivo (le variabili sono correlate e aumentano o diminuiscono contemporaneamente)
  
  
• Negativo (le variabili non sono correlate, il che significa che una diminuisce mentre l'altra aumenta)
  
  
• Zero (le variabili non sono correlate tra loro)

Qui, calcoliamo gli autovettori (componenti principali) e gli autovalori della matrice di covarianza. Come autovettori, le componenti principali rappresentano le direzioni della massima varianza nei dati. Gli autovalori rappresentano la quantità di varianza in ciascuna componente. La classificazione degli autovettori in base agli autovalori identifica l'ordine delle componenti principali.

In questa fase decidiamo quali componenti conservare e quali scartare. Le componenti con autovalori bassi non sono generalmente così significative. Gli scree plot generalmente tracciano la proporzione di varianza totale spiegata e la proporzione cumulativa di varianza. Queste metriche aiutano a determinare il numero ottimale di componenti da conservare. Il punto in cui l'asse Y degli autovalori o della varianza totale spiegata crea un "gomito" indicherà generalmente quante componenti PCA vogliamo includere.

Infine, i dati vengono trasformati nel nuovo sistema di coordinate definito dalle componenti principali. Vale a dire che il vettore delle caratteristiche creato dagli autovettori della matrice di covarianza proietta i dati sui nuovi assi definiti dalle componenti principali. Questo crea nuovi dati, catturando la maggior parte delle informazioni ma con meno dimensioni rispetto al set di dati originale.

Un grafico PCA è un diagramma a dispersione creato utilizzando le prime due componenti principali come assi. La prima componente principale (PC1) è l'asse x e la seconda componente principale (PC2) è l'asse y. Il grafico a dispersione mostra le relazioni tra le osservazioni (punti dati) e le nuove variabili (le componenti principali). La posizione di ciascun punto mostra i valori di PC1 e PC2 per quell'osservazione.

La direzione e la lunghezza delle frecce del tracciato indicano i carichi delle variabili, ovvero il contributo di ciascuna variabile alle componenti principali. Se una variabile ha un carico elevato per una determinata componente, è fortemente correlata a quella componente. Questo può evidenziare quali variabili hanno un impatto significativo sulle variazioni dei dati.

Il numero di componenti principali che rimangono dopo l'applicazione della PCA può aiutare a interpretare l'output dei dati. La prima componente principale spiega la maggior parte della varianza dei dati e ogni componente successiva spiega una varianza minore. Pertanto, il numero di componenti può indicare la quantità di informazioni conservate dal set di dati originale. Un numero ridotto di componenti dopo aver applicato la PCA potrebbe indicare che non è stata catturata gran parte della variazione dei dati. Più componenti indicano una maggiore variazione dei dati, ma i risultati potrebbero essere più difficili da interpretare. È possibile decidere il numero ottimale di componenti da mantenere utilizzando uno scree plot o la varianza spiegata cumulativa.

L'applicazione della PCA può aiutare a pre-elaborare o estrarre le caratteristiche più informative da set di dati con molte variabili. La pre-elaborazione riduce la complessità preservando le informazioni rilevanti. Gli scenari comuni che utilizzano la PCA includono:

La PCA è stata applicata anche nel settore sanitario. Ad esempio, ha contribuito a diagnosticare malattie in modo più precoce e accurato. L'articolo Breast Cancer Prediction using Principal Component Analysis with Logistic Regression analizza un noto set di dati sul tumore al seno² raccolto da pazienti dell'Università del Wisconsin, Madison. Akbar, l'autore dello studio, utilizza la PCA per ridurre le dimensioni dei sei diversi attributi dei dati:

• mean_radius di un nodulo al seno
  
  
• mean_texture dell'immagine a raggi X
  
  
• mean_perimeter del nodulo
  
  
• mean_area del nodulo
  
  
• mean_smoothness dell'immagine
  
  
• diagnosi (indipendentemente dal fatto che al paziente sia stato diagnosticato un cancro o meno).

Un algoritmo di classificazione di apprendimento supervisionato, la regressione logistica, è stato quindi applicato per prevedere la presenza di un cancro al seno.

Sono disponibili molte altre tecniche di riduzione della dimensionalità, tra cui l'analisi discriminante lineare, la random forest, l'approssimazione e proiezione di varietà uniformi (UMAP) e il t-distributed stochastic neighbor (t-SNE). Per valutare se la PCA sia l'approccio giusto per la tua analisi, considera i seguenti fattori:

• Linearità: la PCA è una tecnica lineare, mentre altre tecniche come t-SNE e UMAP non lo sono. Ciò significa che la PCA è più adatta per i set di dati con relazioni lineari tra le variabili. Le tecniche non lineari sono più adatte ai set di dati con relazioni non lineari o più complesse tra le variabili.
  
  
• Calcolo: la PCA utilizza operazioni di calcolo su matrice per gestire in modo efficiente grandi set di dati. Altre tecniche, come t-SNE e UMAP, sono costose e potrebbero non essere adatte a set di dati di grandi dimensioni.
  
  
• Conservazione delle informazioni: la PCA mantiene la quantità massima di varianza nei dati. t-SNE e UMAP si concentrano sulla conservazione della struttura locale dei dati. La PCA è quindi più adatta per identificare le variabili di dati più importanti. Le tecniche non lineari sono più adatte per visualizzare i dati in dimensioni inferiori.
  
  
• Estrazione delle caratteristiche: la PCA è una tecnica di estrazione delle caratteristiche. Produce nuove variabili che sono combinazioni lineari delle variabili originali. Altre tecniche (come UMAP e t-SNE) non creano nuove variabili. Ciò significa che la PCA è in grado di identificare le variabili più importanti nei dati. Le tecniche non lineari sono più adatte per visualizzare i dati in dimensioni inferiori.