Che cos'è la multicollinearità?

La collinearità indica quando due variabili indipendenti in un'analisi di regressione sono esse stesse correlate; la multicollinearità significa quando più di due variabili indipendenti sono correlate.¹ Il loro opposto è l'ortogonalità, che indica quando le variabili indipendenti non sono correlate. La multicollinearità impedisce ai modelli predittivi di produrre previsioni accurate aumentando la complessità del modello e l'overfitting.

Un'equazione di regressione lineare multivariata standard è:

Y è l'output previsto (variabile dipendente) e X è qualsiasi predittore (variabile indipendente o esplicativa). B è il coefficiente di regressione associato e misura la variazione in Y per ogni unità di variazione nel predittore di accompagnamento (X_n) assumendo che tutti gli altri predittori rimangano costanti. X₀ è il valore della variabile di risposta (Y) quando la variabile indipendente è uguale a zero. Questo valore finale è anche chiamato intercetta y.²

Naturalmente, questa equazione polinomiale ha lo scopo di misurare e mappare la correlazione tra Y e X_n. In un modello predittivo ideale, nessuna delle variabili indipendenti (X_n) è di per sé correlata. Tuttavia, questo accade spesso nei modelli che usano dati del mondo reale, in particolare quando sono progettati con numerose variabili indipendenti.

Quando si crea un modello predittivo, è necessario calcolare i coefficienti, poiché raramente sono noti a priori. Per stimare i coefficienti di regressione, utilizziamo uno stimatore di coefficienti di matrice dei minimi quadrati ordinari (OLS) standard:

Per capire le operazioni di questa formula è necessario avere familiarità con la notazione matriciale. Al momento, tuttavia, tutto quello che dobbiamo capire è che la dimensione e il contenuto della matrice X sono determinati dalle variabili indipendenti scelte come parametri del modello. Inoltre, il grado di correlazione tra le variabili predittive, note come coefficienti di correlazione e rappresentate da —, viene usato nel calcolo dei coefficienti di regressione tra X e Y.³

Quando variabili indipendenti vengono incluse o escluse dal modello, i coefficienti stimati per qualsiasi predittore possono cambiare drasticamente, rendendo le stime dei coefficienti inaffidabili e imprecise. La correlazione tra due o più predittori crea difficoltà nel determinare l'impatto individuale di una qualsiasi variabile sull'output del modello. Ricorda che un coefficiente di regressione misura l'effetto di una data variabile predittiva sull'output supponendo che gli altri predittori rimangano costanti. Tuttavia, se i predittori sono correlati, potrebbe non essere possibile isolarli. Pertanto, i coefficienti di regressione stimati per le variabili multicollineari non riflettono l'effetto di alcun predittore sull'output, ma piuttosto l'effetto parziale del predittore, a seconda delle covariate presenti nel modello.⁴

Inoltre, diversi campioni di dati, o anche piccoli cambiamenti nei dati, con le stesse variabili multicollineari possono produrre coefficienti di regressione molto diversi. Questo è forse il problema di multicollinearità più conosciuto: l'overfitting. L'overfitting indica modelli con basso errore di addestramento ed elevato errore di generalizzazione. Come accennato, la significatività statistica di una qualsiasi variabile multicollineare rimane poco chiara a causa del rumore relazionale con le altre. Questo impedisce di calcolare con precisione la significatività statistica di ogni singola variabile sull'output del modello, che è ciò che la stima del coefficiente indica in gran parte. Dal momento che la multicollinearità impedisce il calcolo di stime precise dei coefficienti, i modelli multicollineari non riescono a generalizzare su dati non visibili. Di conseguenza, i coefficienti stimati per le variabili multicollineari possiedono una grande variabilità, nota anche come grande errore standard.⁵

I libri di testo e gli articoli di statistica a volte si dividono tra multicollinearità estrema e perfetta. La multicollinearità perfetta indica quando una variabile indipendente presenta una correlazione lineare perfetta con una o più variabili indipendenti. La multicollinearità estrema si verifica quando un predittore è altamente correlato con una o più variabili indipendenti aggiuntive.⁶ Questi sono i due principali livelli di multicollinearità.

Non esistono tanto forme discrete di multicollinearità quanto diverse potenziali cause. Queste cause possono variare dalla natura dei dati presi in considerazione a esperimenti mal progettati. Alcune cause comuni sono le seguenti:

- Raccolta dati Questa multicollinearità basata sui dati si può verificare se si campiona un sottospazio non rappresentativo dei dati in questione. Ad esempio, Montgomery et al. fanno l'esempio di un set di dati di consegna della supply chain in cui distanza e dimensione dell'ordine sono variabili indipendenti di un modello predittivo. Nei dati forniti, le dimensioni dell'inventario degli ordini sembrano aumentare con la distanza di consegna. La soluzione a questa correlazione è semplice: raccogliere e includere campioni di dati per consegne a breve distanza con inventari di grandi dimensioni o viceversa.⁷

- Vincoli del modello È simile alla causa della raccolta dei dati, anche se non è la stessa cosa. La multicollinearità può derivare dalla natura dei dati e dalle variabili del modello predittivo in questione. Immagina di creare un modello predittivo per misurare la soddisfazione dei dipendenti sul posto di lavoro, in cui le ore lavorate a settimana e lo stress sono due dei numerosi fattori predittivi. Tra questi predittori potrebbe esserci una correlazione a causa della natura dei dati: le persone che lavorano di più probabilmente riferiranno di essere più stressate. Una situazione simile può verificarsi se anche formazione e stipendio sono fattori predittivi modello: i dipendenti con una formazione migliore probabilmente guadagneranno di più. In questo caso, la raccolta di più dati potrebbe non risolvere il problema, poiché la multicollinearità è intrinseca ai dati stessi.

- Modello sovradefinito La multicollinearità può verificarsi quando vi sono più predittori del modello che punti di osservazione dei dati. Questo problema si verifica in particolare nella biostatistica o in altri studi biologici. La risoluzione di modelli sovradefiniti richiede l'eliminazione completa di alcuni predittori dal modello. Ma come stabilire quali eliminare? Si possono condurre diversi studi preliminari usando sottoinsiemi di regressori (cioè predittori) oppure usare l'analisi delle componenti principali (PCA) per combinare variabili multicollineari.⁸

Determinati tipi di dati possono portare alla multicollinearità. I dati delle serie temporali sono i principali tra questi. I fattori di crescita e di tendenza, in particolare in economia, spesso si muovono nella stessa direzione nel tempo, producendo facilmente multicollinearità. Inoltre, gli studi osservazionali nelle scienze sociali favoriscono facilmente la multicollinearità, in quanto numerose variabili socioeconomiche (ad esempio reddito istruzione, affiliazione politica e così via) sono spesso correlate e non controllate dai ricercatori.⁹

La multicollinearità può anche derivare dalla manipolazione di variabili predittive. In alcuni casi, è possibile usare i valori quadratici o ritardati delle variabili indipendenti come nuovi predittori del modello. Naturalmente, questi nuovi predittori condivideranno un'alta correlazione con le variabili indipendenti da cui sono stati derivati.¹⁰ Questo è un esempio di multicollinearità strutturale.

Di per sé, coefficienti stimati elevati possono indicare la presenza di multicollinearità, così come grandi cambiamenti nei coefficienti stimati quando un singolo predittore (o anche un punto dati) viene aggiunto o eliminato dal modello. Anche i coefficienti con ampi intervalli di confidenza sono indicativi di multicollinearità. Può capitare che vi siano coefficienti che presentano segni o grandezze contrarie alle aspettative desunte dall'analisi preliminare dei dati possono indicare multicollinearità. Naturalmente, nessuno di questi conferma definitivamente la multicollinearità né fornisce misure quantitative.¹¹ Tuttavia, diversi metodi diagnostici aiutano a farlo.

Due strumenti relativamente semplici per misurare la multicollinearità sono un grafico a dispersione e una matrice di correlazione di variabili indipendenti. Quando si utilizza un grafico a dispersione, si tracciano i valori delle variabili indipendenti per ogni punto dati, uno contro l'altro. Se il grafico a dispersione rivela una correlazione lineare tra le variabili scelte, potrebbe essere presente un certo grado di multicollinearità. Questa figura illustra i dati multicollineari in un grafico a dispersione utilizzando l'esempio del set di dati di consegna di Montgomery et al.

Un altro metodo diagnostico consiste nel calcolare una matrice di correlazione per tutte le variabili indipendenti. Gli elementi della matrice sono i coefficienti di correlazione tra ciascun predittore in un modello. Il coefficiente di correlazione è un valore compreso tra -1 e 1 che misura il grado di correlazione tra due predittori. Tieni presente come la matrice contiene una diagonale di 1 perché ogni variabile ha una perfetta correlazione con se stessa. Quanto più alto è un dato elemento della matrice, tanto maggiore è il grado di correlazione tra di essi.¹²

Il fattore di inflazione della varianza (VIF) è il metodo più comune per determinare il grado di multicollinearità nei modelli di regressione lineare. Ogni predittore del modello ha un valore VIF che misura quanto la sua varianza viene gonfiata dagli altri predittori del modello.

L'algoritmo VIF contiene diversi passaggi, ma la spiegazione completa di questo algoritmo esula dallo scopo di questo articolo. Basti dire che il VIF misura la proporzione della varianza di una variabile scelta determinata dalle altre variabili indipendenti del modello. L'equazione che rappresenta VIF è:

R-quadrato (R²) indica il coefficiente di determinazione multipla ottenuto regredendo una variabile indipendente rispetto a tutte le altre.¹³ Il termine più basso dell'equazione VIF è la tolleranza, un concetto distinto dagli intervalli di tolleranza. La tolleranza è l'inverso del VIF. Sebbene molto meno discusso in letteratura, è comunque un altro mezzo valido per calcolare la multicollinearità.¹⁴

Maggiore è il valore VIF, maggiore è il grado di multicollinearità. Non esiste un valore di cutoff VIF che determini un modello "buono" o "cattivo". Tuttavia, una regola empirica ampiamente ripetuta è che un valore VIF maggiore o uguale a dieci indica una grave multicollinearità.¹⁵

Tieni presente che R e Python contengono funzioni per il calcolo del VIF. Rispettivamente, la funzione vif() nel pacchetto car di R e la funzione variance_inflation_factor() nel modulo statsmodels.stats di Python possono calcolare il VIF per un modello designato.¹⁶

Come accennato in precedenza, le semplici correzioni per la multicollinearità vanno dalla diversificazione o dall'ampliamento della dimensione del campione dei dati di addestramento alla rimozione totale dei parametri. Diverse tecniche di regolarizzazione aiutano anche a correggere il problema della multicollinearità. La regressione ridge è un metodo ampiamente raccomandato che, coinvolgendo la penalizzazione dei coefficienti di alto valore, diminuisce l'impatto dei predittori multicollineari sull'output del modello. In modo simile, la regressione lasso penalizza i coefficienti di valore elevato. La differenza principale tra i due è che la regressione ridge riduce semplicemente i valori dei coefficienti quasi a zero, mentre la regressione lasso può ridurre i coefficienti a zero, rimuovendo efficacemente le variabili indipendenti dal modello.