Qu’est-ce que la multicolinéarité ?

On parle de colinéarité quand deux variables indépendantes d’une analyse de régression sont corrélées. On parle de multicolinéarité quand plus de deux variables indépendantes sont corrélées.¹ À l’inverse, on parle d’orthogonalité quand les variables indépendantes ne sont pas corrélées. La multicolinéarité empêche les modèles prédictifs de produire des prévisions exactes en augmentant la complexité des modèles et en les surajustant.

Voici un exemple d’équation de régression linéaire multivariée standard :

Y représente la sortie prédite (variable dépendante) et X représente un prédicteur (variable indépendante ou explicative). B représente le coefficient de régression associé et il mesure la modification de Y pour chaque unité de modification au niveau du prédicteur correspondant (X_n) en supposant que tous les autres prédicteurs restent constants. X₀ représente la valeur de la variable de réponse (Y) lorsque la variable indépendante est égale à zéro. Cette valeur finale est également appelée y-intercept.²

Bien entendu, cette équation polynomiale vise à mesurer et à mapper la corrélation entre Y et X_n. Dans un modèle prédictif idéal, les variables indépendantes (X_n) ne sont pas corrélées. Néanmoins, cela peut souvent se produire dans les modèles qui utilisent des données du monde réel, en particulier lorsque les modèles sont conçus avec de nombreuses variables indépendantes.

Lors de la création d’un modèle prédictif, nous devons calculer les coefficients, car ils sont rarement connus à l’avance. Pour estimer les coefficients de régression, nous pouvons utiliser un estimateur matriciel standard des moindres carrés ordinaires (MCO) :

Comprendre les opérations de cette formule nécessite de maîtriser la notation matricielle. Mais pour le moment, tout ce que nous avons à comprendre, c’est que la taille et le contenu de la matrice X sont déterminés par les variables indépendantes choisies comme paramètres du modèle. De plus, les degrés de corrélation entre les prédicteurs, également appelés coefficients de corrélation, sont utilisés pour calculer les coefficients de régression entre X et Y.³

Lorsque des variables indépendantes sont incluses dans le modèle ou exclues de ce dernier, les coefficients estimés pour un prédicteur peuvent changer radicalement, rendant les estimations de coefficients peu fiables et peu précises. La corrélation entre deux prédicteurs ou plus complique la détermination de l’impact individuel d’une variable sur la sortie du modèle. N’oubliez pas qu’un coefficient de régression mesure l’effet d’un prédicteur donné sur la sortie en supposant que les autres prédicteurs restent constants. Mais si les prédicteurs sont corrélés, il peut être impossible de les isoler. Ainsi, les coefficients de régression estimés pour les variables multicolinéaires ne reflètent pas l’effet d’un prédicteur sur la sortie, mais plutôt l’effet partiel du prédicteur, en fonction des covariables qui se trouvent dans le modèle.⁴

En outre, différents échantillons de données, ou même de petites modifications dans les données, avec les mêmes variables multicolinéaires, peuvent produire un coefficient de régression très différent. Il s’agit peut-être du problème le plus connu de la multicolinéarité : le surajustement. On parle de surajustement quand des modèles présentent une faible erreur d’entraînement et une erreur de généralisation élevée. Comme nous l’avons indiqué, la signification statistique d’une variable multicolinéaire reste incertaine dans le bruit de ses relations avec les autres. Cela empêche le calcul précis de la signification statistique d’une variable sur la sortie du modèle, et c’est ce que l’estimateur de coefficient indique en grande partie. Comme la multicolinéarité empêche le calcul d’estimations précises des coefficients, les modèles multicolinéaires ne se prêtent pas à la généralisation sur des données inédites. Ainsi, les coefficients estimés pour les variables multicolinéaires présentent une grande variabilité, également appelée erreur type élevée.⁵

Les manuels et articles sur les statistiques établissent parfois une distinction entre la multicolinéarité extrême et la multicolinéarité parfaite. On parle de multicolinéarité parfaite quand une variable indépendante présente une corrélation linéaire parfaite avec une ou plusieurs variables indépendantes. On parle de multicolinéarité extrême lorsqu’un prédicteur est fortement corrélé à une ou plusieurs autres variables indépendantes.⁶ Il s’agit des deux principaux degrés de multicolinéarité.

Il n’y a pas autant de formes discrètes de multicolinéarité que de causes potentielles. Ces causes peuvent aller de la nature des données examinées à une mauvaise conception des expériences. Voici certaines des causes les plus courantes :

- Collecte de données Cette multicolinéarité basée sur les données peut survenir si l’on échantillonne un sous-espace non représentatif des données en question. Ainsi, Montgomery et al. fournissent l’exemple d’un jeu de données de livraison de chaîne d’approvisionnement où la distance et la taille de la commande sont les variables indépendantes d’un modèle prédictif. Dans les données qu’ils fournissent, le volume des stocks des commandes semble augmenter avec la distance de livraison. La solution à cette corrélation est simple : collecter et inclure des échantillons de données pour les livraisons sur de courtes distances avec des stocks importants, ou inversement.⁷

- Contraintes du modèle Cette cause est similaire à la collecte des données, mais pas identique. Un phénomène de multicolinéarité peut apparaître en raison de la nature des données et des variables du modèle prédictif en question. Imaginez que nous créions un modèle prédictif pour mesurer la satisfaction des employés sur leur lieu de travail, le nombre d’heures travaillées par semaine et le stress déclaré étant deux prédicteurs parmi d’autres. Une corrélation peut apparaître entre ces prédicteurs en raison de la nature des données, c’est-à-dire que les personnes qui travaillent plus sont susceptibles de signaler un plus haut niveau de stress. Une situation similaire peut se produire si la formation et le salaire sont des prédicteurs de modèle : les employés plus formés gagneront probablement plus. Dans ce cas, la collecte de données supplémentaires pourrait ne pas suffire à résoudre le problème, car la multicolinéarité est inhérente aux données elles-mêmes.

- Modèle surdéfini Un phénomène de multicolinéarité peut apparaître lorsqu’il y a plus de prédicteurs dans le modèle que de points d’observation de données. Ce problème peut survenir en particulier dans le domaine de la biostatistique ou d’autres études biologiques. Pour résoudre la surdéfinition du modèle, il faut en éliminer complètement certains prédicteurs. Mais comment déterminer lesquels supprimer ? On peut mener plusieurs études préliminaires en utilisant des sous-ensembles de régresseurs (c’est-à-dire des prédicteurs) ou avoir recours à l’analyse en composantes principales (ACP) pour combiner les variables multicolinéaires.⁸

Certaines données peuvent particulièrement conduire à la multicolinéarité. Parmi elles, les principales sont les données de séries temporelles. Les facteurs relatifs à la croissance et aux tendances, notamment dans le domaine économique, évoluent souvent dans la même direction au fil du temps, un phénomène propice à l’apparition d’une multicolinéarité. Les études observationnelles menées dans le domaine des sciences sociales sont également souvent propices à la multicolinéarité, car de nombreuses variables socioéconomiques (par exemple revenu, formation, affiliation politique, etc.) sont souvent interdépendantes et non contrôlées par les chercheurs.⁹

La multicolinéarité peut également résulter d’une manipulation des prédicteurs. Dans certains cas, il est possible d’utiliser les valeurs quadratiques ou décalées de variables indépendantes comme nouveaux prédicteurs de modèle. Bien entendu, ces nouveaux prédicteurs présentent une forte corrélation avec les variables indépendantes à partir desquelles ils ont été dérivés.¹⁰ Il s’agit d’une multicolinéarité structurelle.

De grands coefficients estimés en eux-mêmes peuvent indiquer la présence d’une multicolinéarité, de même que des changements massifs dans les coefficients estimés lorsqu’un seul prédicteur (ou même un point de données) est ajouté ou supprimé dans le modèle. Les coefficients associés à de grands intervalles de confiance indiquent également une multicolinéarité. Parfois, les coefficients possédant des signes ou des magnitudes contraires aux attentes dérivées de l’analyse préliminaire des données peuvent indiquer une multicolinéarité. Bien sûr, aucun de ces éléments ne confirme de manière absolue la multicolinéarité et ne fournit des mesures quantitatives de cette dernière.¹¹ Plusieurs méthodes de diagnostic permettent cependant de le faire.

Deux outils relativement simples permettent de mesurer la multicolinéarité : un nuage de points et une matrice de corrélation de variables indépendantes. Dans un nuage de points, on trace les valeurs des variables indépendantes de chaque point de données les unes par rapport aux autres. Si le nuage de points révèle une corrélation linéaire entre les variables choisies, il se peut qu’il existe un certain degré de multicolinéarité. Cette figure illustre des données multicolinéaires dans un nuage de points. Elle se base sur l’exemple du jeu de données de livraison Montgomery et al.

Une autre méthode de diagnostic consiste à calculer une matrice de corrélation pour toutes les variables indépendantes. Les éléments de la matrice sont les coefficients de corrélation entre chaque prédicteur dans un modèle. Le coefficient de corrélation est une valeur comprise entre -1 et 1 qui mesure le degré de corrélation entre deux prédicteurs. Notez que la matrice contient une diagonale de 1, car chaque variable a une corrélation parfaite avec elle-même. Plus un élément de la matrice donné est élevé, plus le degré de corrélation est important.¹²

Le facteur d’inflation de la variance (VIF) est la méthode la plus couramment utilisée pour déterminer le degré de multicolinéarité dans les modèles de régression linéaire. Chaque prédicteur de modèle possède une valeur VIF, qui indique dans quelle mesure la variance de ce prédicteur est gonflée par les autres prédicteurs du modèle.

L’algorithme VIF comporte plusieurs étapes. L’explication complète de cet algorithme dépasse cependant le cadre de cet article. En résumé, le VIF mesure la proportion de variance d’une variable choisie, déterminée par les autres variables indépendantes du modèle. Voici l’équation du facteur d’inflation de la variance :

Le R au carré (R²) représente le coefficient de détermination multiple obtenu en calculant la régression d’une variable indépendante par rapport à toutes les autres.¹³ Le terme inférieur de l’équation VIF représente la tolérance, un concept distinct des intervalles de tolérance. La tolérance est l’inverse du VIF. Bien que beaucoup moins abordé dans la littérature, il s’agit néanmoins d’un autre moyen viable de calculer la multicolinéarité.¹⁴

Plus la valeur du VIF est élevée, plus le degré de multicolinéarité est élevé. Aucune valeur limite de VIF ne permet de déterminer un « mauvais » ou un « bon » modèle. Néanmoins, la règle générale suivante est largement acceptée : une valeur VIF supérieure ou égale à dix indique une multicolinéarité sévère.¹⁵

Notez que R et Python contiennent des fonctions permettant de calculer le VIF. La fonction vif() du package car de R et la fonction variance_inflation_factor() du module statsmodels.stats de Python peuvent respectivement calculer le VIF pour un modèle désigné.¹⁶

Comme mentionné, plusieurs solutions simples permettent de résoudre la multicolinéarité : de la diversification ou de l’élargissement de la taille de l’échantillon de données d’apprentissage à la suppression totale des paramètres. Plusieurs techniques de régularisation permettent également de corriger les problèmes de multicolinéarité. La régression Ridge est une méthode largement recommandée, qui consiste à pénaliser les coefficients de haute valeur, réduisant ainsi l’impact des prédicteurs multicolinéaires sur la sortie du modèle. La régression Lasso pénalise elle aussi les coefficients élevés. La principale différence entre ces deux types de régression, c’est que la régression Ridge réduit simplement les valeurs des coefficients à des valeurs proches de zéro, tandis que la régression Lasso peut réduire les coefficients à zéro, supprimant ainsi totalement les variables indépendantes du modèle.