Qu’est-ce que la régression Ridge ?

La méthode de régression Ridge, également connue sous le nom de « régularisation L2 », est l’un des types de régularisation qui s’appliquent aux modèles de régression linéaire. La régularisation est une méthode statistique qui permet de réduire le risque d’erreur lié au surajustement sur les données d’entraînement. La régression Ridge corrige spécifiquement la multicolinéarité dans l’analyse de régression. Cela s’avère utile lors du développement de modèles de machine learning qui comportent un grand nombre de paramètres, en particulier si ces paramètres ont également des poids élevés. Bien que cet article se concentre sur la régularisation des modèles de régression linéaire, notez que la régression Ridge peut également être appliquée dans la régression logistique.

Voici un exemple d’équation de régression linéaire multivariée standard :

Ici, Y est la valeur prédite (variable dépendante), X est n’importe quel prédicteur (variable indépendante), B est le coefficient de régression associé à cette variable indépendante et X₀ est la valeur de la variable dépendante lorsque la variable indépendante est égale à zéro (également appelée ordonnée à l’origine ou y-intercept). Les coefficients marquent la relation entre la variable dépendante et une variable indépendante donnée.

On parle de multicolinéarité lorsque deux ou plusieurs variables prédictives ont une relation quasi linéaire. Montgomery et al. proposent un bon exemple : imaginez que nous analysions un jeu de données sur les livraisons de la chaîne d’approvisionnement dans lequel les livraisons sur de longues distances contiennent régulièrement un grand nombre d’articles alors que les livraisons sur de courtes distances en contiennent toujours moins. Dans ce cas, la distance de livraison et la quantité d’articles sont corrélées de façon linéaire, comme le montre la figure 1. Cela pose des problèmes lors de l’utilisation de ces données comme variables indépendantes dans un modèle prédictif unique.

Il ne s’agit-là que d’un exemple de multicolinéarité et sa solution est relativement simple : collecter des données plus diversifiées (par exemple pour les livraisons sur courtes distances avec des stocks importants). Cependant, la collecte de données supplémentaires n’est pas toujours un correctif viable, par exemple lorsque la multicolinéarité est intrinsèque aux données étudiées. Parmi les autres options permettant de corriger la multicolinéarité, citons l’augmentation de la taille de l’échantillon, la réduction du nombre de variables indépendantes ou simplement le déploiement d’un modèle différent. Cependant, ces correctifs ne parviennent pas toujours à éliminer la multicolinéarité, et la régression Ridge constitue une autre méthode qui permet de régulariser un modèle afin de gérer ce phénomène.¹

Lors du développement initial de modèles prédictifs, nous devons souvent calculer des coefficients, car ceux-ci ne sont pas explicitement indiqués dans les données d’entraînement. Pour estimer les coefficients, nous pouvons utiliser un estimateur matriciel standard des moindres carrés ordinaires (MCO) :

La connaissance des opérations de cette formule nécessite de maîtriser la notation matricielle. En résumé, cette formule vise à trouver la ligne la mieux adaptée à un jeu de données spécifique en calculant les coefficients de chaque variable indépendante qui donnent collectivement la plus petite somme des carrés des résidus (également appelée somme des erreurs quadratiques).²

La somme des carrés des résidus (RSS) mesure l’adéquation d’un modèle de régression linéaire avec les données d’entraînement. Elle est représentée par la formule suivante :

Cette formule mesure la précision des prédictions du modèle pour les valeurs de vérité terrain des données d’apprentissage. Si RSS = 0, le modèle prédit parfaitement les variables dépendantes. Un score de zéro n’est cependant pas toujours souhaitable, car il peut indiquer un surajustement sur les données d’apprentissage, en particulier si le jeu de données d’entraînement est petit. La multicolinéarité peut en être l’une des causes.

Des estimations de coefficient élevées peuvent souvent être symptomatiques d’un surajustement.³ Si deux variables ou plus présentent une corrélation linéaire élevée, les moindres carrés ordinaires (MCO) peuvent renvoyer des coefficients de valeur élevée erronés. Lorsqu’un ou plusieurs coefficients sont trop élevés, les résultats du modèle deviennent sensibles à des altérations mineures dans les données d’entrée. En d’autres termes, le modèle s’est surajusté à un jeu d’entraînement spécifique et ne parvient pas à se généraliser avec précision sur de nouveaux jeux de test. Un tel modèle est considéré comme instable.⁴

La régression Ridge modifie les MCO en calculant des coefficients qui tiennent compte des prédicteurs potentiellement corrélés. Plus précisément, la régression Ridge corrige les coefficients élevés en introduisant un terme de régularisation (souvent appelé terme de pénalité) dans la fonction RSS. Ce terme de pénalité est la somme des carrés des coefficients du modèle.⁵ Il est représenté par la formule suivante :

Le terme de pénalité L2 est inséré à la fin de la fonction RSS, ce qui donne une nouvelle formule, l’estimateur de régression Ridge. Dans ce cas, son effet sur le modèle est contrôlé par l’hyperparamètre lambda (λ) :

Rappelez-vous que les coefficients indiquent l’effet d’un prédicteur donné (c’est-à-dire de la variable indépendante) sur la valeur prédite (c’est-à-dire la variable dépendante). Une fois ajouté à la formule RSS, le terme de pénalité L2 compense les coefficients particulièrement élevés en réduisant tous les coefficients. En statistiques, c’est ce que l’on appelle la réduction du coefficient. L’estimateur Ridge ci-dessus calcule donc de nouveaux coefficients de régression qui réduisent la RSS d’un modèle donné. Cela minimise l’effet de chaque prédicteur et réduit le surajustement sur les données d’entraînement.⁶

Notez que la régression Ridge ne réduit pas chaque coefficient à partir de la même valeur. Au contraire, les coefficients sont réduits proportionnellement à leur taille initiale. Lorsque λ augmente, les coefficients de valeur élevée diminuent plus rapidement que les coefficients de faible valeur.⁷ Les coefficients élevés sont donc plus pénalisés que les coefficients faibles.

Notez que la pénalité L2 réduit les coefficients vers zéro, mais jamais vers le zéro absolu. Bien que les poids des caractéristiques du modèle puissent devenir si petits qu’ils en sont négligeables, ils ne sont jamais égaux à zéro dans la régression Ridge. La réduction d’un coefficient à zéro supprime en réalité le prédicteur appairé du modèle. C’est ce que l’on appelle la sélection des caractéristiques, qui est un autre moyen de corriger la multicolinéarité.⁸ Comme la régression Ridge ne réduit pas les coefficients de régression à zéro, elle n’exécute pas la sélection des caractéristiques.⁹ Ce point est souvent cité comme un inconvénient de la régression Ridge. En outre, un autre inconvénient souvent cité est l’incapacité de la régression Ridge à séparer les effets des prédicteurs en cas de multicolinéarité sévère.¹⁰

La régression Lasso, également appelée régularisation L1, est l’une des autres méthodes de régularisation dans la régression linéaire. La régularisation L1 fonctionne en réduisant les coefficients à zéro, éliminant de ce fait ces variables indépendantes du modèle. La régression Lasso et la régression Ridge réduisent donc la complexité du modèle, mais par des moyens différents. La régression Lasso réduit le nombre de variables indépendantes affectant le résultat. La régression Ridge réduit le poids de chaque variable indépendante sur le résultat.

La régression Elastic Net est une autre forme de régularisation. Alors que la régression Ridge obtient son paramètre de régularisation à partir de la somme des erreurs quadratiques et que la régression Lasso obtient le sien à partir de la somme des erreurs absolues, la régression Elastic Net intègre ces deux paramètres de régularisation dans la fonction de coût RSS.¹¹

La régression sur composantes principales (PCR) peut également servir de procédure de régularisation. Si la PCR peut résoudre la multicolinéarité, elle ne le fait pas en appliquant une pénalité à la fonction RSS, comme dans les régressions Ridge et Lasso. La PCR produit plutôt des combinaisons linéaires de prédicteurs corrélés à partir desquels il est possible de créer un nouveau modèle basé sur la méthode des moindres carrés.¹²

Dans le domaine du machine learning, la régression Ridge permet de réduire le surajustement résultant de la complexité du modèle, à savoir :

• Le modèle possède trop de caractéristiques. Les caractéristiques sont les prédicteurs du modèle, également appelés « paramètres » en machine learning. Bon nombre de tutoriels en ligne recommandent d’avoir un nombre de caractéristiques inférieur au nombre d’instances présentes dans les jeux de données d’entraînement. Cela n’est cependant pas toujours possible.
• Poids des caractéristiques trop élevés.Le poids des caractéristiques fait référence à l’effet d'un prédicteur donné sur la sortie du modèle. Un poids de caractéristique élevé équivaut à un coefficient élevé.

Les modèles plus simples ne sont pas intrinsèquement plus performants que les modèles complexes. Néanmoins, un degré élevé de complexité peut entraver la capacité d’un modèle à se généraliser sur de nouvelles données en dehors du jeu d’entraînement.

La régression Ridge n’effectue pas de sélection de caractéristiques, elle ne peut donc pas réduire la complexité du modèle en éliminant des caractéristiques. Mais si une ou plusieurs caractéristiques affectent trop fortement la sortie d’un modèle, la régression Ridge peut réduire les poids de caractéristiques élevés (c.-à-d.les coefficients) sur l’ensemble du modèle par le terme de pénalité L2. Cela permet de réduire la complexité du modèle et de faire en sorte que ses prédictions ne dépendent pas de manière aussi imprévisible d’une ou de plusieurs caractéristiques.

En termes de machine learning, la régression Ridge consiste à ajouter un biais dans un modèle pour en réduire la variance. Le dilemme biais-variance est un problème bien connu dans le machine learning. Mais pour le comprendre, il convient d’abord de savoir ce que l’on entend respectivement par « biais » et par « variance » dans les recherches en machine learning.

En bref, le biais mesure la différence moyenne entre les valeurs prédites et les valeurs réelles ; la variance mesure la différence entre les prédictions issues des différentes réalisations d’un modèle donné. Lorsque le biais augmente, les prédictions du modèle sur le jeu de données d’entraînement perdent en précision. Lorsque la variance augmente, les prédictions du modèle sur les autres jeux de données perdent en précision. Le biais et la variance mesurent donc la précision du modèle sur les jeux d’entraînement et de test, respectivement. De toute évidence, les développeurs espèrent réduire le biais et la variance des modèles. Il n’est cependant pas toujours possible de les réduire simultanément, d’où la nécessité de recourir à des techniques de régularisation telles que la régression Ridge.

Comme nous l’avons déjà mentionné, la régularisation par régression Ridge introduit un biais supplémentaire pour réduire la variance. En d’autres termes, les modèles régularisés par la régression Ridge produisent des prédictions moins précises à partir des données d’entraînement (biais plus élevé), et plus précises à partir des données de test (faible variance). Il s’agit d’un dilemme biais-variance. Grâce à la régression Ridge, les utilisateurs déterminent un niveau de perte de précision acceptable pour l’entraînement (biais plus élevé), afin d’améliorer la généralisabilité d’un modèle donné (variance inférieure).¹³  Augmenter le biais permet ainsi d’améliorer la performance globale du modèle.

La force de la pénalité L2, et donc du compromis biais-variance du modèle, est déterminée par la valeur λ dans l’équation de la fonction de perte de l’estimateur Ridge. Si λ est égal à zéro, il reste une fonction des moindres carrés ordinaires. Cela crée un modèle de régression linéaire standard sans aucune régularisation. En revanche, une valeur λ plus élevée signifie une plus grande régularisation. À mesure que λ augmente, le biais du modèle augmente tandis que la variance diminue. Ainsi, lorsque λ est égal à zéro, le modèle se surajuste aux données d’entraînement, mais lorsque λ est trop élevé, le modèle se sous-ajuste sur toutes les données.¹⁴

L’erreur quadratique moyenne (MSE) peut permettre de déterminer une valeur λ appropriée. La MSE est étroitement liée à la RSS et constitue un moyen de mesurer la différence, en moyenne, entre les valeurs prédites et les valeurs réelles. Plus la MSE d’un modèle est faible, plus ses prédictions sont précises. Mais la MSE augmente à mesure que λ augmente. Néanmoins, on peut affirmer qu’il existe toujours une valeur de λ supérieure à zéro faisant en sorte que la MSE obtenue par la régression Ridge est inférieure à celle obtenue par la méthode des moindres carrés ordinaires.¹⁵ Pour déduire une valeur de λ appropriée, il existe une méthode qui consiste à trouver la valeur de λ la plus élevée qui n’augmente pas la MSE, comme l’illustre la figure 2. D’autres techniques de validation croisée peuvent aider les utilisateurs à sélectionner les valeurs λ optimales pour le réglage de leur modèle.¹⁶

Les modèles de régression Ridge conviennent particulièrement aux jeux de données qui possèdent deux caractéristiques corrélées ou plus. En outre, de nombreux domaines utilisent la régression Ridge pour traiter les modèles avec un grand nombre de prédicteurs et de petits jeux de données d’entraînement.¹⁷ De telles situations peuvent être assez courantes lorsque les données sont variées.

Il ne s’agit là que de deux exemples dans la discipline plus large de la science des données. Mais comme ils l’indiquent, vous pouvez utiliser la régression Ridge efficacement dans ces deux situations : quand vous avez plus de caractéristiques dans le modèle que d’échantillons de données ou lorsque votre modèle présente au moins deux caractéristiques fortement corrélées.

Des recherches récentes explorent une variante modifiée de la régression Ridge qui permettrait d’exécuter la sélection des caractéristiques.¹⁸  Cette forme modifiée de la régression Ridge utilise différents paramètres de régularisation sur chaque coefficient. Ainsi, il est possible de pénaliser individuellement les poids des caractéristiques, permettant la mise en œuvre potentielle de la sélection des caractéristiques par le biais de la régression Ridge.¹⁹