Qu’est-ce que l’analyse discriminante linéaire (LDA) ?

L’analyse discriminante linéaire (LDA), également appelée « analyse discriminante normale (ADN) » ou « analyse factorielle discriminante » (AFD), suit le cadre d’un modèle génératif. Cela signifie que les algorithmes LDA modélisent la distribution des données pour chaque classe et utilisent le théorème de Bayes¹ pour classer les nouveaux points de données. Le théorème de Bayes permet de calculer les probabilités conditionnelles, c’est-à-dire la probabilité qu’un événement se produise sachant qu’un autre événement s’est déjà produit. Les algorithmes LDA font des prédictions en utilisant le théorème de Bayes pour calculer la probabilité qu’un jeu de données d’entrée appartienne à une sortie particulière. Pour avoir un aperçu des statistiques bayésiennes et de leur impact sur les algorithmes d’apprentissage supervisé, consultez la rubrique Classification naïve bayésienne. 

La LDA consiste à identifier une combinaison linéaire de caractéristiques qui sépare ou caractérise deux ou plusieurs classes d’objets ou d’événements. Pour ce faire, on projette les données comportant deux ou plusieurs dimensions dans une seule dimension afin d’en faciliter la classification. C’est pourquoi cette technique est également appelée « réduction de dimensionnalité ». Grâce à cette polyvalence, la LDA permet de résoudre les problèmes de classification des données multiclasse, contrairement à la régression, qui se limite à la classification binaire. La LDA est donc souvent appliquée pour améliorer le fonctionnement d’autres algorithmes de classification tels que l’arbre de décision, la forêt d’arbres décisionnels ou encore les machines à vecteurs de support (SVM).

L’analyse discriminante linéaire (LDA) est basée sur l’analyse discriminante linéaire de Fisher, une méthode statistique développée par Sir Donald Fisher dans les années 1930 et simplifiée plus tard par C. R. Rao dans une version multiclasse. La méthode de Fisher vise à identifier une combinaison linéaire de caractéristiques qui fait la distinction entre deux ou plusieurs classes d’objets ou d’événements étiquetés.

La méthode de Fisher réduit les dimensions en séparant les classes de données projetées. La séparation consiste à maximiser la distance entre les moyennes projetées et à minimiser la variance projetée au sein des classes.

Supposons qu’une banque décide d’approuver ou de rejeter les demandes de prêt. La banque utilise deux éléments pour prendre cette décision : la cote de crédit du demandeur et son revenu annuel.

Ici, les deux caractéristiques ou classes sont représentées sur un plan bidimensionnel (2D) avec un axe X-Y. Si nous tentons de classer les approbations à l’aide d’une seule caractéristique, nous risquons de constater un chevauchement. En appliquant la LDA, nous pouvons tracer une ligne droite qui sépare complètement ces deux points de données de classe. La LDA utilise l’axe X – Y pour créer un nouvel axe, en séparant les différentes classes par une ligne droite et en projetant les données sur le nouvel axe.

Pour créer ce nouvel axe et réduire la dimensionnalité, la LDA suit les critères suivants :

• Maximiser la distance entre les moyennes de deux classes.
• Minimiser la variance au sein des classes individuelles.

Les LDA projettent un espace de caractéristiques, c’est-à-dire un jeu de données à n dimensions, sur un espace plus petit « k », où k est inférieur ou égal à n-1, sans perdre d’informations sur les classes. Un modèle LDA comprend les propriétés statistiques calculées pour les données de chaque classe. Lorsqu’il y a plusieurs caractéristiques ou variables, ces propriétés sont calculées à partir de la loi de Gauss à plusieurs variables³.

Les variables multiples sont les suivantes :

• Moyens
• Matrice de covariance, qui mesure la relation entre chaque variable ou fonctionnalité et les autres au sein de la classe

Les propriétés statistiques estimées à partir de l'ensemble de données sont introduites dans la fonction LDA pour faire des prédictions et créer le modèle LDA. Il existe certaines contraintes à prendre en compte, car le modèle suppose ce qui suit :

• Le jeu de données d'entrée a une distribution gaussienne, où le tracé des points de données donne une courbe en U.
• Le jeu de données est linéairement séparable, ce qui signifie que la méthode LDA peut tracer une ligne droite ou une limite de décision qui sépare les points de données.
• Chaque classe a la même matrice de covariance.

Pour ces raisons, la méthode LDA peut ne pas donner de bons résultats dans les espaces de caractéristiques à haute dimension.

La réduction de la dimensionnalité implique de séparer les points de données par une ligne droite. Mathématiquement, les transformations linéaires sont analysées à l’aide de vecteurs propres et de valeurs propres. Imaginez que vous ayez cartographié un jeu de données aux caractéristiques multiples, donnant un nuage de points multidimensionnel. Les vecteurs propres fournissent la « direction » dans le nuage de points. Les valeurs propres indiquent l’importance de ces données directionnelles. Une valeur propre élevée signifie que le vecteur propre associé est plus critique.

Lors de la réduction de la dimensionnalité, les vecteurs propres sont calculés à partir de l'ensemble de données et collectés dans deux matrices de dispersion :

• Matrice de dispersion entre classes (informations sur la répartition des données au sein de chaque classe)
• Matrice de dispersion intra-classe (comment les classes sont réparties entre elles).

Pour appliquer efficacement la LDA, il est essentiel de préparer votre jeu de données. Voici les étapes et les bonnes pratiques à suivre pour mettre en œuvre la LDA :

Pour ce faire, il faut passer le paramètre n-composant de la LDA, qui identifie le nombre de discriminants linéaires à extraire.

Pour ce faire, il faut passer le paramètre n-composant de la LDA, qui identifie le nombre de discriminants linéaires à extraire.

La régularisation vise à empêcher le surajustement, c’est-à-dire le fait que le modèle statistique s’ajuste exactement aux données d’entraînement, nuisant à sa précision.

Vous pouvez évaluer les classificateurs tels que les LDA en traçant une matrice de confusion, avec les valeurs de classe réelles en lignes et les valeurs de classe prédites en colonnes. Une matrice de confusion permet de voir facilement si un classificateur confond deux classes, c’est-à-dire s’il attribue l’étiquette d’une classe à une autre. Prenons l’exemple d’une matrice de confusion 10 x 10 prédisant les images des chiffres de zéro à neuf. Les valeurs réelles sont représentées en lignes sur l’axe des ordonnées. Les prévisions sont présentées en colonnes sur l’axe des abscisses. Pour voir combien de fois un classificateur a confondu les images  de 4 et de 9 dans l’exemple de la matrice de confusion 10 x 10, il faudrait vérifier la 4^e ligne et la 9^e colonne.

La fonction discriminante linéaire aide à prendre des décisions en cas de problèmes de classification en séparant les points de données selon des fonctionnalités et en les classant dans différentes classes ou catégories. Le processus de calcul peut être résumé en ces étapes clés suivantes :

La variation au sein d'une classe correspond à la séparation entre les classes, c'est-à-dire la distance entre les moyennes de classe.

La variation au sein d'une classe correspond à la distance entre les moyennes de classe et les échantillons.

Cela permet de maximiser la variation entre les classes et de minimiser la variation au sein de la classe. Nous pouvons représenter mathématiquement la fonction discriminante linéaire pour deux classes de la manière suivante.

δ(x) = x * ( σ² * (μ₀-μ₁) - 2 * σ² * (μ₀²-μ₁²) + ln(P(w₀) / P(w₁)))

Où :

• δ(x) représente la fonction discriminante linéaire.
• x représente le point de données d’entrée.
• μ₀ et μ₁ sont les moyennes des deux classes.
• σ² est la variation au sein d'une classe commune.
• P(ω₀) et P(ω₁) sont les probabilités a priori des deux classes.

Utilisons l'équation pour prendre un exemple d'approbation de prêt. En résumé, la banque décide d'approuver ou de rejeter les demandes de prêt. La banque utilise deux éléments pour prendre cette décision : le score de crédit du demandeur (x) et son revenu annuel. La banque a recueilli des données historiques sur les demandeurs de prêts précédents et si les prêts ont été approuvés.

• La classe ω₀ correspond à « Prêt refusé ».
• La classe ω₁ correspond à « Prêt accordé ».

En utilisant la fonction discriminante linéaire, la banque peut calculer un score(δ(x)) pour chaque demande de prêt. 

L’équation de la fonction discriminante linéaire pourrait ressembler à celle-ci :

δ(x) = x * ( σ² * (μ₀-μ₁) - 2 * σ² * (μ₀²-μ₁²) + ln(P(w₀) / P(w₁)))

• x représente la cote de solvabilité et le revenu annuel du demandeur.
• μ₀ et μ₁ sont les moyennes de ces caractéristiques pour les deux classes : « Prêt refusé » et « Prêt accordé ».
• σ² est la variation au sein d'une classe commune.
• P(ω₀) est la probabilité a priori de « Prêt refusé », et P(ω1) est la probabilité a priori de « Prêt accordé ».

La banque calcule la fonction discriminante linéaire pour chaque demande de prêt.

• Si δ(x) est positif, la demande de prêt est plus susceptible d’être approuvée.
• Si δ(x) est négatif, la demande de prêt est plus susceptible d’être refusée.

La banque peut ainsi automatiser son processus d'approbation des prêts, prendre des décisions plus rapides et plus cohérentes tout en minimisant les biais humains.

Il s'agit là de scénarios typiques dans lesquels la méthode LDA peut être appliquée pour résoudre des problèmes complexes et aider les organisations à prendre de meilleures décisions.

Pour approfondir l’analyse discriminante linéaire avec Python et tirer parti de la bibliothèque scikit-learn, vous pouvez regarder le tutoriel Découvrir les algorithmes de classification avec Python et scikit-learn d’IBM watsonx. Ce tutoriel vous expliquera les bases de la résolution des problèmes liés au machine learning basé sur des classifications à l’aide de Python et de scikit-learn, également connu sous le nom de sklearn.

Pour ce tutoriel détaillé, vous commencerez par importer les bibliothèques Python nécessaires pour travailler avec le jeu de données Iris, vous effectuerez le prétraitement des données et vous créerez et évaluerez votre modèle LDA :

<Python code snippet>

importer numpy en tant que np
importer pandas en tant que pd
importer matplotlib.pyplot en tant que plt
importer sklearn
importer seaborn en tant que SNS
à partir de sklearn.preprocessing importer StandardScaler, LabelEncoder
à partir de sklearn.model_selection importer train_test_split
à partir de sklearn.discriminant_analysis importe LinearDiscriminantAnalysis
à partir de sklearn.ensemble importe RandomForestClassifier
à partir de sklearn.metrics, importer accuracy_score, confusion_matrix

Si les bibliothèques ne sont pas installées, vous pouvez résoudre ce problème avec pip install.

Consultez également cette documentation scikit-learn pour obtenir un aperçu des principaux paramètres et attributs, ainsi que des exemples généraux d’implémentations de Python utilisant sklearn.discriminant_analysis.LinearDiscriminantAnalysis.

Il est essentiel de comprendre les avantages et les limites de l'analyse discriminante linéaire (LDA) lors de son application à divers problèmes de classification. La connaissance des compromis aide les data scientists et les praticiens du machine learning à prendre des décisions éclairées quant à son adéquation à une tâche particulière.

• Simplicité et efficacité des calculs : la LDA est un algorithme simple et puissant. Il est relativement facile à comprendre et à mettre en œuvre, ce qui le rend accessible à ceux qui découvrent le machine learning. De plus, son calcul efficace garantit des résultats rapides.
• Gérer les données à haute dimensionnalité : La LDA est efficace lorsque le nombre de caractéristiques est supérieur au nombre d’échantillons d’entraînement. Par conséquent, la LDA est utile dans les champs d’application tels que l’analyse de texte, la reconnaissance d’images et la génomique, souvent associés à des données à haute dimensionnalité.
• Gérer la multicolinéarité : La LDA peut gérer la multicolinéarité, c’est-à-dire la présence de fortes corrélations entre différentes caractéristiques. Il transforme les données en un espace de dimension inférieure tout en préservant l’intégrité des informations.

- Distributions moyennes partagées : la LDA rencontre des difficultés lorsque les distributions de classes partagent des moyennes. La LDA peine à créer un nouvel axe qui sépare de manière linéaire les deux classes. Par conséquent, il se peut que la LDA ne fasse pas la distinction entre les classes dont les propriétés statistiques se chevauchent. Par exemple, imaginez un scénario dans lequel deux espèces de fleurs ont une longueur et une largeur de pétales très similaires. La LDA aura peut-être du mal à séparer ces espèces sur la seule base de ces fonctionnalités. Les techniques alternatives, telles que les méthodes d'analyse discriminante non linéaire, sont privilégiées ici.

- Ne convient pas aux données non étiquetées : la LDA est appliquée en tant qu'algorithme d'apprentissage supervisé, c'est-à-dire qu'il classe ou sépare les données étiquetées. En revanche, l'analyse en composantes principales (ACP), une autre technique de réduction des dimensions, ignore les étiquettes de classes et préserve des écarts.