Qu’est-ce que la classification dans le machine learning ?

À mesure que les modèles d’IA apprennent à analyser et à classer les données dans leurs jeux de données d’entraînement, ils deviennent plus compétents pour identifier différents types de données, découvrir des tendances et faire des prédictions plus précises. 

À la fin du processus d’entraînement du modèle, sa performance est évaluée à l’aide de données de test. Une fois que le modèle fonctionne de manière régulière, on y intègre des données réelles inédites. Les réseaux de neurones entraînés appliquent ce qu’ils ont appris lors de l’entraînement pour faire des prédictions précises avec ces nouvelles données. 

Un modèle de classification est un type de modèle de machine learning qui divise les points de données en groupes prédéfinis appelés classes. Les classificateurs apprennent les caractéristiques de classe à partir des données d’entrée, puis apprennent à attribuer des classes potentielles à de nouvelles données inédites en fonction de ces caractéristiques apprises.¹

Un algorithme de classification est un algorithme de machine learning axé sur la catégorisation qui trie les données d’entrée en classes ou catégories. Les modèles d’intelligence artificielle (IA) utilisent des algorithmes de classification pour traiter les jeux de données d’entrée par rapport à un classificateur spécifié qui définit les critères de tri des données. Les algorithmes de classification sont couramment utilisés dans la science des données pour prévoir des modèles et prédire les résultats. 

Bien que chaque algorithme de classification de machine learning soit unique, tous suivent le même processus général de classification des données en deux étapes : 

1. Apprentissage
2. Classification 

Traditionnellement, la classification est un type de machine learning supervisé, ce qui signifie qu’elle utilise des données étiquetées pour entraîner des modèles. Dans l’apprentissage supervisé, chaque point de données des données d’entraînement contient des variables d’entrée (également appelées variables indépendantes ou fonctionnalités) et une variable de sortie, ou étiquette. 

Dans l’entraînement de la classification, le rôle du modèle est de comprendre les relations entre les fonctionnalités et les étiquettes de classe, puis d’appliquer ces critères aux futurs jeux de données. Les modèles de classification utilisent les caractéristiques de chaque point de données ainsi que leur étiquette de classe pour décoder les caractéristiques qui définissent chaque classe. En termes mathématiques, le modèle considère chaque point de données comme un tuple x. Un tuple est une suite numérique ordonnée représentée par x = (x1,x2,x3…xn).

Chaque valeur du tuple est une caractéristique spécifique du point de données. En mappant les données d’entraînement selon cette équation, le modèle apprend les caractéristiques associées à chaque étiquette de classe. 

L’objectif de l’entraînement est de minimiser les erreurs lors de la modélisation prédictive. Les algorithmes de descente de gradient entraînent des modèles en minimisant l’écart entre les résultats prédits et les résultats réels. Les modèles peuvent ensuite être affinés avec un entraînement supplémentaire pour effectuer des tâches plus spécifiques. 

Les approches d’apprentissage non supervisé appliquées à la résolution des problèmes de classification sont au cœur de récentes recherches. Les méthodes d’apprentissage non supervisé permettent aux modèles de découvrir par eux-mêmes des schémas dans les données non étiquetées. L’absence d’étiquettes est ce qui différencie l’apprentissage non supervisé de l’apprentissage supervisé. 

L’apprentissage semi-supervisé, lui, combine les données étiquetées et non étiquetées pour entraîner des modèles d’IA à des tâches de classification et de régression. Dans les situations où l’obtention de grands jeux de données étiquetées n’est pas possible, l’apprentissage semi-supervisé est une alternative viable. 

La deuxième étape des tâches de classification est la classification elle-même. Pendant cette phase, les utilisateurs déploient le modèle sur un ensemble de test de données inédites. Les données précédemment inutilisées permettent d’évaluer les performances du modèle afin d’éviter tout surajustement : lorsqu’un modèle s’appuie trop sur ses données d’entraînement et devient incapable de faire des prévisions précises dans le monde réel. 

Le modèle utilise la fonction de prédiction apprise pour classer les nouvelles données dans des classes distinctes en fonction des caractéristiques de chaque échantillon. Les utilisateurs évaluent ensuite la précision du modèle en fonction du nombre d’échantillons de données de test correctement prédits.²

Les tâches de modélisation prédictive basées sur la classification se distinguent les unes des autres en fonction du nombre de catégories et de leur degré d’exclusivité : 

• La classification binaire trie les données en deux catégories exclusives. 

• La classification multiclasse trie les données en plus de deux catégories exclusives. 

• La classification multi-label trie les données en catégories non exclusives. 

• La classification déséquilibrée distribue de manière inégale les points de données entre les catégories. 

Dans les problèmes de classification binaire, un modèle prédit si les données correspondent à l’une de ces deux classes. Les techniques d’apprentissage appliquées pendant l’entraînement permettent aux modèles d’évaluer les caractéristiques des données d’entraînement et de prédire laquelle des deux étiquettes possibles s’applique à chaque point de données : positive ou négative, vrai ou faux et oui ou non. 

Par exemple, un filtre antispam classe les e-mails comme spam ou non-spam. Outre la détection du spam, les modèles de classification binaire constituent des prédicteurs comportementaux fiables : un client potentiel va-t-il se désabonner ou acheter un certain produit ? Ils servent également au traitement automatique du langage naturel (NLP), à l’analyse des sentiments, à la classification des images et à la détection des fraudes.

Dans les problèmes de classification multiclasse, les données sont catégorisées dans plus de deux classes étiquetées, toutes étant mutuellement exclusives. En ce sens, les défis multiclasses sont similaires aux tâches de classification binaire, à l’exception près qu’ils renferment plus de classes. 

Les modèles de classification multiclasse s’appliquent à de nombreux cas d’utilisation dans le monde réel. Une solution de classification multiclasse serait également capable de déterminer si les e-mails sont du spam ou non, et si les e-mails sont promotionnels ou non prioritaires. Un classificateur d’images peut ainsi classer les images d’animaux de compagnie en utilisant une myriade d’étiquettes de classe, telles que chien, chat, lama, ornithorynque, etc. 

L’objectif d’une méthode d’apprentissage par classification multiclasse est d’apprendre à un modèle à attribuer des données d’entrée avec précision à un plus large éventail de catégories possibles. Une fonction objective commune dans l’entraînement multiclasse est la perte d’entropie croisée catégorielle, qui évalue l’écart entre les prévisions du modèle avec les données de test et les étiquettes correctes pour chaque point de données.

La classification multi-label est utilisée lorsque plusieurs étiquettes non exclusives peuvent être attribuées à chaque point de données. Contrairement aux types de classification basés sur l’exclusivité, la classification multi-label permet aux points de données de présenter des caractéristiques de plus d’une catégorie ; une réflexion plus proche de l’ambiguïté du monde réel dans les collectes de big data. 

Les tâches de classification multi-label sont souvent effectuées en combinant les prédictions de plusieurs modèles de classification binaire ou multiclasse.

La classification déséquilibrée, dans laquelle certaines catégories contiennent plus de points de données que les autres, nécessite une approche spécialisée. À mesure que certains groupes accumulent davantage de points de données, certains modèles de classification deviennent biaisés et prédisent de plus en plus en leur faveur. 

Les contre-mesures comprennent des algorithmes configurés pour évaluer plus fortement le coût des prévisions incorrectes, ainsi que des méthodes d’échantillonnage qui éliminent les échantillons majoritaires ou suréchantillonnent à partir de groupes sous-représentés. 

Les modèles prédictifs produisent deux types de prédictions : 

• Les prédictions discrètes, qui trient définitivement les données en catégories distinctes.

• Les prédictions continues, qui attribuent une classe en fonction d’une probabilité. 

Les prédictions discrètes sont les étiquettes de classe prédites pour chaque point de données. Par exemple, un prédicteur médical peut classer les patients médicaux comme diabétiques ou non-diabétiques en fonction de leurs données de santé. Les classes diabétiques et non-diabétiques sont des prédictions de catégories discrètes.

Les classificateurs continus attribuent des prédictions de classe sous forme de probabilités continues appelées scores de confiance. Ces probabilités sont des valeurs comprises entre 0 et 1, représentant des pourcentages. Le modèle de prédiction pourrait classer un patient comme diabétique avec une probabilité de 0,82. Le modèle estime que le patient a 82 % de chances d’être diabétique. 

Les chercheurs évaluent généralement les modèles en utilisant des prédictions discrètes, et se servent des prédictions continues comme seuils. Un classificateur ignore toute prédiction en dessous d’un certain seuil. Si notre prédicteur de diabète a un seuil de 0,4 (40 %) et classe un patient comme diabétique avec une probabilité de 0,35 (35 %), le modèle ignorera cette étiquette et n’attribuera pas le patient à la classe diabétiques.³

La différence entre la classification et la régression, c’est que si la classification prédit la catégorie d’un point de données, la régression, elle, prédit une valeur numérique réelle associée. La classification et la régression sont toutes deux des types de modélisation prédictive, mais avec des cas d’utilisation distincts. 

Les modèles de classification classent les points de données en catégories. La classification est le processus d’entraînement d’un modèle d’apprentissage profond pour découvrir la fonction qui catégorise les points de données. 

Les modèles de régression prennent en compte différents points de données pour prédire une valeur numérique continue pour une autre variable. Par exemple, un modèle de régression en entreprise peut prédire le salaire d’un employé en fonction de son âge, de son expérience, de son lieu de travail et de sa formation. 

En pratique, les deux sont souvent étroitement liés. Par exemple, l’algorithme de régression logistique utilise la régression pour accomplir des tâches de classification.

Il existe de nombreux types d’algorithmes de classification. Bien que leurs cas d’utilisation se chevauchent, certains sont plus adaptés à des applications particulières que d’autres. Parmi les algorithmes de classification les plus couramment utilisés, on peut citer : 

• Régression logistique

• Arbre de décisions 

• Forêt d’arbres décisionnels

• Machine à vecteurs de support (SVM) 

• Méthode des k plus proches voisins 

• naive bayes

Bon nombre de ces algorithmes peuvent être facilement implémentés en Python grâce aux bibliothèques scikit-learn. En parallèle, les méthodes d’ensemble et les modèles de transformeur sont des développements plus récents appliqués aux problèmes de classification.

Les algorithmes de régression logistique sont souvent utilisés pour effectuer des tâches de classification. La régression logistique est un classificateur de probabilité dérivé de modèles de régression linéaire. La régression linéaire utilise une ou plusieurs variables indépendantes pour prévoir la valeur d’une variable indépendante. Cette valeur peut être n’importe quel nombre rationnel continu. 

La régression logistique est une modification de la régression linéaire, par exemple la valeur de sortie (ou variable indépendante) est limitée à une valeur comprise entre 0 et 1. Elle applique une transformation logit, ou log-odds, à la formule de régression linéaire standard.⁴

Les modèles de régression logistique sont utilisés pour la classification binaire dans les problèmes de régression multivariée : lorsque vous prenez en compte plusieurs variables, à quelle catégorie le point de données appartient-il ? Les applications courantes sont la détection des fraudes et les prédictions biomédicales. Par exemple, la régression logistique permet de prédire la mortalité des patients induite par un traumatisme ou une maladie coronarienne.⁵

Utilisés à la fois pour la classification et la régression, les arbres de décision divisent les jeux de données en groupes progressivement plus petits dans une série de jugements de classification binaire. La structure créée ressemble à un arbre, partant de branches, le jugement initial, vers des feuilles ou des nœuds associés. 

La nature similaire aux organigrammes des arbres de décision en fait l’un des modèles les plus intuitifs que les utilisateurs professionnels puissent comprendre. Faciles à visualiser, les arbres de décision apportent de la transparence au processus de classification, en représentant clairement les processus de décision et les critères utilisés pour classer les données. 

La forêt d’arbres décisionnels est une technique d’ensemble qui combine les productions de plusieurs arbres de décision en un seul résultat. La « forêt » qui en résulte améliore la précision des prévisions par rapport à celle d’un seul arbre, tout en contrecarrant le surajustement. Tout comme les arbres de décision, les forêts d’arbres décisionnels peuvent gérer les tâches de classification et de régression. 

Les algorithmes de forêt d’arbres décisionnels créent plusieurs arbres de décision pour chaque tâche, agrègent la prédiction de tous les arbres, puis choisissent la réponse la plus populaire comme résultat définitif. Chaque arbre prend en compte un sous-ensemble aléatoire de caractéristiques de données afin d’assurer une faible corrélation entre les arbres. 

Les algorithmes de machine à vecteurs de support (SVM) tracent des points de données dans un espace multidimensionnel, le nombre de dimensions correspondant au nombre de caractéristiques dans les données. L’objectif de l’algorithme est de découvrir la ligne optimale (également appelée hyperplan ou limite de décision) qui divise le mieux les points de données en catégories. 

L’hyperplan optimal est celui qui a la marge la plus grande, c’est-à-dire la distance entre l’hyperplan et les points de données les plus proches dans chaque classe. Ces points de données proches sont appelés vecteurs de support. Les modèles qui séparent les données à l’aide d’un hyperplan sont des modèles linéaires. Toutefois, les algorithmes SVM peuvent également gérer des tâches de classification non linéaires avec des jeux de données plus complexes. 

La régression logistique, les arbres de décision, les forêts d’arbres décisionnels et les algorithmes SVM sont tous des exemples d’apprenants enthousiastes : des algorithmes qui construisent des modèles à partir de données d’entraînement et qui appliquent ensuite ces modèles à des prédictions futures. L’entraînement prend plus de temps, mais une fois que l’algorithme a créé un bon modèle, les prédictions sont plus rapides. 

La méthode des k plus proches voisins (KNN) mappe les points de données dans un espace multidimensionnel. Elle regroupe ensuite les points de données avec des valeurs de caractéristique similaires dans des groupes distincts, ou classes. Pour classer de nouveaux échantillons de données, le classificateur examine le nombre k de points les plus proches de la nouvelle entrée de données, compte le nombre de membres de chaque classe contenus dans le sous-ensemble voisin et renvoie cette proportion en tant qu’estimation de classe pour le nouveau point de données. 

En d’autres termes, le modèle attribue un nouveau point de données à la classe qui contient la majorité des voisins de ce point. Les modèles KNN sont des apprenants lents : des algorithmes qui ne créent pas immédiatement un modèle à partir des données d’entraînement, mais qui se rapportent aux données d’entraînement et les comparent à de nouvelles données. Il faut généralement plus de temps à ces modèles pour faire des prédictions. 

Les modèles KNN comparent généralement la distance entre les points de données avec la distance euclidienne :⁶

La recherche approximative des plus proches voisins (ANN) est une variante de la méthode KNN. Dans les espaces de données de grande dimension, trouver les voisins exacts d’un point de données peut s’avérer coûteux en termes de calcul. La réduction de la dimensionnalité et l’ANN sont deux solutions à ce problème. 

Plutôt que de trouver le voisin le plus proche exact d’un point de données, l’ANN trouve le voisin le plus proche approximatif à une distance donnée. Des recherches récentes ont donné des résultats prometteurs pour l’ANN dans le contexte de la classification multi-label.⁷

D’après le théorème de Bayes, les classificateurs Naive Bayes calculent la probabilité a posteriori pour les prédictions de classe. Le classificateur Naive Bayes met à jour les prédictions de classe initiales (appelées probabilités a priori) à l’arrivée de chaque nouvelle donnée. 

Avec un prédicteur de diabète, les données médicales du patient, telles que la tension artérielle, l’âge ou la glycémie, servent de variables indépendantes. Un classificateur bayésien associe la prévalence actuelle du diabète dans une population (probabilité a priori) à la probabilité conditionnelle que les valeurs des données médicales de notre patient apparaissent chez une personne atteinte de diabète. 

Les classificateurs Naive Bayes suivent l’équation du théorème de Bayes :⁸

Les classificateurs Naive Bayes sont connus pour être des classificateurs génératifs. En utilisant les valeurs de variable d’une observation, le classificateur bayésien calcule la classe la plus susceptible d’avoir généré l’observation. 

Les chercheurs en traitement automatique du langage naturel (NLP) appliquent largement les classificateurs Naive Bayes aux tâches de classification de texte, telles que l’analyse des sentiments. En utilisant un modèle Bag of words, dans lequel chaque mot constitue une variable, le classificateur Naive Bayes prédit si une classe positive ou négative a produit le texte en question.⁹

Les méthodes d’ensemble et les techniques de machine learning associent plusieurs modèles plus petits en un seul classificateur pour améliorer les résultats. Les méthodes d’ensemble profond rassemblent plusieurs modèles d’apprentissage profond pour créer des classificateurs d’ensemble encore plus puissants. Les ensembles avec des apprenants profonds peuvent gérer des tâches complexes de classification multi-label. 

Le boosting de gradient est une méthode d’ensemble qui permet d’accroître la précision des prévisions. Il s’agit d’un type de boosting, une technique d’ensemble dans laquelle plusieurs apprenants faibles apprennent les uns des autres en séquence pour améliorer les résultats à chaque itération.

Bien que généralement utilisés pour les tâches de NLP, les modèles de transformeur ont également été appliqués aux problèmes de classification. Les modèles de transformeur tels que GPT et Claude utilisent des mécanismes d’auto-attention pour se concentrer sur les parties les plus pertinentes d’un jeu de données d’entrée. Le codage positionnel permet d’informer le modèle de l’emplacement de chaque point de données dans une séquence. 

Les chercheurs et les développeurs choisissent certains indicateurs d’évaluation pour les modèles de classification en fonction de la tâche de classification spécifique. Tous mesurent la précision avec laquelle un apprenant (c’est-à-dire un classificateur) prédit les classes du modèle. 

Voici quelques-uns des indicateurs d’évaluation les plus populaires : 

• Précision 

• Précision 

• Rappel 

• Score F1

• Matrice de confusion

• Courbe ROC

Les vrais positifs (TP) sont les échantillons de données que le modèle place correctement dans leur classe respective. Les faux positifs (FP) sont les instances de classe négatives incorrectement identifiées comme des cas positifs. Les faux négatifs (FN) sont des instances positives réelles prédites à tort comme négatives. Les vrais négatifs (TN) sont les instances négatives réelles que le modèle classe avec précision comme négatives.

La précision est le rapport entre les vrais positifs et l’ensemble des prédictions d’un jeu de données. Elle mesure la fréquence à laquelle un modèle de machine learning prédit correctement un résultat. Dans ce cas, il s’agit de la bonne classe pour un point de données. 

La précision offre une vue d’ensemble de haut niveau des performances d’un modèle, mais ne révèle pas si un modèle est plus apte à prédire certaines classes que d’autres. Lorsque les jeux de données sont très déséquilibrés, se concentrer sur la précision peut conduire un modèle à ignorer tous les jeux de données plus petits et à prédire tous les résultats comme la classe majoritaire. Dans ce cas, la précision globale restera élevée. 

Un filtre antispam sera extrêmement précis si la plupart de ses estimations sont correctes, même s’il passe à côté de la plupart des vrais spams. 

La précision, ou la valeur prédictive positive (PPV), est la proportion de prévisions de classe positives qui appartiennent à la classe spécifiée. La précision permet de savoir si un modèle prédit correctement la classe cible, ce qui le rend utile pour les tâches de classification déséquilibrées ou lorsque le coût des faux positifs est élevé. 

Dans un filtre antispam, la précision indique le nombre de spams parmi le nombre d’e-mails de spam détectés. Les modèles qui classent incorrectement les données comme faux positifs ont une faible précision, tandis que les modèles avec moins de faux positifs ont une grande précision.¹⁰

Également appelé sensibilité ou taux de vrais positifs (TPR), le rappel désigne le pourcentage d’instances de classe détectées par un modèle. Le rappel indique à quelle fréquence un modèle détecte les membres de la classe cible dans le jeu de données. Pour un filtre antispam, le rappel indique la quantité d’e-mails de spam réels que le modèle identifie comme spam.¹¹

La précision et le rappel partagent une relation inverse. Au fur et à mesure qu’un classificateur renvoie plus de vrais positifs montrant une augmentation du rappel, il risque de mal classer les non-instances, générer des faux positifs et diminuer la précision. Le score F1 résout ce compromis en combinant la précision et le rappel pour représenter la précision totale d’un modèle et termes de classes.¹²

Les outils de visualisation des données permettent d’illustrer les résultats de l’analyse des données. Les data scientists et les chercheurs en machine learning utilisent deux outils principaux pour visualiser les performances du classificateur : 

• La matrice de confusion, un tableau montrant les valeurs prédites et réelles. 

• La courbe ROC, un graphique représentant la proportion de vrais positifs par rapport aux vrais négatifs.

La matrice de confusion est un tableau représentant à la fois les valeurs prédites et les valeurs réelles d’une classe. Les cases de la matrice représentent le nombre de vrais positifs, de faux positifs, de faux négatifs et de vrais négatifs. La somme de ces valeurs correspond au nombre total de prédictions du modèle.¹³

Une courbe ROC (Receiver Operating Characteristic) permet de visualiser la proportion des vrais positifs par rapport aux vrais négatifs. Le graphique représente le taux de vrais positifs par rapport au taux de vrais négatifs pour chaque seuil utilisé dans l’algorithme de classification du modèle. La statistique AUC (Area Under the Curve, aire sous la courbe) est dérivée de la courbe ROC. 

L’AUC mesure la probabilité qu’un positif sélectionné au hasard ait un score de confiance plus élevé qu’un négatif aléatoire. Les valeurs de l’AUC sont comprises entre 0 et 1. Un score de 0 signifie que le modèle note tous les points négatifs avec des probabilités plus élevées que les positifs, tandis que 1 signifie que le modèle note tous les points positifs avec une probabilité plus élevée.¹⁴