Qu’est-ce que le machine learning statistique ?

À l’ère moderne de l’IA générative, nous voyons les professionnels développer des modèles de machine learning (ML) allant de simples régressions linéaires à des réseaux neuronaux complexes et sophistiqués et de grands modèles de langage (LLM) génératifs. Nous constatons également une omniprésence de la science des données et de l’analyse des données réalisées pour prédire le taux d’attrition client, pour les systèmes de recommandation et d’autres cas d’utilisation. Cependant, même si les modèles de machine learning (ML) peuvent sembler fonctionner sur un ensemble de données énorme et des algorithmes puissants, sous le capot, il s’agit essentiellement d’un processus statistique.

Le machine learning repose sur des techniques statistiques et des outils mathématiques, notamment les méthodes bayésiennes, l’algèbre linéaire et les stratégies de validation, qui structurent et renforcent le processus. Qu’il s’agisse de construire un outil de classification non linéaire, de régler un système de recommandation ou de développer un modèle génératif en Python, vous appliquez les principes fondamentaux du machine learning statistique.

Chaque fois que l’on entraîne un modèle, on estime les paramètres à partir des données. Lorsqu’on le teste, on cherche à savoir si ce comportement est réel ou s’il s’agit simplement d’un bruit aléatoire. Comment quantifier l’erreur à l’aide d’indicateurs d’évaluation ? Ce sont des questions statistiques. Le processus de test statistique nous permet d’intégrer la confiance dans la construction et l’interprétation des indicateurs des modèles. Comprendre ces prérequis n’est pas seulement la base, c’est essentiel pour construire des systèmes d’IA robustes et interprétables, fondés sur la science informatique et le raisonnement mathématique.

Cet article examine les piliers statistiques qui sous-tendent le ML moderne, non seulement pour démystifier les mathématiques, mais aussi pour vous doter des modèles mentaux nécessaires pour créer, déboguer et interpréter des systèmes de machine learning en toute confiance.

Nous allons passer en revue six notions interdépendantes :

1. Statistiques : qu’est-ce que les statistiques et comment elles sont utilisées dans l’IA moderne ?

2. Probabilité : comment quantifier l’incertitude dans les données ?

3. Distributions : Comment modéliser le comportement des données ?

Les statistiques sont la science de l’extraction d’informations à partir des données. Elles organisent, analysent et interprètent les informations afin de mettre en évidence des tendances et de prendre des décisions dans un contexte d'incertitude. Dans le contexte de la science des données et des algorithmes de machine learning, les statistiques constituent la base mathématique qui permet de comprendre le comportement des données, de guider le choix de modèles et d’évaluer les résultats. Elles transforment les jeux de données désordonnés et bruyants en informations exploitables.

Le machine learning moderne repose sur des méthodes statistiques. Que vous appliquiez l’apprentissage supervisé (par exemple, la régression ou la classification), l’apprentissage non supervisé (par exemple, le clustering) ou l’apprentissage par renforcement, vous utilisez des outils basés sur l’inférence statistique. Les statistiques nous permettent de quantifier l’incertitude, de généraliser à partir d’échantillons et de tirer des conclusions sur des populations plus larges, autant d’éléments essentiels à la création de systèmes d’intelligence artificielle (IA) fiables.

Avant d’entraîner les modèles, nous réalisons une analyse exploratoire des données (EDA), un processus qui s’appuie sur des statistiques descriptives pour synthétiser les principales caractéristiques des données. Ces synthèses nous informent sur la tendance centrale et la variabilité de chaque caractéristique, ce qui nous aide à identifier les données aberrantes, les problèmes de qualité des données et les besoins en prétraitement. Comprendre ces propriétés est indispensable pour construire des modèles efficaces et choisir des algorithmes de machine learning appropriés.

• Moyenne (moyenne) :

La moyenne arithmétique des valeurs. Courante pour mesurer la centralité et dans les fonctions de perte comme l’erreur quadratique moyenne (MSE).

Exemple : si les valeurs d'achat des clients augmentent, la moyenne détecte les changements de comportement.

• Médiane :

La valeur intermédiaire lorsque les données sont triées. Plus robuste face aux données aberrantes que la moyenne.

Exemple : dans les données sur les revenus, la médiane reflète mieux un cas « typique » en présence d’une répartition inégale des richesses.

• Mode :

La valeur qui revient le plus fréquemment. Utile pour les caractéristiques catégorielles ou le vote majoritaire (comme dans certaines méthodes d’ensemble).

Exemple : trouver le navigateur le plus utilisé par les visiteurs du site.

• Écart-type :

Mesure l’écart graduel des valeurs par rapport à la moyenne. Un SD faible implique que les points de données sont regroupés près de la moyenne, tandis qu’un SD élevé indique une plus grande variabilité.

Exemple : dans la validation des modèles, une caractéristique qui présente une variance élevée peut nécessiter une normalisation pour éviter de suralimenter les autres dans les algorithmes basés sur la distance, comme les k plus proches voisins.

• Écart interquartile (IQR) :

La fourchette entre les 75e et 25e percentiles (T3 - T1). Il capture les 50 % intermédiaires des données et sert à détecter les données aberrantes.

Exemple : dans une tâche de segmentation client, un écart interquartile élevé dans les dépenses peut indiquer un comportement incohérent entre les sous-groupes.

• Asymétrie :

Indique l’asymétrie d’une distribution. Un biais positif signifie que la traîne droite est plus longue, tandis qu’un biais négatif signifie que la traîne gauche est plus longue. Des caractéristiques asymétriques peuvent enfreindre les hypothèses des modèles linéaires ou gonfler les indicateurs basés sur la moyenne.

Exemple : Les distributions asymétriques à droite (comme les revenus) peuvent nécessiter une transformation logarithmique avant l’application d’une régression linéaire.

• Kurtosis :

décrit l’étalement de la distribution, c’est-à-dire la probabilité de valeurs extrêmes. Un kurtosis élevé implique des données aberrantes plus fréquentes, tandis qu’un kurtosis faible signifie une distribution plus plate.

Exemple : dans la détection des fraudes, un kurtosis élevé des montants de transaction peut indiquer des schémas de dépenses anormaux.

Ces mesures guident également les décisions de prétraitement telles que la normalisation, la standardisation ou l’imputation, et affectent la façon dont nous concevons de nouvelles fonctionnalités.

Lors de l’EDA, les statistiques descriptives nous aident à :

• Évaluer la distribution des données : les variables sont-elles gaussiennes ? Biaisées ? Multimodales ?
• Identifier les données aberrantes et les erreurs : un décalage entre la moyenne et la médiane peut indiquer des valeurs inhabituelles.
• Découvrir les problèmes de qualité des données : par exemple, la détection d'âges négatifs ou de catégories impossibles.
• Sélectionner un modèle : une variable cible continue suggère une régression ; une variable catégorielle, une classification. Les relations entre les caractéristiques (par exemple, la corrélation) peuvent également influencer le choix entre des méthodes linéaires, non paramétriques ou à noyau.

La compréhension des données à l'aide de statistiques permet également de préparer des modèles capables de traiter de grands jeux de données, d'évaluer les indicateurs des modèles et d'atténuer les risques tels que le surajustement. Par exemple, les résumés descriptifs peuvent révéler des classes ou des échelles de fonctionnalité déséquilibrées qui nécessitent une normalisation, qui affectent toutes deux la performance et l'équité du modèle.

La modélisation à l'aide de machine learning existe en raison de l'incertitude. Si nous pouvions mapper parfaitement les entrées aux sorties, nous n’aurions pas besoin de modèles. Mais les données du monde réel sont désordonnées, incomplètes et bruyantes. Nous modélisons donc des probabilités plutôt que des certitudes. L'étude des probabilités constitue la base de tout ce qui touche à machine learning et à l'intelligence artificielle (IA). Les théories probabilistes nous permettent de comprendre les données que nous avons utilisées pour modéliser de manière élégante et intelligente. Elles jouent un rôle essentiel dans la modélisation des incertitudes dans les prédictions des modèles ML. Elles nous aident à quantifier la vraisemblance, la probabilité et les certitudes d'un modèle statistique afin que nous puissions mesurer en toute confiance les résultats des modèles que nous créons. Plonger dans le monde des probabilités et en apprendre les principes fondamentaux vous aidera à comprendre les bases de tous les modèles d'apprentissage statistique et la manière dont leurs prédictions sont établies. Vous apprendrez comment nous pouvons faire des inférences et produire des résultats probabilistes.

Pour apprendre les distributions populaires et modéliser vos données en toute confiance, revenons aux bases et clarifions quelques terminologies.

Variable aléatoire : représentation numérique du résultat d’un phénomène aléatoire. Il s’agit d’une variable dont les valeurs possibles sont les résultats numériques d’un processus aléatoire.

Variable aléatoire discrète : une variable aléatoire qui peut prendre un nombre limité ou considérable de valeurs distinctes. Par exemple, le résultat d’un jeu de pile ou face (face = 1, pile = 0), ou le nombre d’e-mails de spam reçus en une heure.

Variable aléatoire continue : une variable aléatoire qui peut prendre n’importe quelle valeur dans une plage donnée. Par exemple, la taille d’une personne, la température dans une pièce ou la quantité de précipitations.

Événement : un ensemble d’un ou de plusieurs résultats d’un processus aléatoire. Par exemple, obtenir un nombre pair en lançant un dé (résultats : 2, 4, 6) ou le taux d’attrition client.

Résultat : un seul résultat possible d’une expérience aléatoire. Par exemple, lancer une pièce donne soit « Pile », soit « Face ».

Probabilité $P\left(A\right)$ : mesure numérique de la probabilité qu’un événement $A$ se produira, allant de 0 (impossible) à 1 (certain).

Probabilité conditionnelle $P\left(A\right|B)$: la probabilité que l’événement $A$ se produise, dans la mesure où cet événement $A$ s’est déjà produit. Cette étape est cruciale en ML, car nous voulons souvent prédire un résultat à partir de certaines caractéristiques.

La probabilité est une mesure de la vraisemblance qu’un événement va se produise, de 0 (impossible) à 1 (certain).

Dans le machine learning, il s’agit souvent d’une probabilité conditionnelle

Exemple : un modèle de régression logistique pourrait dire

> « Étant donné l'âge = 45, le revenu = 60 000 USD, et l'historique,

> la probabilité de perte du client est de 0,82. »

Cet exemple ne signifie pas que le client va être perdu ; c’est une supposition basée sur les modèles statistiques dans les données d’apprentissage.

À l’ère moderne de l’IA générative, les modèles probabilistes tels que la régression logistique jouent un rôle énorme dans la détermination des résultats et des sorties d’un modèle. Ce rôle prend souvent la forme d'une fonction d'activation dans les couches de réseaux de neurones.

Une distribution de probabilité est une fonction mathématique qui décrit les valeurs et les vraisemblances qu’une variable aléatoire peut prendre dans une plage particulière. En ML, la compréhension des distributions est essentielle, car les données existent rarement sous forme de points isolés ; elles ont une structure et une « forme ». Voici quelques termes qu’il est bon de préciser :

• Distribution discrète : s’applique aux variables qui prennent des valeurs distinctes et dénombrables (par exemple, pile ou face, nombres de mots).
• Distribution continue : s’applique aux variables qui peuvent prendre n’importe quelle valeur dans une fourchette (par exemple, taille, poids, heure).

• Fonction de masse de probabilité (PMF) : la PMF s’applique aux variables aléatoires discrètes, c’est-à-dire aux variables qui prennent des valeurs distinctes pouvant être comptées en 0 ou 1, face ou pile, ou en fonction du nombre de clients arrivant dans un magasin. La PMF vous indique la probabilité exacte de chaque résultat possible. Par exemple, si vous lancez un dé à six facettes, la PMF attribue une probabilité de 1/6 à chacun des résultats $1,2,3,4,5,6$. Contrairement à la PDF (qui répartit la densité de probabilité sur une fourchette), la PMF concentre la probabilité sur les valeurs exactes.
• Fonction de densité de probabilité (PDF) : nous aide à raisonner sur les centiles, les quantiles et les seuils de probabilité, des concepts souvent utilisés dans les modèles de seuillage, l’audit d’équité et l’interprétabilité.
• Fonction de distribution cumulée (CDF) : la CDF fournit la probabilité cumulée qu'une valeur soit inférieure ou égale à un seuil spécifique. Elle passe de 0 à 1 à mesure que vous déplacez le long de l’axe des x, et est particulièrement utile pour répondre à des questions du type « Quelle proportion de clients dépense moins de 50 USD ? »
• Fonction de masse cumulée (CMF) : la CMF est la contrepartie discrète de la CDF. Elle donne la probabilité cumulée qu’une variable discrète prend une valeur inférieure ou égale à un point particulier.

Il est essentiel de formuler les bonnes hypothèses concernant la distribution de vos données ; de nombreux algorithmes de machine learning s’appuient sur ces hypothèses pour la sélection du modèle et son interprétation. Des hypothèses incorrectes peuvent conduire à des estimations biaisées, à des fonctions de perte mal alignées et, en fin de compte, à une généralisation médiocre ou à des conclusions non valides dans les applications réelles.

Les distributions de probabilité sous-tendent :

• Modélisation des erreurs : hypothèses sur les valeurs résiduelles dans la régression (souvent par processus gaussien).
• Fonctions de perte : l’erreur quadratique moyenne (MSE) correspond aux hypothèses gaussiennes ; l’entropie croisée correspond à une distribution de Bernoulli ou logistique.
• Conception du modèle : les cibles de classification sont souvent modélisées par Bernoulli ; les variables latentes dans les modèles génératifs profonds utilisent des distributions a priori gaussiennes.
• IA générative : l’échantillonnage à partir de distributions de grande dimension apprises est essentiel pour les modèles tels que les réseaux antagonistes génératifs (GAN) et les VAE.

La distribution de Bernoulli modélise la probabilité de réussite ou d’échec en un seul essai d’un événement aléatoire discret. En d’autres termes, elle n’a que deux résultats : 1 (réussite) ou 0 (échec). Il s’agit du type de distribution le plus simple utilisé dans les statistiques, et il constitue la base de nombreux problèmes de classification dans le machine learning. Par exemple, si vous lancez une pièce 10 fois et que vous obtenez 7 face (réussite) et 3 pile (échec), la fonction de masse de probabilité (PMF) peut être représentée comme suit :

Un jeu de pile ou face est un essai classique de Bernoulli. Appliquons la fonction de masse de probabilité à l’exemple du pile ou face

- Soit $X$ une variable aléatoire représentant le résultat d’un lancer

- Si face correspond au succès, nous définissons $X=1$ pour pile et $X=0$ pour face

- Si la pièce est équilibrée, la probabilité d’obtenir face est $p=0.5$

La fonction de masse de probabilité (PMF) de la distribution de Bernoulli est la suivante :

 $P(X=x)=p^x(1-p{)}^{1-x},forx\in \{<!--\; -->0,1\}$

Où :

• p est la probabilité de réussite (X=1)
• 1 - p est la probabilité d’échec (X=0)
• x est le résultat observé (1 ou 0)

Il est essentiel de comprendre la PMF de Bernoulli, car elle représente l’épine dorsale probabiliste de nombreux modèles de classification. En particulier, la régression logistique n’estime pas juste une étiquette de classe, elle estime la probabilité qu’une entrée particulière appartienne à la classe 1. Cette probabilité prédite est interprétée comme le paramètre facilitant dans une distribution de Bernoulli :

La fonction logistique (sigmoïde) utilisée dans la régression logistique garantit que les valeurs prédites se situent dans la fourchette [0,1], ce qui en fait des probabilités Bernoulli valides. Le modèle est entraîné à maximiser la vraisemblance liée à l’observation des vrais résultats binaires selon l’hypothèse que chaque valeur cible est tirée d’une distribution de Bernoulli avec une probabilité 𝑝 prédite à partir des caractéristiques 𝑋. Dans ce cas, comme nous voulons minimiser la perte d’entraînement, nous adoptons une approche d’estimation du maximum de vraisemblance (MLE) pour maximiser la vraisemblance d’un résultat au vu des données. Généralement, pour une distribution discrète telle que Bernoulli, nous transformons la probabilité en vraisemblance pour faciliter la manipulation. La vraisemblance, comme les cotes, étant disproportionnée, nous appliquons généralement une transformation logarithmique, appelée log-vraisemblance, et la fonction de perte appelée log-perte. Si cette section vous semble un peu déroutante, vous pouvez consulter la fiche explicative de régression logistique mentionnée précédemment pour la dérivation étape par étape de la fonction de log-vraisemblance en utilisant la MLE. Cette relation fournit la base statistique pour l’interprétation des résultats en tant qu’estimations probabilistes. D’autres applications comprennent :

• La classification binaire (arbres de décision, forêts d’arbres décisionnels, machines à vecteurs de support avec résultats binaires) traite implicitement la classification comme une prédiction des résultats de Bernoulli, en particulier lorsque le calibrage des probabilités est appliqué après l’entraînement.
• Indicateurs : la précision, le rappel et le score F1 sont fondamentalement dérivés de l’hypothèse selon laquelle chaque prédiction est un événement binaire (essai de Bernoulli).

La distribution normale décrit une variable aléatoire continue dont les valeurs ont tendance à se regrouper autour d’une moyenne centrale, avec une variabilité symétrique dans les deux directions. Elle est omniprésente dans les statistiques, car de nombreux phénomènes naturels (taille, résultats des tests, erreurs de mesure) suivent ce modèle, en particulier lorsque les valeurs sont agrégées sur des échantillons.

Supposons que vous enregistrez la taille de 1 000 adultes. Le traçage de ces données révèle une courbe en forme de cloche : la plupart des personnes sont proches de la moyenne, et moins nombreuses aux extrêmes. Cette forme est capturée par la fonction de densité de probabilité (PDF) de la distribution normale :

 $f(x\mid \mu ,{\sigma }^2)=\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp \left(-\frac{(x-\mu {)}^2}{2{\sigma }^2}\right)$

Où :

• 𝑥 est une variable continue (par exemple, la taille)
• 𝜇 est la moyenne (centre de la distribution)
•  ${\sigma }^2$  est la variance (contrôle la dispersion)
• Le dénominateur  $\sqrt{2\pi {\sigma }^2}$  garantit que la somme des aires sous la courbe est égale à 1
• Le terme exponentiel pénalise les valeurs éloignées de la moyenne, ce qui les rend moins probables

• Régression linéaire : partir du principe que les valeurs résiduelles (erreurs) sont normalement distribuées, ce qui justifie l’utilisation de l’erreur quadratique moyenne (MSE) comme fonction de perte. Cette hypothèse permet aux modèles de faire des interprétations probabilistes et facilite l’inférence statistique (par exemple, les intervalles de confiance, les tests d’hypothèse sur des coefficients).
• Modèles génératifs : les auto-encodeurs variationnels (VAE), les GAN et autres modèles génératifs partent généralement du principe que les variables latentes suivent une distribution normale standard. De nouvelles données sont générées en prélevant des échantillons dans cet espace et en les transformant par le biais des réseaux appris.
• Régularisation : des techniques comme la régularisation L2 (également appelée régression de crête) pénalisent les grands modèles en ajoutant un terme proportionnel au carré des poids pour la fonction de perte. Ce terme de pénalité correspond à l’hypothèse d’un a priori gaussien sur les paramètres du modèle. En termes bayésiens, cela revient à considérer que les poids sont tirés d’une distribution normale centrée sur zéro. Ce principe transforme la régularisation en un problème d’optimisation basé sur la probabilité, favorisant la création de modèles plus simples et réduisant le surajustement.

Au cœur de chaque système de machine learning se trouve une structure statistique, un échafaudage invisible qui soutient tout, de la conception du modèle à son interprétation. Nous avons commencé par explorer ce qu'est réellement la statistique : pas seulement une branche des mathématiques, mais un langage permettant de donner un sens à l'incertitude et d'extraire du sens à partir des données. Les statistiques descriptives constituent le premier prisme à travers lequel nous examinons et résumons la complexité du monde, offrant une clarté avant même que la modélisation ne commence.

Ensuite, nous avons abordé la probabilité, l'ensemble d'outils formels permettant de raisonner dans un contexte d'incertitude. Dans le domaine du machine learning, les probabilités nous aident à quantifier la probabilité d'un résultat, ce qui permet aux modèles d'exprimer un degré de confiance plutôt que de simples prédictions absolues. Qu'il s'agisse de la probabilité qu'un client quitte l'entreprise ou de la probabilité d'une étiquette dans une classification, la théorie des probabilités transforme les données brutes en informations interprétables.

Enfin, nous avons évoqué les distributions, qui définissent le comportement des données dans différents scénarios. De la distribution discrète de Bernoulli modélisant les résultats binaires à la distribution gaussienne continue qui façonne nos hypothèses dans les modèles de régression et génératifs, il est essentiel de bien comprendre ces distributions. Elles sous-tendent à la fois les données que nous observons et les algorithmes que nous créons, guidant le choix du modèle, modelant les fonctions de perte et permettant une inférence significative.

Dans les algorithmes modernes de machine learning, de la régression logistique et du Naive Bayes à l’apprentissage profond et aux méthodes à noyau, ces principes statistiques ne sont pas des compléments facultatifs, mais constituent la mécanique même du machine learning. Elles nous aident à raisonner face à l’incertitude, à optimiser les performances et à généraliser à partir d’observations limitées pour aboutir à des prises de décision concrètes. En maîtrisant ces bases, vous n’apprenez pas seulement à utiliser le machine learning, vous apprenez à le comprendre, à le construire et à en tirer des conclusions.

Même à l’ère de l’IA générative et des modèles d’apprentissage profond à grande échelle, les statistiques restent plus pertinentes que jamais. Derrière chaque couche de transformeur et chaque étape de diffusion se trouve une base fondée sur des suppositions de probabilité, d’estimation et de distribution. La compréhension de concepts tels que le compromis biais-variance et l’incertitude n’est pas seulement théorique ; elle est essentielle pour interpréter les modèles boîte noire, diagnostiquer les modes de défaillance et créer une IA responsable et explicable. Qu’il s’agisse d’affiner un modèle de fondation, d’appliquer des techniques bayésiennes pour quantifier l’incertitude ou d’évaluer des sorties génératives, le raisonnement statistique vous fournit les outils nécessaires pour naviguer dans la complexité avec clarté. À mesure que les systèmes d’IA générative gagnent en puissance, ancrer votre pratique dans les principes statistiques fondamentaux garantit que vos modèles restent non seulement à la pointe de la technologie, mais aussi rigoureux et dignes de confiance.