Qu’est-ce qu’une matrice de confusion ?

Dans une matrice de confusion, les colonnes représentent les valeurs prédites d’une classe donnée tandis que les lignes représentent les valeurs réelles (c’est-à-dire la vérité terrain) d’une classe donnée, ou inversement. Notez que l’inverse se retrouve également dans les recherches. Cette structure en grille constitue un outil pratique pour visualiser la précision de la classification des modèles : elle permet d’afficher le nombre de prévisions correctes et de prévisions incorrectes pour toutes les classes côte à côte.

Voici ce à quoi pourrait ressembler un modèle de matrice de confusion standard pour un classificateur binaire :

La case en haut à gauche contient le nombre de vrais positifs (TP), c’est-à-dire le nombre de prédictions correctes pour la classe positive. La case du dessous correspond aux faux positifs (FP), c’est-à-dire les instances de classe négative identifiées à tort comme des cas positifs. Ces valeurs sont également appelées erreurs de type I en statistique. La case en haut à droite contient le nombre de faux négatifs (FN), les instances en fait positives prédites à tort comme négatives. Enfin, la case en bas à droite affiche le nombre de vrais négatifs (TN), les instances de classe négatives réelles correctement prédites comme négatives. En additionnant chacune de ces valeurs, on obtient le nombre total de prédictions du modèle.¹    

Bien sûr, ce modèle traite un problème de classification binaire rudimentaire. La matrice de confusion permet également de visualiser les résultats pour des problèmes de classification multiclasse. Imaginez par exemple que nous développions un modèle de classification des espèces dans le cadre d’un programme de conservation de la vie marine. Le modèle prédit les espèces de poissons. Voici ce à quoi pourrait ressembler la matrice de confusion correspondant à un tel problème de classification multiclasse :

Les cases en diagonale indiquent toutes les vrais positifs prédits. Les autres cases correspondent aux quantités de faux positifs, de faux négatifs et de vrais négatifs, en fonction de la classe sur laquelle on choisit de se concentrer.

Grâce à sa présentation accessible des résultats prédictifs du classificateur, la matrice de confusion peut servir à calculer d’autres indicateurs d’évaluation de modèles. Les valeurs peuvent simplement être extraites de la matrice et intégrées à un certain nombre d’équations destinées à mesurer les performances du modèle.

La précision du modèle n’est pas une mesure d’évaluation entièrement informative pour les classificateurs. Par exemple, imaginons que nous exécutions un classificateur sur un jeu de données de 100 instances. La matrice de confusion du modèle affiche un seul faux négatif et aucun faux positif. Le modèle classe correctement toutes les autres instances de données. Ainsi, le modèle a une précision de 99 %. Même si elle est apparemment souhaitable, une grande précision n’est pas en elle-même un gage de l’excellence de la performance d’un modèle. Par exemple, supposons que notre modèle vise à classer des maladies hautement contagieuses. Ce pourcentage de classifications erronées pose un risque énorme. De ce fait, d’autres indicateurs d’évaluation peuvent être utilisés pour peindre un meilleur tableau des performances des algorithmes de classification.

La précision correspond à la proportion de prédictions de classes positives qui appartiennent réellement à la classe en question.² On peut également considérer qu’elle mesure la probabilité qu’une instance choisie au hasard appartienne à une certaine classe.³ La précision peut également être appelée valeur prédite positive (PPV). Elle est représentée par l’équation suivante :

Le rappel indique le pourcentage d’instances de classes détectées par un modèle.⁴ En d’autres termes, il indique la proportion de prédictions positives pour une classe donnée par rapport à toutes les instances réelles de cette classe.⁵ Le rappel est également connu sous le nom de sensibilité ou taux de vrais positifs (TPR), et il est représenté par l’équation suivante :

La précision et le rappel peuvent partager une relation inverse. Si un modèle augmente le rappel en renvoyant davantage d’instances de classes réelles (c.-à-d. vrais positifs), il classifiera inévitablement mal les non-instances (c.-à-d. faux positifs), réduisant ainsi la précision.⁶ Le score F1 tente de combiner précision et rappel pour équilibrer ce compromis.

Le F1 Score, également appelé F-score, F-mesure ou moyenne harmonique de la précision et du rappel combine la précision et le rappel pour représenter la précision totale d’un modèle par classe. En utilisant ces deux valeurs, on peut calculer le F1 Score avec cette équation, où P indique la précision (PPV) et R représente le rappel (sensibilité) :

Le F1 Score est particulièrement utile pour les jeux de données déséquilibrés, dans lesquels le compromis précision-rappel peut être le plus évident. Imaginons par exemple un classificateur prédisant la probabilité d’une maladie rare. Un modèle qui prédit que personne dans notre jeu de données de test n’est atteint de la maladie peut avoir une précision parfaite, mais un rappel nul. En revanche, un modèle qui prédit que tout le monde dans notre jeu de données est atteint de la maladie renverrait un rappel parfait, mais une précision égale au pourcentage de personnes qui ont réellement la maladie (par exemple 0,00001 % si seulement une personne sur dix millions est atteinte de la maladie). Le F1 Score constitue un moyen d’équilibrer ces deux valeurs pour obtenir une vue plus holistique des performances d’un classificateur.⁷

Certains chercheurs critiquent l’utilisation du F1 Score comme indicateur de performance. Ils avancent généralement que le F1 Score accorde la même importance à la précision et au rappel, qui ne sont peut-être pas des indicateurs de performance d’importance égale pour tous les jeux de données.⁸ En réponse, ils ont proposé des variantes modifiées du F1 Score.⁹

Les mesures conditionnelles indiquent le taux de précision d’un modèle en termes de détection d’une certaine classe ou non-classe. Le rappel, également appelé taux de vrais positifs (TPR) ou sensibilité, est l’une de ces mesures, indiquant la proportion des prévisions de classes positives par rapport à toutes les instances de classes réelles. La spécificité, ou taux de vrais négatifs (TNR), est l’autre mesure conditionnelle. Elle mesure la proportion de prédictions négatives correctes par rapport aux non-instances réelles d’une classe donnée. La spécificité peut être calculée à l’aide de l’équation suivante :¹⁰

La spécificité permet de calculer le taux de faux positifs (FPR) d’un modèle. D’autres visualisations destinées à l’évaluation des classificateurs, notamment la courbe ROC et l’AUC, utilisent le FPR. Le FPR est la probabilité qu’un modèle classe à tort une non-instance d’une certaine classe comme une partie de cette classe. Ainsi, comme son nom l’indique, il représente le taux de faux positifs renvoyés par le modèle, ce que l’on appelle également erreurs de type I en statistique.

Tandis que les erreurs de type I font référence aux faux positifs, les erreurs de type II désignent les faux négatifs, c’est-à-dire des instances réelles d’une classe donnée classées par erreur comme ne faisant pas partie de cette classe. Par exemple, le taux de faux négatifs (FNR) correspond à la probabilité qu’un modèle classe par erreur une instance de classe réelle comme ne faisant pas partie de cette classe. Alors que le FPR correspond à la spécificité, le FNR correspond à la sensibilité :

Notez que le FNR n’apparaît pas souvent dans la littérature, car il nécessite de connaître le nombre total d’instances réelles pour une classe donnée, une valeur qui peut rester inconnue dans les jeux de données de test inédits.¹¹

Les indicateurs inconditionnels sont ceux qui représentent les probabilités qu’une classe donnée se produise ou non, selon le modèle. La précision, ou valeur prédictive positive (PPV), est un indicateur inconditionnel. Comme mentionné précédemment, elle mesure la probabilité qu’une instance choisie appartienne à une certaine classe. L’autre indicateur inconditionnel, la valeur prédictive négative (VPN), est la probabilité qu’une instance choisie n’appartienne pas à cette classe. Essentiellement, les deux indicateurs inconditionnels tentent de déterminer si une instance choisie au hasard appartient ou non à une classe donnée. La VPN est calculée à l’aide de la formule suivante :¹²