Test des modèles de classification
Un modèle de classification attribue à chaque entité le résultat qu'elle considère comme le plus approprié. Le résultat est la valeur prédite qui est déterminée par le modèle de classification.
La valeur prédite pour le résultat peut différer de la valeur réelle du résultat car un modèle de classification n'est presque jamais parfait. La raison principale en est que la réalité est beaucoup plus complexe que sa représentation dans un modèle minier.
Pour obtenir une meilleure estimation de la qualité du modèle, vous pouvez appliquer le modèle à des données qui incluent déjà le résultat mais qui sont différentes des données d'apprentissage. Le moyen le plus simple d'obtenir un ensemble de données de ce type consiste à diviser la table de données d'origine qui inclut les données d'historique en deux parties. Une partie est utilisée pour l'apprentissage du modèle et l'autre pour la détermination de la qualité du modèle uniquement. Cette étape d'exploration est appelée le test du modèle.
Vous pouvez tester des modèles à l'aide de la procédure TestClasModel .
Qualité du modèle
La qualité d'un modèle de classification est le pourcentage de prévisions correctes pour un ensemble de données donné. L'objectif est d'obtenir un modèle de haute qualité. La fraction des prévisions correctes doit être aussi élevée que possible lorsque vous utilisez le modèle pour prédire le résultat pour des entités dont le résultat n'est pas encore connu. Par conséquent, lorsque vous utilisez un modèle de classification pour sélectionner des clients pour une campagne de mailing, vous souhaitez que le modèle ne sélectionne que les clients qui sont les plus susceptibles de répondre.
- Exactitude
- La mesure de la qualité de l'exactitude indique la probabilité que la prévision de la classe prédite soit correcte. Par exemple, une valeur d'exactitude de 0,8 signifie que 80% des enregistrements pour lesquels la valeur spécifiée est prédite sont correctement classifiés. 20% des enregistrements ont une valeur différente de la valeur prédite.
- Classement
- La mesure de qualité de classement indique la capacité du modèle à ordonner les enregistrements en fonction de la probabilité que la prévision de la classe prédite soit correcte.
La qualité de classement est la relation entre l'aire entre la courbe du modèle et la courbe aléatoire et l'aire entre la courbe optimale et la courbe aléatoire dans le graphique des gains.
La mesure de qualité de classement indique dans quelle mesure un modèle est capable de séparer les enregistrements de données avec des valeurs de champ cible élevées des enregistrements de données avec des valeurs de champ cible faibles.
Une qualité de classement négative indique qu'un modèle est pire que aléatoire. Une cause fréquente est un codage différent des valeurs cible pour les données d'apprentissage et les données de test. Par exemple, pour le champ cible
RESPONSE, les valeurs cibleYESetNOont été mélangées. - Fiabilité
- La mesure de la qualité de la fiabilité indique la capacité du modèle à prédire des données inconnues. Elle indique également si le modèle est surentraîné.
La mesure de la qualité de la fiabilité indique la cohérence entre l'évaluation par un modèle de sa propre exactitude prédictive et les erreurs de prévision réelles observées sur un jeu de données de validation ou un jeu de données de test.
Modèles surentraînés
La qualité du modèle basée sur les données que vous utilisez pour l'apprentissage du modèle peut ne pas toujours être un bon indicateur du nombre de prévisions correctes sur les données invisibles. Le modèle peut être trop optimisé pour les enregistrements du jeu de données d'entraînement. C'est ce qu'on appelle le surentraînement d'un modèle.
Dans le cas extrême, un modèle surentraîné contient tous les enregistrements de l'ensemble de données d'apprentissage. Cela signifie que le modèle apprend les données d'entraînement par cœur. Il est capable de fournir des prévisions correctes pour tous les enregistrements du jeu de données d'apprentissage. Toutefois, lorsqu'il est appliqué à des données invisibles, ce modèle peut présenter des performances médiocres car les données peuvent contenir des enregistrements qui n'ont pas été inclus dans les données d'apprentissage. Ensuite, le modèle ne sait pas quoi faire.