graphiques Evaluation

Les graphiques d'évaluation sont similaires aux histogrammes ou aux graphiques de collecte. Les tableaux d'évaluation montrent la précision des modèles dans la prédiction de résultats particuliers. Ils fonctionnent en triant les enregistrements en fonction de la valeur prédite et du degré de confiance de la prédiction, en divisant les enregistrements en groupes de taille égale (quantiles), puis en traçant la valeur du critère pour chaque quantile, du plus élevé au plus bas. Les divers modèles apparaissent sous forme de lignes dans le graphique.

Les résultats sont traités en définissant une valeur spécifique ou une plage de valeurs comme un « résultat positif ». Les occurrences indiquent généralement une réussite (telle qu'une vente conclue avec un client) ou un événement intéressant (tel qu'un diagnostic médical spécifique).

Indicateur: Les champs de sortie sont simples; les occurrences correspondent aux true valeurs.
Sans effet: Pour les champs de sortie nominaux, la première valeur de l'ensemble définit un résultat positif.
Continu: Pour les champs à sortie continue, les résultats correspondent à des valeurs supérieures au point médian de la plage du champ.

Les graphiques d'évaluation peuvent également être cumulatifs, de sorte que chaque point équivaut à la valeur du quantile correspondant plus tous les quantiles supérieurs. Les graphiques cumulatifs soulignent mieux la performance globale des modèles, alors que les graphiques non cumulatifs permettent de mettre en valeur les zones problématiques des modèles.

Création d'un tableau d'évaluation simple

Dans la section Type de graphique, cliquez sur l'icône Évaluation.
La toile s'actualise pour afficher un modèle de graphique d'évaluation.
Définissez les variables des champs Cible, Prédiction et Confiance. Le champ cible peut être n'importe quel indicateur instancié ou champ nominal comportant deux valeurs ou plus. Le champ « predict » définit la variable utilisée comme valeur prédite. Le champ « Confiance » définit la variable utilisée pour établir la confiance de la prédiction.
Remarque : le type de variable du champ Prédire doit correspondre au type de variable sélectionné pour le champ Cible.
Spécifiez une condition personnalisée utilisée pour indiquer le résultat défini par l'utilisateur. Cette option est utile pour définir le résultat recherché plutôt que de le déduire à partir du type de champ cible et de l'ordre des valeurs.
Vous devez spécifier une expression CLEM pour une condition de collision. Par exemple, @TARGET = "YES" est une condition valide qui indique qu'une valeur de Yes pour le champ cible est comptée comme un résultat positif dans l'évaluation. La condition spécifiée est utilisée pour tous les champs cibles.
Cliquez sur Enregistrer la visualisation dans le contrôle du projet. Sélectionnez Créer un nouvel élément ou Ajouter à un élément existant. Indiquez un nom pour l'élément de visualisation, une description facultative et un nom pour le graphique.
Cliquez sur Appliquer pour enregistrer la visualisation dans le projet. Le nouvel élément de visualisation est désormais disponible dans l'onglet Éléments.

Options

Zone cible

Répertorie les variables de champ nominal ou indicateur instanciées avec deux valeurs ou plus.

Résultat défini par l'utilisateur

Spécifiez une valeur de coup. Les résultats indiquent des événements d'intérêt (par exemple, un diagnostic médical spécifique).

Champ de prédiction

Répertorie les variables pouvant être utilisées comme valeur prédite.

Champ de confiance

Répertorie les variables qui peuvent établir la fiabilité de la prédiction.

Graphique cumulatif

Créer un graphique cumulatif lorsque cette option est activée. Les valeurs dans les graphiques cumulatifs sont représentées pour chaque quantile ainsi que pour tous les quantiles supérieurs.

Mode d'affichage

Les paramètres contrôlent les graphiques qui s'affichent en mode aperçu et dans la sortie.

Mode unique: Lorsqu'il est sélectionné, le graphique Model Classification Tuning est le seul graphique qui s'affiche en mode aperçu et dans la sortie.
Mode classique: Lorsqu'ils sont sélectionnés, les graphiques Model Classification Tuning, Cutoff, Matrix Bar, ROC, Gains, ROI et Profit s'affichent en mode aperçu et dans la sortie.
Mode complet: Lorsqu'ils sont sélectionnés, les graphiques Model Classification Tuning, Cutoff, Matrix Bar, ROC, Gains, ROI, Profit, GINI, Lift et Response s'affichent en mode aperçu et dans la sortie.

graphiques Evaluation

point de coupure: Le graphique de coupure montre les valeurs prévues par rapport aux valeurs réelles pour certaines variables pour une valeur de coupure spécifiée.
Barre matricielle: Les graphiques à barres matriciels constituent un bon moyen de déterminer s'il existe des corrélations linéaires entre plusieurs variables.
programme ROC: La courbe ROC (Receiver Operating Characteristic) évalue les performances des schémas de classification dans lesquels les sujets sont classés pour une variable à deux catégories.
Gains: Les gains sont définis comme la proportion du nombre total d'occurrences représentée dans chaque quantile. Les gains sont calculés comme (number of hits in quantile / total number of hits) × 100%suit :.
Retour sur investissements: Le retour sur investissement est semblable au profit dans le sens où il s'agit de définir des revenus et des coûts. Le retour sur investissement compare les profits du quantile à ses coûts. Le retour sur investissement est calculé comme (profits for quantile / costs for quantile) × 100%suit :.
Profit: Le bénéfice correspond au revenu généré par chaque enregistrement moins le coût de cet enregistrement. Les bénéfices pour un quantile correspondent à la somme des bénéfices pour tous les enregistrements dans le quantile. Les revenus sont supposés ne s'appliquer qu'aux occurrences, mais les coûts s'appliquent à tous les enregistrements. Les profits et les coûts peuvent être fixes ou peuvent être déterminés par les champs des données. Les bénéfices sont calculés comme suit : (somme des recettes pour les enregistrements dans le quantile − somme des coûts pour les enregistrements dans le quantile).
Kolmogorov-Smirnov: Compare la fonction de distribution cumulative observée pour une variable avec une distribution théorique spécifiée, qui peut être normale, uniforme, exponentielle ou de Poisson.
GINI: Le coefficient de Gini mesure la dispersion statistique et vise à représenter la répartition des revenus ou des richesses. C'est la mesure de l'inégalité la plus couramment utilisée.
Lift: Ces graphiques comparent le pourcentage d'enregistrements dans chaque quantile qui se sont traduits par des occurrences et le pourcentage total d'occurrences dans les données d'apprentissage. Il est calculé comme (hits in quantile / records in quantile) / (total hits / total records)suit :.
Réponse: La réponse correspond au pourcentage d'enregistrements dans le quantile qui sont des résultats positifs. La réponse est calculée comme (hits in quantile / records in quantile) × 100%suit :.

Paramètres du tableau d'évaluation

Les paramètres suivants s'appliquent uniquement aux graphiques de bénéfices et de retour sur investissement.

Coûts: Spécifiez le coût fixe associé à chaque enregistrement.
Recettes: Spécifiez le revenu fixe associé à chaque enregistrement qui représente un résultat.
Poids: Si les enregistrements dans vos données représentent plus d'une unité, vous pouvez utiliser des pondérations de fréquence pour ajuster les résultats. Spécifiez le poids fixe associé à chaque enregistrement.