Evaluierungsdiagramme

Evaluierungsdiagramme ähneln den Histogrammen oder Sammlungsdiagrammen. Bewertungstabellen zeigen, wie genau Modelle bestimmte Ergebnisse vorhersagen können. Sie sortieren Datensätze anhand des vorhergesagten Werts und der Konfidenz der Vorhersage, teilen die Datensätze in gleich große Gruppen (Quantile) auf und stellen dann den Wert des Kriteriums für jedes Quantil vom höchsten zum niedrigsten dar. Mehrere Modelle werden als separate Linien im Plot dargestellt.

Ergebnisse werden behandelt, indem ein bestimmter Wert oder Wertebereich als „Treffer“ definiert wird. Ein Treffer weist in der Regel auf einen gewissen Erfolg hin (z. B. auf einen Verkauf an einen Kunden) oder auf ein relevantes Ereignis (z. B. auf eine bestimmte medizinische Diagnose).

Flag: Diese Ausgabefelder sind leicht zu interpretieren; ein Treffer steht für den Wert true (wahr).
Nominal: Bei nominalen Feldern definiert der erste Wert im Set einen Treffer.
Fortlaufend: Bei stetigen Ausgabefeldern entspricht ein Treffer einem Wert, der größer ist als der Mittelpunkt des Bereichs für das betreffende Feld.

Auswertungsdiagramme können auch kumulativ sein, sodass jeder Punkt dem Wert für das entsprechende Quantil plus allen höheren Quantilen entspricht. Kumulative Diagramme geben die Gesamtleistung von Modellen in der Regel besser wieder; nicht kumulative Diagramme weisen dagegen häufig auf bestimmte Problembereiche in den Modellen hin.

Erstellen eines einfachen Evaluierungsdiagramms

Klicken Sie im Abschnitt „Diagrammtyp“ auf das Symbol „Auswertung “.
Der Erstellungsbereich wird aktualisiert, um eine Vorlage für ein Evaluierungsdiagramm anzuzeigen.
Legen Sie die Variablen für Zielfeld, Vorhersagefeld und Konfidenzfeld fest. Das Zielfeld kann ein beliebiges instanziiertes Flagfeld oder nominales Feld mit zwei oder mehr Werten sein. Das Vorhersagefeld definiert die Variable, die als vorhergesagter Wert verwendet wird. Das Konfidenzfeld definiert die Variable, die verwendet wird, um den Konfidenzwert für die Vorhersage zu ermitteln.
Hinweis: Der Variablentyp des Felds „Vorhersage“ muss mit dem für das Feld „Ziel“ ausgewählten Variablentyp übereinstimmen.
Geben Sie eine angepasste Bedingung für Benutzerdefinierter Treffer an. Diese Option ist von Nutzen, wenn das relevante Ereignis definiert werden soll (also nicht aus dem Typ des Zielfelds und der Reihenfolge der Werte abgeleitet).
Sie müssen einen CLEM-Ausdruck für eine Trefferbedingung angeben. Beispielsweise @TARGET = "YES" ist eine gültige Bedingung, die angibt, dass ein Wert von Yes für das Zielfeld als Treffer in der Auswertung gezählt wird. Die angegebene Bedingung wird für alle Zielfelder verwendet.
Klicken Sie in der Projektsteuerung auf „Visualisierung speichern“. Wählen Sie „Neues Asset erstellen“ oder „An bestehendes Asset anhängen “. Geben Sie einen Namen für die Visualisierungsressource, eine optionale Beschreibung und einen Diagrammnamen ein.
Klicken Sie auf „Anwenden“, um die Visualisierung im Projekt zu speichern. Die neue Visualisierungsressource ist jetzt auf der Registerkarte „Ressourcen“ verfügbar.

Optionen

Zielfeld

Listet instanziierte Flag- oder nominale Feldvariablen mit zwei oder mehr Werten auf.

Benutzerdefinierter Treffer

Geben Sie einen Trefferwert an. Treffer weisen auf Ereignisse von Interesse hin (z. B. eine bestimmte medizinische Diagnose).

Vorhersagefeld

Listet Variablen auf, die als vorhergesagter Wert verwendet werden können.

Konfidenzfeld

Listet Variablen auf, die die Zuverlässigkeit der Vorhersage bestimmen können.

Kumulatives Diagramm

Falls aktiviert, wird ein kumulatives Diagramm erstellt. Die Werte in kumulativen Diagrammen werden für jedes Quantil zuzüglich aller höheren Quantile dargestellt.

Anzeigemodus

Diese Einstellungen legen fest, welche Diagramme im Vorschaumodus und in der Ausgabe angezeigt werden.

Einzelmodus: Wenn diese Einstellung aktiviert ist, wird das Diagramm für Feinabstimmung der Modellklassifizierung als einziges Diagramm im Vorschaumodus und in der Ausgabe angezeigt.
Klassischer Modus: Wenn diese Einstellung aktiviert ist, werden Diagramme für die Feinabstimmung der Modellklassifizierung, für Trennwerte, für Matrixbalken, für ROC, für Gewinn, für ROI und für Profit im Vorschaumodus und in der Ausgabe angezeigt.
Vollmodus: Wenn diese Einstellung aktiviert ist, werden Diagramme für die Feinabstimmung der Modellklassifizierung, für Trennwerte, für Matrixbalken, für ROC, für Gewinn, für ROI, für Profit, für GINI für Lift und für Treffer im Vorschaumodus und in der Ausgabe angezeigt.

Evaluierungsdiagramme

Trennwert: Die Cutoff-Tabelle zeigt die vorhergesagten Werte im Vergleich zu den tatsächlichen Werten für ausgewählte Variablen für einen bestimmten Cutoff-Wert.
Matrixbalken: Matrix-Balkendiagramme eignen sich gut, um festzustellen, ob zwischen mehreren Variablen lineare Korrelationen bestehen.
ROC: ROC (Receiver Operating Characteristic) bewertet die Leistung von Klassifizierungsschemata, bei denen Probanden für eine Variable mit zwei Kategorien klassifiziert werden.
Gewinne: Gewinne sind definiert als der Anteil an allen Treffern, der in den einzelnen Quantilen vorliegt. Gewinne werden berechnet als (number of hits in quantile / total number of hits) × 100%.
ROI: ROI (Return-on-Investment- Investitionsertrag) ist dem Profit ähnlich, weil auch hier Umsatz und Kosten definiert werden. ROI vergleicht die Profite mit den Kosten für das Quantil. Der ROI wird wie folgt berechnet (profits for quantile / costs for quantile) × 100%:.
Profit: Der Profit entspricht dem Umsatz für jeden Datensatz abzüglich der Kosten für den betreffenden Datensatz. Die Gewinne für ein Quantil sind die Summe der Gewinne für alle Datensätze in diesem Quantil. Umsätze gelten definitionsgemäß nur für Treffer, Kosten dagegen für alle Datensätze. Die Profite und Kosten können fest sein oder auch durch Felder in den Daten definiert werden. Profite werden wie folgt berechnet: (Summe des Umsatzes der Datensätze im Quantil - Summe der Kosten für die Datensätze im Quantil).
Kolmogorow-Smirnow: Vergleicht die beobachtete kumulative Verteilungsfunktion für eine Variable mit einer bestimmten theoretischen Verteilung, die normal, gleichmäßig, exponentiell oder Poisson sein kann.
GINI: GINI misst die statistische Streuung und soll die Einkommens- oder Vermögensverteilung darstellen. Dies ist der am häufigsten verwendete Messwert für Ungleichheit.
Lift: Lift vergleicht den Prozentsatz der Datensätze in jedem Quantil, bei denen es sich um Treffer mit dem Gesamtprozentsatz an Treffern in den Trainingsdaten handelt. Es wird berechnet als (hits in quantile / records in quantile) / (total hits / total records).
Antwort: Die Antwort ist der Prozentsatz der Datensätze im Quantil, die Treffer sind. Die Antwort wird berechnet als (hits in quantile / records in quantile) × 100%.

Einstellungen für Evaluierungsdiagramme

Die folgenden Einstellungen gelten nur für Profit- und ROI-Diagramme.

Kosten: Gibt die Fixkosten an, die jedem Datensatz zugeordnet sind.
Ertrag: Gibt den Ertrag für jeden Datensatz an, der als Treffer gilt.
Gewichtung: Wenn die Datensätze in den Daten für mehrere Einheiten stehen, können Sie die Ergebnisse mithilfe der Häufigkeitsgewichtungen anpassen. Geben Sie die festgelegte Gewichtung an, die jedem Datensatz zugeordnet ist.