ROC-Analyse
Die ROC-Analyse (Receiver Operating Characteristic) ist eine nützliche Methode zum Beurteilen der Genauigkeit von Modellvorhersagen. Dabei wird die Sensitivität im Vergleich zur (1-Spezifität) eines Klassifikationstests dargestellt (da der Schwellenwert über einen gesamten Bereich von Diagnosetestergebnissen variiert). Die vollständige Fläche unter einer bestimmten ROC-Kurve (AUC) formuliert eine wichtige Statistik, die die Wahrscheinlichkeit darstellt, dass die Vorhersage in der richtigen Reihenfolge erfolgt, wenn eine Testvariable beobachtet wird (für ein Subjekt, das zufällig aus der Fallgruppe und das andere zufällig aus der Kontrollgruppe ausgewählt wird). Die ROC-Analyse unterstützt die Inferenz bezüglich einer einzelnen Fläche unter der Kurve, Genauigkeitsrückrufkurven und stellt Optionen zum Vergleichen zweier ROC-Kurven bereit, die entweder aus unabhängigen Gruppen oder paarigen Subjekten generiert wurden.
Die alte Prozedur "ROC-Kurve" unterstützt die statistische Inferenz für eine einzelne ROC-Kurve. Dies kann auch durch die neue ROC-Analyseprozedur wiederhergestellt werden. Darüber hinaus können mit der neuen Prozedur "ROC-Analyse" zwei ROC-Kurven verglichen werden, die aus unabhängigen Gruppen oder paarigen Subjekten generiert wurden.
PR-Kurven stellen die Genauigkeit im Vergleich zum Rückruf dar. Sie sind in der Regel informativer, wenn die beobachteten Datenstichproben starke Datenabweichungen enthalten, und bieten eine Alternative zu ROC-Kurven für Daten mit starken Abweichungen bei der Klassenverteilung.
- Beispiel
- Es liegt im Interesse von Banken, Kunden ordnungsgemäß danach zu klassifizieren, ob diese Kunden mit ihren Darlehen in Verzug geraten werden oder nicht. Daher werden spezielle Modelle für diese Entscheidungen entwickelt. Die ROC-Analyse kann verwendet werden, um die Genauigkeit der Modellvorhersagen auszuwerten und zu beurteilen.
- Statistik
- AUC, negative Gruppe, fehlende Werte, positive Klassifikation, Trennwert, Stärke der Überzeugung, zweiseitiges asymptotisches Konfidenzintervall, Verteilung, Standardfehler, Design mit unabhängigen Gruppen, Design für Stichproben mit paarigen Werten, nicht parametrische Annahme, bi-negative exponentielle Verteilungsannahme, Mittelpunkt, Trennwert, PR-Kurve, schrittweise Interpolation, asymptotische Signifikanz (2-seitig), Sensitivität und (1-Spezifität), Genauigkeit und Rückruf.
- Methoden
- Die Flächen unter zwei ROC-Kurven, die entweder aus unabhängigen Gruppen oder paarigen Subjekten generiert wurden, werden verglichen. Der Vergleich von zwei ROC-Kurven kann mehr Informationen hinsichtlich der Genauigkeit liefern, die sich aus zwei vergleichenden Diagnoseansätzen ergibt.
Erläuterungen der Daten für die ROC-Analyse
- Daten
- PR-Kurven stellen die Genauigkeit im Vergleich zum Rückruf dar und sind in der Regel informativer, wenn die beobachteten Datenstichproben starke Datenabweichungen enthalten. Eine einfache lineare Interpolation kann irrtümlicherweise eine zu optimistische Schätzung einer PR-Kurve ergeben.
- Annahmen
- Die Vorhersage befindet sich in der richtigen Reihenfolge, wenn eine Testvariable für ein zufällig aus der Fallgruppe ausgewähltes Subjekt beabachtet wird, und das andere Subjekt zufällig aus der Kontrollgruppe ausgewählt wird. Jede definierte Gruppe enthält mindestens eine gültige Beobachtung. Nur eine einzelne Gruppierungsvariable wird für eine einzelne Prozedur verwendet.
Abrufen einer ROC-Analyse
Für diese Funktion ist die Option "Statistics Base" erforderlich.
- Wählen Sie in den Menüs Folgendes aus:Hinweis: Die rot markierten Felder sind Pflichtfelder. Die Schaltflächen „Einfügen“ und „OK“ werden aktiviert, nachdem Sie gültige Werte in alle erforderlichen Felder eingegeben haben.
- Wählen Sie eine oder mehrere Testvariable Testwahrscheinlichkeitsvariablen.
- Wählen Sie eine Zustandsvariable.
- Ermitteln Sie den positiven Wert der Zustandsvariablen.
- Wählen Sie optional die Option Design für Stichproben mit paarigen Werten aus oder wählen Sie eine einzelne Gruppierungsvariable aus (Sie können nicht beide Optionen auswählen).
- Mit der Einstellung Design für Stichproben mit paarigen Werten können Sie das Design für Stichproben mit paarigen Werten für die Testvariable(n) anfordern. Das Design für Stichproben mit paarigen Werten vergleicht zwei ROC-Kurven in einem Szenario mit Stichproben mit paarigen Werten, wenn mehrere Testwerte für dieselben Subjekte gemessen werden, die einer Zustandsvariablen zugeordnet sind.Hinweis: Wenn Design mit paarigen Stichproben ausgewählt ist, sind die Optionen Gruppierungsvariable und Verteilungsannahme (im Dialogfeld "Optionen") inaktiviert.
- Wenn eine numerische Gruppierungsvariable ausgewählt ist, können Sie auf Gruppen definieren klicken. Anforderung des unabhängigen Gruppendesigns für die Testvariable (n) und Angabe von zwei Werten, einem Mittelpunkt oder einem Trennwert.
- Mit der Einstellung Design für Stichproben mit paarigen Werten können Sie das Design für Stichproben mit paarigen Werten für die Testvariable(n) anfordern. Das Design für Stichproben mit paarigen Werten vergleicht zwei ROC-Kurven in einem Szenario mit Stichproben mit paarigen Werten, wenn mehrere Testwerte für dieselben Subjekte gemessen werden, die einer Zustandsvariablen zugeordnet sind.
- Optional: Klicken Sie auf Optionen , um die Einstellungen für Klassifikation, Testrichtung, Standardfehlerparameter und fehlende Werte zu definieren.
- Optional Anzeige anklicken, um die Plotting-und Druckeinstellungen zu definieren (einschließlich ROC-Kurve, Genauigkeitsrückrufkurve und Modellqualitätseinstellungen).
- Klicken Sie auf OK.
Mit dieser Prozedur wird ROC ANALYSIS -Befehlssyntax eingefügt.