Analiza ROC
Analiza krzywej charakterystyki operacyjnej odbiornika (ROC — Receiver operating characteristic) jest użytecznym narzędziem oceny dokładności predykcji modelu poprzez wykreślenie czułości wobec (1-swoistości) testu klasyfikacyjnego (przy progu zmieniającym się w całym zakresie wyników testu diagnostycznego). Pełny obszar pod danym krzywą ROC lub pole pod krzywą AUC formułuje ważną statystykę, która reprezentuje prawdopodobieństwo, że predykcja będzie w poprawnej kolejności, gdy obserwowana jest zmienna testowa (dla jednego podmiotu losowo wybieranego z grupy obserwacji, a drugiej losowo wybranej z grupy kontrolnej). Analiza ROC wspomaga wywodzenie wniosków dotyczących jednego pola pod krzywą (AUC) precyzja-czułość i oferuje opcje porównania dwóch krzywych ROC wygenerowanych na podstawie grup niezależnych lub obserwacji parami.
Stara procedura ROC Curve wspiera statystyczny wnioskowanie o jednolitej krzywej ROC. Może to być również odzyskane w ramach nowej procedury analizy ROC. Ponadto nowa procedura analizy ROC może porównywać dwa krzywe ROC wygenerowane z niezależnych grup lub poddanych sparowanym obiektom.
Krzywe precyzja-czułość (PR — precision-recall) zwykle niosą więcej informacji, gdy obserwowana próba danych jest silnie skośna i stanowią alternatywę dla krzywych ROC w przypadku danych z silnie skośnym rozkładem klas.
- Przykład
- W interesie banku leży prawidłowe podzielenie klientów na tych, którzy spłacą i na tych, którzy nie spłacą zaciągniętych pożyczek. W celu podejmowania tych decyzji opracowywane są specjalne modele. Analizę ROC można zastosować do oceny dokładności predykcji modelu.
- Narzędzia statystyczne
- AUC, grupa ujemnych, brakujące wartości, klasyfikacja dodatnia, wartość odcięcia, siła przekonania, dwustronny asymptotyczny przedział ufności, rozkład, błąd standardowy, grupy niezależne, próby parami, założenie nieparametryczne, założenie o rozkładzie wykładniczym dwuujemnym, środek, punkt odcięcia, krzywa PR, interpolacja krokowa, istotność asymptotyczna (dwustronna), czułość i (1-swoistość), precyzja i czułość.
- Metody
- Porównywane są pola pod dwiema krzywymi ROC wygenerowanymi na podstawie grup niezależnych albo par obiektów. Porównanie dwóch krzywych ROC może dostarczyć więcej informacji na temat dokładności dwóch porównywalnych metod diagnostycznych.
Wymagania dotyczące danych do analizy ROC
- danych
- Krzywe precyzja-czułość zwykle niosą więcej informacji, gdy obserwowane próby danych są silnie skośne. Prosta interpolacja liniowa może błędnie wygenerować nadmiernie optymistyczne oszacowanie krzywej precyzja-czułość.
- Założenia
- Kolejność predykcji na podstawie obserwacji zmiennej testowanej będzie prawidłowa dla jednego obiektu wybranego losowo z grupy obserwacji i drugiego losowo wybranego z grupy kontrolnej. Każda zdefiniowana grupa będzie zawierała co najmniej jedną ważną obserwację. Dla jednej procedury używana jest tylko jedna zmienna grupująca.
Uzyskiwanie analizy ROC
Ta zmienna wymaga opcji Statistics Base.
- Z menu wybierz:
- Wybierz co najmniej jedną zmienną testowaną prawdopodobieństwa.
- Wybierz jedną zmienną stanu.
- Określ dodatnią wartość dla zmiennej stanu.
- Opcjonalnie wybierz opcję Próby parami albo wybierz jedną zmienną grupującą (nie można wybrać obu opcji).
- Ustawienie Próby parami wskazuje, że dla zmiennych testowanych ma być używane plan prób parami. W planie prób parami dwie krzywe ROC są porównywane w taki sposób, że wiele wartości testowanych mierzonych jest na tych samych obiektach powiązanych ze zmienną stanu.Uwaga: Jeśli wybrana jest opcja Projekt przykładowy , opcje Grupowanie zmiennych i Wniebowzięcie dystrybucji (w oknie dialogowym Opcje) są wyłączone.
- Po wybraniu liczbowej zmiennej grupującej można kliknąć opcję Definiuj grupy ... w celu zażądania projektu niezależnej grupy dla zmiennych testowych, a także do określenia dwóch wartości, punktu środkowo-punktowego lub punktu podziału.
- Ustawienie Próby parami wskazuje, że dla zmiennych testowanych ma być używane plan prób parami. W planie prób parami dwie krzywe ROC są porównywane w taki sposób, że wiele wartości testowanych mierzonych jest na tych samych obiektach powiązanych ze zmienną stanu.
- Opcjonalnie można kliknąć przycisk Opcje , aby zdefiniować klasyfikację, kierunek testu, standardowe parametry błędów i ustawienia braków danych.
- Opcjonalnie można kliknąć opcję Wyświetl , aby zdefiniować ustawienia drukowania i drukowania (które obejmują krzywą ROC, precyzję-krzywą przywołującą i ustawienia jakości modelu).
- Kliknij przycisk OK.
Ta procedura służy do wkleiania składni komendy ROC ANALYSIS .