Metrik zur Bewertung der Abweichung von Vorhersagen
Die Vorhersagedrift-Metrik misst die Veränderung in der Verteilung der von LLM vorhergesagten Klassen.
Metrikdetails
Die Vorhersagedrift ist eine Drift-Bewertungsmetrik von v2, die Änderungen der Datenverteilung bewertet.
Umfang
Die Vorhersagedrift-Metrik bewertet nur generative KI-Ressourcen.
Arten von KI-Assets : Vorlagen für Aufforderungen
- Aufgaben der generativen KI :
- Textklassifizierung
- Unterstützte Sprachen : Englisch
Ergebnisse und Werte
Der Vorhersagedriftwert gibt die Änderung in der Verteilung der von LLM vorhergesagten Klassen an.
- Wertebereich: 0.0-1.0
- Bestmögliche Punktzahl : 0.0
- Kennzahlen:
- Um 0: Es wird keine Änderung festgestellt.
- Über 0: Es wird eine zunehmende Veränderung festgestellt.
Berechnung
Die folgende Jensen-Shannon-Distanzformel wird zur Berechnung der Vorhersagedrift verwendet:
Jensen Shannon Distance ist die normalisierte Form der Kullback-Leibler (KL)-Divergenz, die misst, wie stark sich eine Wahrscheinlichkeitsverteilung von der zweiten Wahrscheinlichkeitsverteilung unterscheidet. Jensen Shannon Distance ist ein symmetrischer Score und hat immer einen endlichen Wert.
ist die KL-Divergenz.