Metrik zur Bewertung der unterschiedlichen Auswirkungen
Die Metrik für ungleiche Auswirkungen vergleicht den Prozentsatz der positiven Ergebnisse für eine beobachtete Gruppe mit dem Prozentsatz der positiven Ergebnisse für eine Referenzgruppe.
Metrikdetails
Die ungleiche Auswirkung ist eine Messgröße für die Bewertung der Fairness, die dabei helfen kann, festzustellen, ob Ihr Vermögenswert zu verzerrten Ergebnissen führt.
Umfang
Die Metrik für die unterschiedlichen Auswirkungen bewertet generative KI-Assets und Modelle für maschinelles Lernen.
- Arten von KI-Vermögenswerten :
- Eingabeaufforderungsvorlagen
- Modelle für maschinelles Lernen
- Aufgaben der generativen KI : Textklassifizierung
- Art des Problems beim maschinellen Lernen : Binäre Klassifizierung
Ergebnisse und Werte
Der ungleiche Wirkungsmetrikwert gibt an, ob die Referenzgruppe günstigere Ergebnisse erzielt als die beobachtete Gruppe.
- Wertebereich : 0.0-1.0
- Bestmögliche Punktzahl : 0.0
- Kennzahlen:
- Bei 0: Beide Gruppen haben die gleichen Chancen
- Unter 0: Verzerrte Ergebnisse für die überwachte Gruppe
- Über 0: Verzerrte Ergebnisse für die Referenzgruppe
Berechnung
Zur Berechnung der ungleichen Auswirkungen wird folgende Formel verwendet:
Der num_positives Wert gibt die Anzahl der Personen in der Gruppe an, die ein positives Ergebnis erhielten, und der num_instances Wert gibt die Gesamtzahl der Personen in der Gruppe an. Das privileged=False Label bezeichnet nicht privilegierte Gruppen, und das privileged=True Label bezeichnet privilegierte Gruppen. Die positiven Ergebnisse werden als günstige Ergebnisse bezeichnet, die negativen Ergebnisse als ungünstige Ergebnisse. Die privilegierte Gruppe wird als Referenzgruppe bezeichnet, die nicht privilegierte Gruppe als überwachte Gruppe.
Die Berechnung ergibt einen Prozentsatz, der angibt, wie oft die Häufigkeit, mit der die benachteiligte Gruppe das positive Ergebnis erzielt, der Häufigkeit entspricht, mit der die privilegierte Gruppe das positive Ergebnis erzielt. Wenn beispielsweise ein Kreditrisikomodell 80 % der nicht privilegierten Antragsteller und 100 % der privilegierten Antragsteller als „risikofrei“ einstuft, hat dieses Modell eine ungleiche Auswirkung von 80 %.