Fairness berechnen

Wie die Verzerrung berechnet wird

Der Algorithmus des Fairness-Monitors berechnet die Verzerrung stündlich anhand der letzten N Datensätze, die in der Nutzdatenprotokollierungstabelle vorhanden sind, wobei der Wert bei der Konfiguration des N Fairness-Monitors festgelegt wird. Der Algorithmus wendet eine Methode namens „Perturbation“ an, um Unterschiede bei den erwarteten Ergebnissen in den Daten zu bewerten.

Durch die Störung werden die Werte des Merkmals von der Referenzgruppe auf die beobachtete Gruppe übertragen oder umgekehrt. Die durch Perturbation veränderten Daten werden danach an das Modell gesendet, um dessen Verhalten zu auszuwerten. Der Algorithmus untersucht die letzten N Datensätze in der Payload-Tabelle sowie das Verhalten des Modells bei den verzerrten Daten, um zu entscheiden, ob die Modellergebnisse auf das Vorhandensein einer Verzerrung hindeuten.

Ein Modell gilt als verzerrt, wenn der Prozentsatz der positiven Ergebnisse für die überwachte Gruppe um einen Schwellenwert, den Sie bei der Konfiguration des Fairness-Monitors festlegen, unter dem Prozentsatz der positiven Ergebnisse für die Referenzgruppe liegt.

Beachten Sie, dass Fairness-Werte über 100 % liegen können. Diese Berechnung bedeutet, dass die untersuchte Gruppe günstigere Ergebnisse erzielte als die Vergleichsgruppe. Wenn zudem keine neuen Bewertungsanfragen gesendet werden, bleibt der Fairness-Wert konstant.

Ausgewogene Daten und vollkommene Gleichheit

Für ausgeglichene Datensätze gelten die folgenden Konzepte:

• Um den perfekten Gleichheitswert zu ermitteln, werden die Transaktionen der Referenzgruppe synthetisiert, indem der Wert jedes überwachten Merkmals jeder überwachten Gruppentransaktion auf alle Werte der Referenzgruppe gesetzt wird. Diese neuen synthetischen Transaktionen werden dem Satz der Referenzgruppentransaktionen hinzugefügt und vom Modell ausgewertet.

Wenn beispielsweise das überwachte Merkmal und die überwachte SEX Gruppe ist FEMALE, werden alle FEMALE Transaktionen als MALE Transaktionen dupliziert. Die übrigen Werte bleiben unverändert. Diese neuen synthetisierten MALE Transaktionen werden der Menge der ursprünglichen MALE Referenzgruppentransaktionen hinzugefügt.

• Der Prozentsatz der positiven Ergebnisse wird anhand der neuen Referenzgruppe ermittelt. Dieser Prozentsatz steht für absolute Fairness gegenüber der untersuchten Gruppe.
• Die überwachten Gruppentransaktionen werden zudem zusammengefasst, indem der Referenzmerkmalswert jeder Referenzgruppentransaktion auf den Wert der überwachten Gruppe geändert wird. Diese neuen synthetischen Transaktionen werden in den Satz der überwachten Gruppentransaktionen aufgenommen und vom Modell ausgewertet.

Wenn das überwachte Merkmal ist SEX und die überwachte Gruppe ist FEMALE, werden alle MALE Transaktionen als FEMALE Transaktionen dupliziert. Die übrigen Werte bleiben unverändert. Diese neuen synthetisierten FEMALE Transaktionen werden der Menge der ursprünglich FEMALE überwachten Gruppentransaktionen hinzugefügt.

Perfect equality =   Percentage of favorable outcomes for all reference transactions,
                     including the synthesized transactions from the monitored group

Perfect equality for `SEX` =  Percentage of favorable outcomes for `MALE` transactions,
                                 including the synthesized transactions that were initially `FEMALE` but changed to `MALE`

Den Datentyp einer Prognosespalte ändern

Bei der Fairness-Überwachung lässt die Vorhersagespalte nur ganzzahlige Werte zu, obwohl das Vorhersagelabel kategorial ist. Eine Konvertierung des Datentyps der Prognosespalte ist möglich.

Beispielsweise könnten die Trainingsdaten Klassenbezeichnungen wie „Kredit abgelehnt“ oder „Kredit bewilligt“ enthalten. Der vom IBM Watson Machine Learning Scoring-Endpunkt zurückgegebene Vorhersagewert hat Werte wie „ 0.0 “, „ 1.0 “. Der Bewertungsendpunkt verfügt außerdem über eine optionale Spalte, die die textuelle Darstellung der Vorhersage enthält. Wenn beispielsweise „ prediction=1.0 “ gilt, könnte die Spalte „ predictionLabel “ den Wert „Loan Granted“ enthalten. Falls eine solche Spalte vorhanden ist, geben Sie bei der Konfiguration des positiven und negativen Ergebnisses für das Modell die Zeichenfolgenwerte „Kredit bewilligt“ und „Kredit abgelehnt“ an. Falls eine solche Spalte nicht vorhanden ist, müssen Sie die Integer- und Double-Werte für „ 1.0 “ und „ 0.0 “ für die Klassen „favorable“ und „unfavorable“ angeben.

IBM Watson Machine Learning verfügt über ein Konzept für ein Ausgabeschema, das das Schema der Ausgabe des Scoring-Endpunkts „ IBM “ ( Watson Machine Learning ) sowie die Funktion der verschiedenen Spalten definiert. Anhand der Rollen wird festgelegt, welche Spalte den Vorhersagewert, welche Spalte die Vorhersagewahrscheinlichkeit und welche Spalte den Klassenlabelwert enthält usw. Das Ausgabeschema wird für Modelle, die mit dem Model Builder erstellt werden, automatisch festgelegt. Sie kann auch über den Client unter IBM Watson Machine Learning Python eingestellt werden. Benutzer können mithilfe des Ausgabeschemas eine Spalte definieren, die die Zeichenfolgendarstellung der Vorhersage enthält. Setzen Sie den Wert modeling_role für die Spalte auf „decoded-target“. Die Dokumentation für den Client „ IBM “ Watson Machine Learning Python ist unter folgender Adresse verfügbar: https://ibm.github.io/watsonx-ai-python-sdk/core_api.html#repository. Suchen Sie nach „OUTPUT_DATA_SCHEMA“, um das Ausgabeschema zu verstehen. Der zu verwendende API-Aufruf ist der store_model Aufruf, der OUTPUT_DATA_SCHEMA als Parameter akzeptiert.

Interpretation eines Fairness-Wertes, der über 100 Prozent liegt

Abhängig von Ihrer Fairnesskonfiguration kann Ihr Fairness-Score höher als 100 Prozent sein. Dies bedeutet, dass Ihre überwachte Gruppe relativ mehr "faire" Ergebnisse im Vergleich zur Referenzgruppe erhält. Technisch bedeutet dies, dass das Modell in der entgegengesetzten Richtung unfair ist.

Weitere Informationen

Konfiguration des Fairness-Monitors für indirekte Verzerrungen

Auswertung der Modellergebnisse