Eine algorithmische Verzerrung liegt vor, wenn systematische Fehler in Algorithmen des maschinellen Lernens zu unfairen oder diskriminierenden Ergebnissen führen. Sie spiegeln oft bestehende sozioökonomische, rassistische und geschlechtsspezifische Vorurteile wider oder verstärken sie.
KI-Systeme (künstlichen Intelligenz) nutzen Algorithmen, um Muster und Erkenntnisse in Daten zu finden oder um Output-Werte aus einem gegebenen Satz von Eingabevariablen vorherzusagen. Verzerrte Algorithmen können diese Erkenntnisse und Ausgaben auf eine Weise beeinflussen, die zu schädlichen Entscheidungen oder Handlungen führt, Diskriminierung und Ungleichheit fördert oder aufrechterhält und das Vertrauen in die KI und die Institutionen, die KI nutzen, untergräbt. Diese Auswirkungen können für Unternehmen rechtliche und finanzielle Risiken mit sich bringen. Gemäß KI-Verordnung der EU beispielsweise kann die Nichteinhaltung der darin verbotenen KI-Praktiken Geldbußen von bis zu 35.000.000 EUR oder 7 % des weltweiten Jahresumsatzes nach sich ziehen (je nachdem, welcher Betrag höher ist).
Besonders besorgniserregend sind algorithmische Verzerrungen in KI-Systemen, die lebensverändernde Entscheidungen in Bereichen wie Gesundheitswesen, Strafverfolgung und Personalwesen unterstützen. Verzerrungen können auf viele Arten in Algorithmen eindringen, beispielsweise durch verfälschte oder begrenzte Eingabedaten zum Trainieren, subjektive Programmierentscheidungen oder Ergebnisinterpretationen.
Die Eindämmung algorithmischer Verzerrungen beginnt mit der Anwendung von KI-Governance-Prinzipien, einschließlich Transparenz und Erklärbarkeit, über den gesamten KI-Lebenszyklus.
Erhalten Sie kuratierte Einblicke in die wichtigsten – und faszinierendsten – KI-Neuheiten. Abonnieren Sie unseren wöchentlichen Think-Newsletter. Weitere Informationen in der IBM Datenschutzerklärung.
Algorithmische Verzerrung wird nicht durch den Algorithmus selbst verursacht, sondern dadurch, wie das Data-Science-Team die Daten zum Trainieren sammelt und kodiert. Zu den spezifischen Ursachen gehören:
Fehlerhafte Daten sind nicht repräsentative, fehlende Informationen, historisch verzerrte oder anderweitig „schlechte“ Daten. Sie begünstigen Algorithmen, die zu unfairen Ergebnissen führen und vorhandene Verzerrungen in den Daten verstärken.KI-Systeme, die verzerrte Ergebnisse als Eingabedaten für die Entscheidungsfindung verwenden, erzeugen eine Feedback-Schleife, die die Verzerrung im Laufe der Zeit weiter verstärken kann.Dieser Zyklus, in dem der Algorithmus kontinuierlich lernt und dieselben verzerrten Muster fortschreibt, führt zu zunehmend verfälschten Ergebnissen.
Verzerrungen können auch während der Trainingsphase entstehen, wenn Daten falsch kategorisiert oder bewertet werden. Manchmal können Algorithmen eher durch Datenkorrelation als durch Ursachen „lernen“, da sie nicht in der Lage sind, den Unterschied zu verstehen. In diesem Fall kann der Output des Algorithmus verzerrt sein, da das Modell andere Faktoren in den Daten, die von größerer Bedeutung sein könnten, nicht berücksichtigt hat.
Ein häufiges Beispiel für eine Korrelationsverzerrung ist ein hypothetisches Modell, das einen kausalen Zusammenhang zwischen vermehrten Haiangriffen und höheren Eiscremeverkäufen herstellt. In der Realität treten beide Situationen eher im Sommer auf und stehen nur in einer korrelierenden Beziehung zueinander.
Das Design von Algorithmen kann auch Verzerrungen mit sich bringen. Programmierfehler, wie z. B. die unfaire Gewichtung von Faktoren im Entscheidungsprozess durch einen KI-Designer, können unwissentlich in das System übertragen werden. Die Gewichtung ist häufig eine Technik zur Vermeidung von Verzerrungen, da sie eine Anpassung der Daten beinhaltet, damit diese die tatsächliche Bevölkerung besser widerspiegeln. Es können jedoch Annahmen von den Designern gefordert sein, die zu Ungenauigkeiten und Verzerrungen führen können. Die Entwickler könnten den Algorithmus auch mit subjektiven Regeln versehen, die auf ihren eigenen bewussten oder unbewussten Voreingenommenheit beruhen.
KI-Systeme verwenden manchmal Proxys als Ersatz für geschützte Attribute wie ethnische Herkunft oder Geschlecht. Allerdings können Proxys unbeabsichtigt verzerrt sein, da sie eine falsche oder versehentliche Korrelation mit den sensiblen Attributen haben, die sie ersetzen sollten. Wenn ein Algorithmus beispielsweise Postleitzahlen als Ersatz für den wirtschaftlichen Status verwendet, könnte er bestimmte Gruppen ungerechtfertigt benachteiligen, bei denen Postleitzahlen mit bestimmten demografischen Merkmalen in Verbindung gebracht werden.
Verzerrungen bei der Bewertung treten auf, wenn die Ergebnisse des Algorithmus auf der Grundlage der Vorurteile der beteiligten Personen und nicht auf der Grundlage der objektiven Ergebnisse interpretiert werden. Selbst wenn der Algorithmus neutral und datengestützt ist, kann die Art und Weise, wie eine Person oder ein Unternehmen den Output des Algorithmus anwendet, zu unfairen Outputs führen, je nachdem, wie die Ergebnisse verstanden werden.
Wenn die Verzerrungen nicht korrigiert werden, können sie Diskriminierung und Ungleichheit verstärken, zu rechtlichen und Reputationsschäden führen und das Vertrauen schwächen.
Verzerrte algorithmische Entscheidungen verstärken die bestehenden gesellschaftlichen Ungleichheiten, mit denen Randgruppen konfrontiert sind, und diese Vorurteile führen zu ungerechten und potenziell schädlichen Ergebnissen von KI-Systemen. Während viele der gängigsten KI-Anwendungen (wie Suchmaschinen, Chatbots und Social-Media-Websites) unbedeutend zu sein scheinen, können andere Anwendungen von KI lebensverändernde Entscheidungen beeinflussen. Der Einsatz verzerrter KI-Tools in Bereichen wie Strafverfolgung, Gesundheitswesen und Einstellung könnte verheerende Folgen haben.
Zum Beispiel spiegelt sich die Marginalisierung von Afroamerikanern in der Vergangenheit in den Verhaftungsdaten aus Oakland, Kalifornien, in den Vereinigten Staaten wider. Wenn diese Daten verwendet werden, um einen aktuellen prädiktiven Polizeialgorithmus (PPA) zu trainieren, werden die vom PPA getroffenen Entscheidungen wahrscheinlich diese früheren rassistischen Voreingenommenheiten bzw. Verzerrungen widerspiegeln und verstärken.
Unternehmen, die verzerrte KI-Systeme einsetzen, könnten mit rechtlichen Konsequenzen und Reputationsschäden konfrontiert werden, da verzerrte Empfehlungen sogenannte ungleiche Auswirkungen haben können. Dies ist ein juristischer Begriff, der sich auf Situationen bezieht, in denen scheinbar neutrale Richtlinien und Praktiken Personen aus geschützten Klassen unverhältnismäßig stark betreffen können, beispielsweise Personen, die anfällig für Diskriminierung aufgrund von Rasse, Religion, Geschlecht und anderen Merkmalen sind.
Geschützte Gruppen, die von verzerrten KI-Entscheidungen betroffen sind, könnten Klagen einreichen, was zu erheblichen finanziellen Verbindlichkeiten, langfristigen Reputationsschäden und Verurteilung durch die Betroffenen führen kann. Unternehmen könnten auch finanzielle Strafen drohen, wenn festgestellt wird, dass sie gegen geltende Antidiskriminierungsgesetze verstoßen.
Verzerrte Ergebnisse von KI-Tools untergraben das Vertrauen in KI auf vielfältige Weise. Wenn festgestellt wird, dass ein Unternehmen verzerrte KI-Systeme hat, kann es das Vertrauen der Stakeholder innerhalb des Unternehmens verlieren, die dann kein Vertrauen mehr in die algorithmischen Entscheidungsprozesse haben. Diese Stakeholder könnten auch zu der Meinung gelangen, dass der Optimierungswert von KI das Risiko nicht überwiegt, und das Vertrauen in die Technologie insgesamt verlieren.
Auch Kunden können ihr Vertrauen aufgrund von algorithmischer Verzerrung verlieren. Es braucht nur einen Fall von Diskriminierung, um den Ruf einer Marke zu ruinieren, insbesondere im Zeitalter von sich schnell verbreitenden Nachrichten. Das Vertrauen in die KI ist besonders wichtig, wenn es um Randgruppen wie People of Color geht, die in der physischen Welt bereits Verzerrung und Diskriminierung erfahren.
Algorithmische Verzerrung kann in jedem Szenario oder Sektor auftreten, der ein KI-System zur Entscheidungsfindung verwendet. Hier sind einige mögliche Beispiele für algorithmische Verzerrung aus der Praxis:
US-amerikanische Gerichte verwenden das COMPAS-Tool (Correctional Offender Management Profiling for Alternative Sanctions), um das Rückfallrisiko von Angeklagten zu beurteilen. Eine Studie von ProPublica ergab, dass der Algorithmus des Tools weiße und schwarze Angeklagte möglicherweise unterschiedlich klassifiziert hat. Bei der Risikobewertung wurden beispielsweise schwarze Angeklagte doppelt so häufig wie weiße Angeklagte fälschlicherweise als Personen mit einem höheren Risiko für gewalttätige Rückfälle eingestuft. Das Unternehmen, das das Tool entwickelt hat, widerspricht dieser Analyse; die Methoden zur Ermittlung der Risikobewertungen werden jedoch nicht offengelegt.1
Die Forscher entwickelten ihren eigenen prädiktiven Polizeialgorithmus, der auf Daten von Opfern aus Bogotá in Kolumbien trainiert wurde. Als sie die Vorhersagen des Modells mit tatsächlichen Verbrechensdatensätzen verglichen, stellten sie schwerwiegende Fehler fest. So wurden beispielsweise in Bezirken mit einem hohen Meldeaufkommen 20 % mehr Orte mit hoher Kriminalität prognostiziert als in der Realität existieren. Aber darin spiegelt sich eine soziale Voreingenommenheit wider: Schwarze Menschen werden mit größerer Wahrscheinlichkeit wegen eines Verbrechens angezeigt als Weiße.2
Im Gesundheitswesen kann eine Unterrepräsentation von Minderheitengruppen in Daten prädiktive KI-Algorithmen verzerren. So hat sich beispielsweise herausgestellt, dass computergestützte Diagnosesysteme (CAD) bei schwarzen Patienten weniger genaue Ergebnisse liefern als bei weißen Patienten.
Amazon verwendet ein KI-Rekrutierungstool nicht mehr, nachdem festgestellt wurde, dass es weibliche Bewerber systematisch diskriminierte. Die Entwickler trainierten den Einstellungsalgorithmus anhand von Lebensläufen früherer Mitarbeiter, die überwiegend männlich waren. Infolgedessen bevorzugte der Algorithmus in unfairer Weise Schlüsselwörter und Merkmale, die in Lebensläufen von Männern vorkommen.3
Verzerrungen bei Finanzdienstleistungen können schwerwiegende Folgen für den Lebensunterhalt der Menschen haben, da historische Daten demografische Verzerrungen enthalten können, die sich auf die Kreditwürdigkeit, die Kreditvergabe und mehr auswirken. Eine Studie der University of California, Berkeley hat gezeigt, dass ein KI-System für Hypothekendarlehen routinemäßig höhere Zinssätze für Kreditnehmer aus Minderheiten berechnet, verglichen mit weißen Kreditnehmern.4
Wissenschaftliche Forscher fanden im KI-Bildgenerator Midjourney geschlechtsspezifische Verzerrungen. Bei der Analyse von über 100 generierten Bildern fanden sie auch Verzerrungen zum Thema Ethnien, Klassenzugehörigkeit und Alter. Beispielsweise zeigten Bilder von Menschen in spezialisierten Berufen sowohl jüngere als auch ältere Menschen, aber die älteren Menschen waren immer Männer, was die geschlechtsspezifische Verzerrung bezüglich Frauen im Arbeitsplatzverhältnis verstärkte.5
Forschungen des MIT haben ergeben, dass einige kommerzielle Gesichtserkennungssysteme für allgemeine Zwecke, die z. B. für den Abgleich von Gesichtern auf Fotos verwendet werden, nicht in der Lage sind, Personen mit dunklerer Hautfarbe zu erkennen. Bei der Erkennung von Frauen mit dunklerer Hautfarbe war das Ergebnis noch schlechter. Daten zum Trainieren, die die realen demografischen Verhältnisse falsch wiedergaben, verfälschten die Ergebnisse.6
Nachdem ein Gesetz in Chicago Fahrdienstleister dazu zwang, ihre Tarife offenzulegen, entdeckten Forscher, dass der Preisalgorithmus von Uber und Lyft in Stadtvierteln mit einem hohen Anteil nicht-weißer Bevölkerungsgruppen höhere Preise berechnete.7
Mit KI-Governance können Verzerrungen in KI-Systemen verringert werden. Sie beziehen sich auf Guardrails, die sicherstellen, dass KI-Tools und -Systeme sicher und ethisch vertretbar sind und bleiben. Sie legen die Rahmenbedingungen, Regeln und Normen für die Forschung, Entwicklung und Anwendung von KI fest, um Sicherheit, Fairness und die Achtung der Menschenrechte zu gewährleisten.
Unternehmen könnten die folgenden KI-Governance-Prinzipien in Betracht ziehen, um potenzielle KI-Verzerrungen während des gesamten Systemlebenszyklus zu vermeiden:
Maschinelles Lernen ist nur so gut wie die Daten, mit denen trainiert wird. Damit KI die vielfältigen Gemeinschaften, denen sie dient, besser widerspiegeln kann, muss eine weitaus größere Vielfalt an menschlichen Daten in Modellen dargestellt werden. Die in Modelle des maschinellen Lernens und Deep-Learning-Systeme eingespeisten Daten müssen umfassend und ausgewogen sein, alle Bevölkerungsgruppen repräsentieren und die tatsächliche Demografie der Gesellschaft widerspiegeln.
Es gibt kein Computersystem, das jemals vollständig „trainiert“ oder „fertig“ ist. Kontinuierliche Überwachung und Prüfung (durch Initiativen wie Folgenabschätzungen, algorithmische Prüfungen und Ursachentests) können dazu beitragen, mögliche Verzerrungen zu erkennen und zu korrigieren, bevor sie Probleme verursachen. Prozesse wie das „Human-in-the-Loop“-System bieten Optionen oder geben Empfehlungen, die dann von Menschen überprüft werden, bevor eine Entscheidung getroffen wird, um eine weitere Ebene der Qualitätssicherung zu bieten.
KI-Systeme können sogenannte Black Boxes sein, was es schwierig macht, ihre Ergebnisse zu verstehen. Transparente KI-Systeme dokumentieren und erklären deutlich die Methodik des zugrunde liegenden Algorithmus und wer ihn trainiert hat. Je mehr Menschen verstehen, wie KI-Systeme trainiert und abgestimmt werden und wie sie Entscheidungen treffen, desto mehr können einzelne Stakeholder und die Gesellschaft insgesamt der Genauigkeit und Fairness von KI vertrauen.
Inklusive KI beginnt mit einem vielfältigen und interdisziplinären Team von KI-Programmierern, Entwicklern, Data Scientists, ML-Ingenieuren und anderen, die sich in Bezug auf ethnische und wirtschaftliche Herkunft, Bildungsniveau, Geschlecht, Stellenbeschreibung und andere demografische Merkmale unterscheiden. Die Vielfalt in Design und Entwicklung bringt unterschiedliche Perspektiven mit sich, um Verzerrungen zu erkennen und abzumildern, die sonst unbemerkt bleiben würden.
1. „How We Analyzed the COMPAS Recidivism Algorithm“, ProPublica, 23. Mai 2016.
1. „Predictive policing is still racist – whatever data it uses“, MIT Technology Review, 5. Februar 2021.
2. „Why Amazon’s Automated Hiring Tool Discriminated Against Women“, ACLU, 12. Oktober 2018.
4. „AI is Making Housing Discrimination Easier Than Ever Before“, The Kreisman Initiative for Housing Law and Policy, University of Chicago, 12. Februar 2024.
5. „Ageism, sexism, classism and more: 7 examples of bias in AI-generated images“, The Conversation, 9. Juli 2023.
6. „Algorithmic bias detection and mitigation: Best practices and policies to reduce consumer harms“, Brookings, 22. Mai 2019.
7. „Algorithmic Bias Explained“, The Greenlining Institute, Februar 2021.