Was ist kognitive Verzerrung?

Selbst die analytischsten und rationalsten Menschen können kognitiven Verzerrungen zum Opfer fallen, die oft unbewusst ablaufen. Viele Verzerrungen sind sowohl versteckt als auch allgegenwärtig und können sowohl die Datenanalyse als auch die Struktur der Datenerhebung selbst beeinflussen. 

Angesichts der jüngsten bedeutenden Fortschritte im Bereich des maschinellen Lernens (ML) und der künstlichen Intelligenz (KI) haben das Interesse an kognitiven Verzerrungen und das Bewusstsein dafür stark zugenommen. Da die Investitionen in diese intelligenten Systeme exponentiell steigen, gewinnen Maßnahmen zur Minderung von KI-Verzerrungen und Datenverzerrungen sowohl für die KI-Ethik als auch für die KI-Governance zunehmend an Bedeutung.  

Auch wenn die Begriffe „logischer Fehler“ und „kognitive Verzerrung“ manchmal synonym verwendet werden, handelt es sich doch um zwei unterschiedliche Konzepte. Logische Fehler entstehen durch Fehler in einer logischen Argumentation. Kognitive Verzerrungen reichen tiefer und entstehen bereits in den Phasen der Denkverarbeitung. Kognitive Verzerrungen haben ihre Ursache häufig in Problemen im Zusammenhang mit dem Gedächtnis, dem Erinnerungsvermögen, der Aufmerksamkeit, der Zuschreibung und anderen Formen der Metaanalyse.    

Zudem gehen viele Typen von logischen Fehlern direkt auf Beispiele kognitiver Verzerrungen zurück. Kognitive Verzerrungen beeinträchtigen kritisches Denken. Wenn logische Argumente auf voreingenommenen Schlussfolgerungen beruhen, führen systemische Fehler häufig zu entsprechenden logischen Fehlschlüssen. 

Nehmen wir zum Beispiel die „Versunkene-Kosten-Falle”, einen Begriff, der sowohl eine kognitive Verzerrung als auch einen informellen logischen Fehler beschreiben kann. Zum Vergleich: 

Als logischer Fehler: Die Versunkene-Kosten-Falle bezeichnet eine logisch fehlerhafte Argumentation, bei der die Entscheidung, weiterhin Ressourcen (Zeit, Geld, Aufwand usw.) in ein Projekt zu investieren, ausschließlich auf der Höhe der bereits investierten und nicht mehr zurückgewinnbaren Ressourcen basiert. Ein Spieler, der ein Spiel mit ungünstigen Gewinnchancen spielt, kann es logischerweise nicht rechtfertigen, weiterzuspielen, nur weil er bereits eine große Summe verloren hat. Logischerweise spielt das verlorene Geld für die aktuelle Entscheidung, erneut zu setzen oder aufzuhören, keine Rolle.

Als kognitive Verzerrung: Die gängige Redewendung „Geld zum Fenster hinauswerfen“ bringt den Kern der Versunkene-Kosten-Falle gut auf den Punkt. Aus kognitiver Sicht können emotionale Faktoren wie Verlustaversion, sozialer Druck, Scham und Panik dazu führen, dass der Spieler irrational denkt. Er könnte zu dem Schluss kommen, dass die nächste Runde anders verlaufen wird, obwohl die Vergangenheit gezeigt hat, dass er nicht in der Lage ist, Geld zu gewinnen. 

Kognitive Verzerrungen sind tückisch, da die daraus resultierenden Entscheidungen nicht immer offensichtlich falsch sind. Stattdessen können sie lediglich geringfügig suboptimal oder sogar zufällig zutreffend sein. Dieses Fehlen einer klaren Feedbackschleife ist ein Grund dafür, dass kognitive Verzerrungen fortbestehen. 

Werden kognitive Verzerrungen in der Planungsphase nicht frühzeitig erkannt, können sie in der Folge systemische Probleme verursachen, die fehlerhafte, ungerechte oder gefährliche Ergebnisse verursachen. Durch die Untersuchung und das Verständnis kognitiver Verzerrungen können Entscheidungsträger sowie diejenigen, die Entscheidungssysteme entwerfen oder deren Sicherheit gewährleisten, jedoch dazu beitragen, noch bessere Ergebnisse zu erzielen.

Das Verständnis kognitiver Verzerrungen kann Sicherheitsteams beim Aufbau robusterer und sicherer Systeme unterstützen.

Indem sie sich der typischen Denkfehler des Menschen bewusst machen, können Cybersicherheitsexperten Schwachstellen in Sicherheitstools und -lösungen besser erkennen. Ein Bewusstsein für kognitive Verzerrungen kann zudem sowohl Entwicklern als auch Sicherheitsexperten dabei helfen, potenziell kritische Fehler bei der Konzeption, Entwicklung und Implementierung von Sicherheitsplattformen, Apps und anderen Systemen zu vermeiden.

In Situationen, in denen Sicherheit unerlässlich ist – etwa bei der Sicherung sensibler Geschäftskommunikation, dem Schutz von Staatsgeheimnissen oder der Sicherung von Finanzdaten von Verbrauchern – können kognitive Verzerrungen systemische Schwachstellen verursachen, die es böswilligen Akteuren ermöglichen, ansonsten strenge Sicherheitsmaßnahmen zu umgehen.

Beispielsweise ist die kognitive Verzerrung des falschen Konsenses die Tendenz anzunehmen, dass die eigenen Meinungen allgemein als richtig angesehen werden, auch wenn es keine Daten gibt, die diese Schlussfolgerung stützen. Diese Verzerrung könnte bei einem Entwickler die Annahme verursachen, dass bestimmte Typen von Sicherheitsfunktionen für die von ihm entwickelte App nicht erforderlich sind. Infolgedessen könnte er sein System unbeabsichtigt für Cyberangriffe anfällig machen, mit denen er nie gerechnet hat.

Kognitive Verzerrungen beeinträchtigen die Fähigkeit, Daten zu interpretieren und fundierte Entscheidungen zu treffen.

Bei weniger wichtigen Entscheidungen können kognitive Verzerrungen zwar zu Fehlentscheidungen führen, doch steht dabei offensichtlich nur wenig auf dem Spiel. Bei größeren Entscheidungen stellen kognitive Verzerrungen eine größere Gefahr dar.

Die vielleicht größte Gefahr, die von kognitiven Verzerrungen ausgeht, liegt in den möglichen Auswirkungen, die diese Fehler bei der Entwicklung von Systemen haben können, die selbst zahlreiche Entscheidungen treffen werden. Da KI-Systeme daher immer weiter verbreitet sind, wird der Bedarf an Schutzmaßnahmen gegen KI-Verzerrungen immer dringlicher.

KI-Modelle sind oft fehlerhaft, was sowohl auf die kognitiven Verzerrungen der menschlichen Entwickler, die diese Systeme entwerfen, als auch auf die Verzerrungen in den Trainingsdaten der Systeme zurückzuführen ist. Die daraus resultierenden Systeme weisen dann selbst Verzerrungen auf, die zu Diskriminierung und anderen schädlichen Auswirkungen führen können. 

KI-Governance hilft dabei, Probleme wie algorithmische Verzerrungen anzugehen und zu verhindern, bei denen ML-Algorithmen unfaire oder diskriminierende Ergebnisse liefern, die bereits bestehende sozioökonomische, ethnische oder geschlechtsspezifische Ungleichheiten verstärken können. 

KI-Governance, Prozesse, Standards und Leitlinien helfen KI-Systemarchitekten dabei, Tools zu entwickeln, die sowohl sicher als auch ethisch vertretbar sind. KI-Governance bildet die Grundlage für Frameworks in den Bereichen KI-Forschung, -Entwicklung und -Anwendungen, die dazu beitragen, Sicherheit, Fairness und die Achtung der Menschenrechte zu gewährleisten.

Eine Möglichkeit, wie KI-Governance Vorurteile bekämpft, besteht darin, die Einbeziehung vielfältiger Trainingsdatensätze zu fördern. In Bereichen wie dem Gesundheitswesen ist es von entscheidender Bedeutung, Daten aus einem breiten Spektrum von Bevölkerungsgruppen zu beziehen, die unter Umständen einzigartige kontextuelle Gegebenheiten aufweisen.

Betrachten Sie beispielsweise eine KI im Gesundheitswesen, die darauf ausgelegt ist, Anzeichen von Lungenkrebs zu erkennen. Wenn dieses Modell ausschließlich mit Daten von Nichtrauchern aus ländlichen Gebieten trainiert wird, könnte es bei der Analyse von Probanden, die rauchen und in Gebieten mit hoher Luftverschmutzung leben, weniger effektiv sein. Um eine effektivere KI zu entwickeln, wäre es unerlässlich, Trainingsdaten einzubeziehen, die möglichst viele potenzielle Szenarien abdecken. 

Ein weiteres Beispiel für KI-Governance in der Praxis sind die Bemühungen zur Einführung und Aufrechterhaltung von „Human-in-the-Loop“-Systemen (HITL). Bei diesen Typen von Systemen ist eine menschliche Überwachung der KI-Outputs erforderlich. HITL-Frameworks tragen dazu bei, eine zusätzliche Kontrollinstanz zu gewährleisten. Wenn der Mensch eine Verzerrung feststellt, die dem KI-System entgangen ist, kann er die Entscheidung der KI außer Kraft setzen.  

Obwohl kognitive Verzerrungen bereits seit Jahrhunderten beobachtet werden, wurde das Konzept erstmals in den 1970er Jahren von den Forschungspsychologen Amos Tversky und Daniel Kahneman formell eingeführt. Im Jahr 1974 veröffentlichten die beiden ihre Abhandlung Judgment Under Uncertainty: Heuristics and Biases, in der erstmals dargelegt wurde, inwiefern Menschen bei Entscheidungen oder Schlussfolgerungen dazu neigen, sich auf mentale Abkürzungen, sogenannte Heuristiken, zu stützen.

In den Bereichen Sozialpsychologie und Verhaltensökonomie vertreten Forscher die Theorie, dass sich der Mensch dazu entwickelt hat, Heuristiken einzusetzen, um die kognitive Belastung zu verringern, insbesondere wenn absolute Genauigkeit weniger wichtig ist als Effizienz. Tversky und Kahneman stellten fest, dass Heuristiken – gängige Faustregeln oder „Tricks des Handwerks“ – besonders häufig in Situationen vorkommen, in denen Entscheidungen schnell getroffen werden müssen, ohne dass der vollständige Kontext vorliegt oder unter allgemeiner Unsicherheit. 

Obwohl manche Heuristiken Menschen, Unternehmen und Maschinen dabei helfen können, schnelle und effektive Entscheidungen zu treffen, wiesen Tversky und Kahneman nach, wie kognitive Verzerrungen häufig unerwünschte Ergebnisse verursachen können. 

Leider sind selbst Menschen, die sich kognitiver Verzerrungen bewusst sind, dennoch anfällig für diese. Durch die Untersuchung der verschiedenen Typen kognitiver Verzerrungen lassen sich deren negative Auswirkungen auf den Entscheidungsfindungsprozess jedoch wirksam verringern. Besonders hilfreich kann es sein, Analysen und Entscheidungen von externen Teams oder Systemen überprüfen zu lassen, die speziell darauf geschult sind, kognitive Verzerrungen zu erkennen.  

Der erste Schritt zur Bekämpfung von Verzerrungen besteht darin, sich der verschiedenen Formen bewusst zu werden, in denen sie auftreten. Seit der Veröffentlichung der bahnbrechenden Arbeit von Tversky und Kahneman haben Forscher zahlreiche Typen kognitiver Verzerrungen entdeckt.

Zu den häufigsten Typen kognitiver Verzerrungen zählen:

Die Bestätigungsverzerrung ist die Tendenz, Informationen, die bestehende Überzeugungen bestätigen, überzubewerten, während Informationen, die diesen widersprechen, abgewertet werden. Jemand, der beispielsweise glaubt, dass die meisten Cyberangriffe auf Bedrohungen von außen zurückzuführen sind, könnte die zunehmenden Berichte über Insiderangriffe als Ausreißer abtun.

Die Tendenz anzunehmen, dass die eigenen Lebensumstände, Erfahrungen oder Situationen auf äußere Einflüsse zurückzuführen sind, während die Lebensumstände anderer Menschen das Ergebnis ihres eigenen Handelns sind. Beispielsweise könnte jemand, der auf eine Phishing-E-Mail hereinfällt, glauben, dass die Cyberkriminellen außergewöhnlich clever waren. Derselbe Mensch könnte jedoch beobachten, wie ein Kollege auf einen ähnlichen Betrug hereinfällt, und daraus schließen, dass dieser Kollege leichtgläubig und leicht zu täuschen ist.

Ähnlich wie die Akteur-Beobachter-Verzerrung führt auch die Selbstwertdienliche Verzerrung dazu, dass negative persönliche Ergebnisse externen Einflüssen zugeschrieben werden, während man sich selbst für positive Ergebnisse unangemessen viel Anerkennung zuschreibt. Die Selbstwertdienliche Verzerrung könnte dazu führen, dass eine Person annimmt, ein glückliches Pokerblatt sei das Ergebnis ihres eigenen Könnens, während sie ein verlorenes Blatt als unvermeidliche Laune des Schicksals interpretiert. 

Der fundamentale Attributionsfehler ist die Wahrnehmung anderer als gut oder schlecht auf der Grundlage ihrer inneren Beweggründe. Beispielsweise könnte eine frustrierte Person, die hinter einem langsamen Autofahrer feststeckt, annehmen, dass dieser rücksichtslos und unhöflich ist, ohne mögliche äußere Faktoren wie schlechte Fahrbedingungen oder Motorprobleme zu berücksichtigen.

Die Tendenz, der ersten Information, die man über ein neues Thema erhält, übermäßige Bedeutung beizumessen. Werbetreibende können sich den Ankereffekt zunutze machen, wenn sie mit dem früheren, höheren Preis eines Produkts werben. Indem sie den Kunden an eine höhere Zahl binden, erscheint der reduzierte Preis als besseres Angebot.

Der Halo-Effekt beschreibt, wie der Eindruck, den man von einer Person gewinnt, die Fähigkeit beeinflusst, deren Charakter oder Fähigkeiten einzuschätzen. Diese Art der kognitiven Verzerrung kann sich auf vielfältige Weise äußern, doch ein besonders bedauerliches Beispiel ist die Fähigkeit von Menschen, die als konventionell attraktiv oder sympathisch gelten, schnell das Vertrauen von Fremden zu gewinnen. Cyberkriminelle nutzen den Halo-Effekt häufig bei Social-Engineering-Angriffen aus, indem sie beispielsweise attraktive Avatare verwenden. 

Die Tendenz, bei der Entscheidungsfindung bestimmten Faktoren mehr Aufmerksamkeit zu schenken, während andere dabei außer Acht gelassen werden. Wenn jemand beispielsweise nach Cybersicherheitslösungen sucht und unter einer Aufmerksamkeitsverzerrung leidet, achtet er möglicherweise stärker auf die Gesamtkosten eines Produkts, ohne zu berücksichtigen, ob dieses alle seine Anforderungen erfüllt.

Die Tendenz, die eigene subjektive Wahrnehmung der Realität als objektiv anzusehen und zu erwarten, dass andere die Welt auf dieselbe Weise wahrnehmen. Ironischerweise könnte jemand, der unter naivem Realismus leidet, abweichende Ansichten als irrational oder voreingenommen abtun.

Die Tendenz, die eigene Wahrnehmung der dargestellten Daten durch eine externe Analyse eines Ereignisses beeinflussen zu lassen. Diese Art von Verzerrung hat sogar Augenzeugen dazu verursacht, aufgrund der Analyse voreingenommener Dritter an ihren eigenen Augen zu zweifeln. 

Die Tendenz anzunehmen, dass etwas, nur weil es nicht für eine bestimmte Funktion konzipiert wurde, diese Funktion unmöglich erfüllen kann. Da ein Schraubenschlüssel beispielsweise nicht dazu gedacht ist, einen Nagel einzuschlagen, könnte man annehmen, dass er nicht als Hammer verwendet werden kann. In einem Notfall kann ein Schraubenschlüssel jedoch tatsächlich wie ein Hammer eingesetzt werden. 

Die Tendenz zu glauben, dass man weniger wahrscheinlich scheitern und eher Erfolg haben wird. Während eine optimistische Grundhaltung in bestimmten Situationen von Vorteil sein kann, kann eine ungerechtfertigte Annahme des Erfolgs zum Misserfolg führen. Entscheidungen, die von einer Optimismusverzerrung beeinflusst sind, neigen dazu, schwerwiegende Probleme zu unterschätzen und setzen die Entscheidungsträger potenziell verheerenden Folgen aus. 

Die Überlebensverzerrung ist eine Form der Stichprobenverzerrung und bezeichnet die Tendenz, eine Teilmenge einer größeren Gruppe fälschlicherweise für die gesamte Gruppe zu halten. Die Überlebensverzerrung führt dazu, dass Menschen ihre gesamte Aufmerksamkeit fälschlicherweise nur auf jene Datenpunkte richten, die eine bestimmte Anzahl von Eignungstests „bestehen“.

Eines der bekanntesten Beispiele für die Überlebensverzerrung stammt aus dem Zweiten Weltkrieg.¹ Als Abraham Wald gefragt wurde, wo die Panzerung von Flugzeugen am besten verstärkt werden sollte, stützte er seine Empfehlungen auf eine statistische Analyse der Stellen, an denen Flugzeuge, die aus dem Kampfeinsatz zurückkehrten, die meisten Schäden aufwiesen. Anstatt jedoch diese Bereiche zu verstärken, empfahl Wald, die Bereiche zu verstärken, die die geringsten Schäden aufwiesen. Wald war sich bewusst, dass seine Daten nur Flugzeuge betrafen, die den Kampfeinsatz überstanden hatten, und folgerte daher zu Recht, dass die Schäden an diesen Flugzeugen nicht so schwerwiegend waren wie Schäden an anderen Stellen. Flugzeuge, die in den nicht erfassten Bereichen Schäden davongetragen hatten, wurden zerstört und überlebten nicht, um in die Analyse der Schadensverteilung aufgenommen zu werden. 

Die Tendenz, eine Entscheidung zu treffen, zu einem Schluss zu gelangen oder eine Überzeugung anzunehmen, basierend auf der Anzahl anderer Personen, die ähnliche Ansichten vertreten. Im Wesentlichen beschreibt der Mitläufereffekt den Einfluss, den Popularität und sozialer Druck auf die eigene Psyche ausüben können. 

Die Art und Weise, wie Informationen dargestellt werden, kann zu unterschiedlichen Schlussfolgerungen führen. So führt beispielsweise eine politische Umfrage, in der die Befragten gebeten werden, ihre Zustimmung zu „den negativen Maßnahmen des Gouverneurs“ zu bewerten, zu niedrigeren Werten als eine objektivere Beschreibung der „Politik des Gouverneurs“. 

Die Tendenz, Informationen, die leicht zugänglich oder leicht abzurufen sind, überzubewerten. Diese Verzerrung könnte dazu führen, dass ein Arzt bei einem Patienten aufgrund grippaler Symptome fälschlicherweise eine Grippe diagnostiziert, ohne auf andere Erkrankungen mit ähnlichen Symptomen zu testen. Auch wenn es einfacher sein mag, von einer Grippe auszugehen, werden Entscheidungen, die auf der Grundlage begrenzter Informationen getroffen werden, häufig durch die Verfügbarkeitsverzerrung beeinflusst.

Der als „Neglect“ bezeichnete Basisratenfehler beschreibt die Tendenz, allgemeine, statistische oder bevölkerungsbezogene Daten (die Basisrate) zugunsten spezifischer oder anekdotischer Belege zu übersehen oder zu ignorieren. Bei der Analyse ist es entscheidend, zunächst eine Basisrate festzulegen, um statistische Abweichungen angemessen messen zu können. 

Der Rückschaufehler, auch als „Ich-hab-es-doch-gewusst“-Phänomen oder schleichender Determinismus bezeichnet, ist die Tendenz, vergangene Ereignisse als aussagekräftiger für zukünftige Ergebnisse zu betrachten, als sie es tatsächlich waren. Im Nachhinein erscheint es oft einfach, kausale Zusammenhänge herzustellen, als sei die Gegenwart eine ausgemachte Sache. Im Moment selbst waren jedoch viele Ergebnisse möglich, was die Zukunft weniger klar erscheinen ließ. 

Diese kognitive Verzerrung ist die Tendenz, sich eher auf Annahmen zu stützen, die auf Stereotypen beruhen, als auf objektiven Informationen. Beispielsweise könnte jemand annehmen, dass ein Musiker mit Tattoos und Irokesenschnitt Rock ’n’ Roll spielt, obwohl er in Wirklichkeit ein klassischer Geiger ist. Die Repräsentativitätsheuristik beschreibt die Tendenz, „ein Buch nach seinem Einband zu beurteilen“. 

Diese nach den Forschern David Dunning und Justin Kruger benannte kognitive Verzerrung beschreibt die Tendenz von Personen, die in einem bestimmten Bereich unerfahren sind, ihre Leistung oder Fähigkeiten in diesem Bereich zu überschätzen. Eine Erklärung für dieses übermäßige Selbstvertrauen ist, dass man sich, je mehr man über ein Thema lernt, umso stärker bewusst wird, wie komplex dieses Thema ist. Neulingen fehlt dieses Bewusstsein noch.

Ironischerweise hat eine aktuelle Studie in Bezug auf den Einsatz von KI so etwas wie einen umgekehrten Dunning-Kruger-Effekt festgestellt. Die Forscher baten zwei Gruppen von Personen, logische Aufgaben zu lösen. Eine Gruppe durfte KI nutzen, um Schlussfolgerungen zu ziehen, die andere nicht. Nach Abschluss des Tests wurden die Teilnehmer, die KI genutzt hatten, gebeten, einzuschätzen, wie gut sie ihrer Meinung nach abgeschnitten hatten und wie viel Erfahrung sie im Umgang mit KI-Tools besaßen. 

Typischerweise lässt der Dunning-Kruger-Effekt eine umgekehrte Korrelation zwischen dem Selbstvertrauen im Umgang mit KI und der tatsächlichen Fähigkeit einer Person, KI effektiv einzusetzen, erkennen. Es wurde jedoch das Gegenteil beobachtet. Probanden mit größerer Erfahrung im Umgang mit KI überschätzten ebenfalls ihre Fähigkeit, KI effektiv einzusetzen. 

Zwar sind weitere Untersuchungen erforderlich, bevor aussagekräftige Schlussfolgerungen gezogen werden können, doch unterstreicht dieser Bericht die entscheidende Bedeutung der Untersuchung kognitiver Verzerrungen. Bei der Entscheidungsfindung können kognitive Verzerrungen Ergebnisse und Schlussfolgerungen auf unerwartete Weise erheblich beeinflussen. Wenn kognitive Verzerrungen Fehlern im Entscheidungsprozess verursachen, können selbst die besten, mit Erkenntnissen angereicherten und aussagekräftigsten Daten völlig falsch interpretiert werden.