Die Bedeutung von Vielfalt in Bezug auf KI ist keine Meinungsfrage, sondern eine mathematische Tatsache

Wir alle möchten, dass sich unsere idealen menschlichen Werte in unseren Technologien widerspiegeln. Wir erwarten, dass Technologien wie künstliche Intelligenz (KI) uns nicht anlügen, nicht diskriminieren und für uns und unsere Kinder sicher in der Anwendung sind. Dennoch sehen sich viele KI-Entwickler derzeit einer Gegenreaktion ausgesetzt, weil ihre Modelle Verzerrungen, Ungenauigkeiten und problematische Datenpraktiken aufweisen. Diese Probleme erfordern mehr als eine technische, algorithmische oder KI-basierte Lösung. In Wirklichkeit ist ein ganzheitlicher, soziotechnischer Ansatz erforderlich.

Alle Vorhersagemodelle, einschließlich der KI, sind genauer, wenn sie verschiedene menschliche Intelligenz und Erfahrung einbeziehen. Dies ist keine Meinung, sondern hat empirische Gültigkeit. Betrachten Sie das Theorem der Vielfalt. Vereinfacht gesagt: Wenn die Vielfalt innerhalb einer Gruppe groß ist, ist der Fehler der Masse gering – was das Konzept der „Weisheit der Vielen“ stützt. In einer einflussreichen Studie wurde gezeigt, dass heterogene Gruppen von Problemlösern mit geringen Fähigkeiten Gruppen von Problemlösern mit hohen Fähigkeiten übertreffen können (Hong & Page, 2004).

In mathematischer Sprache: Je größer Ihre Varianz, desto größer ist Ihr Mittelwert. Die Gleichung sieht folgendermaßen aus:

Wobei
c = die durchschnittliche Vorhersage der Menge
𝜽= der tatsächliche Wert
si = die Vorhersage des i-ten Individuums
n = die Anzahl der Individuen

Eine weitere Studie lieferte weitere Berechnungen, die die statistischen Definitionen einer klugen Menge verfeinern, einschließlich der Unkenntnis der Vorhersagen anderer Mitglieder und der Einbeziehung von Personen mit maximal unterschiedlichen (negativ korrelierten) Vorhersagen oder Urteilen. Es ist also nicht nur das Volumen, sondern die Vielfalt, die die Prognosen verbessert. Wie könnte sich diese Erkenntnis auf die Bewertung von KI-Modellen auswirken?

Um ein bekanntes Sprichwort zu zitieren: Alle Modelle sind falsch. Dies gilt insbesondere für die Bereiche Statistik, Wissenschaft und KI. Modelle, die mit mangelnder Fachkenntnis erstellt wurden, können zu fehlerhaften Ausgaben führen.

Heute bestimmt eine winzige homogene Gruppe von Menschen, welche Daten für das Trainieren generativer KI-Modelle verwendet werden sollen, die aus Quellen stammen, die Englisch stark überrepräsentieren. „Für die meisten der über 6.000 Sprachen der Welt sind die verfügbaren Textdaten nicht ausreichend, um ein groß angelegtes Foundation Model zu trainieren“ (aus „ On the Opportunities and Risks of Foundation Models“, Bommasani et al., 2022).

Zusätzlich werden die Modelle selbst aus begrenzten Architekturen erstellt: „Fast alle modernen NLP-Modelle werden heute aus einem der wenigen Foundation Models wie BERT, RoBERTa, BART, T5 usw. adaptiert. Diese Homogenisierung erzeugt zwar einen extrem hohen Nutzen (Verbesserungen an den Foundation Models können unmittelbaren Nutzen für das gesamte NLP mit sich bringen), birgt aber auch ein Risiko: Alle KI-Systeme könnten dieselben problematischen Verzerrungen einiger weniger Foundation Models erben (Bommasani et al.).

Damit die generative KI die vielfältigen Gemeinschaften, denen sie dient, besser abbilden kann, muss eine weitaus größere Vielfalt an menschlichen Daten in Modellen dargestellt werden.

Die Bewertung der Modellgenauigkeit geht Hand in Hand mit der Bewertung von Verzerrungen. Wir müssen uns fragen, was die Intention des Modells ist und für wen es optimiert ist. Stellen Sie sich zum Beispiel vor, wer am meisten von Algorithmen für Inhaltsempfehlungen und Suchmaschinenalgorithmen profitiert. Stakeholder können sehr unterschiedliche Interessen und Ziele haben. Algorithmen und Modelle benötigen Zielwerte oder Näherungswerte für den Bayes-Fehler: den Mindestfehler, den ein Modell verbessern muss. Dieser Stellvertreter ist oft eine Person, z. B. ein Fachexperte mit Fachwissen.

Neue KI-Vorschriften und Maßnahmenpläne unterstreichen zunehmend die Bedeutung von Formularen zur Bewertung der Auswirkungen von Algorithmen. Das Ziel dieser Formulare ist es, entscheidende Informationen über KI-Modelle zu erfassen, damit die Governance-Teams ihre Risiken vor deren Einsatz bewerten und angehen können. Typische Fragen sind beispielsweise:

• Was ist der Anwendungsfall Ihres Modells?
• Was sind die Risiken für verteilte Auswirkungen?
• Wie bewerten Sie Fairness?
• Wie gestalten Sie Ihr Modell erklärbar?

Das Problem ist, dass die meisten Besitzer von KI-Modellen trotz guter Absichten nicht wissen, wie sie die Risiken für ihren Anwendungsfall bewerten sollen. Ein häufig geäußerter Einwand könnte lauten: „Wie könnte mein Modell unfair sein, wenn es keine personenbezogenen Daten erfasst?“ Infolgedessen werden die Formulare selten mit der Sorgfalt ausgefüllt, die Governance-Systeme benötigen, um Risikofaktoren genau zu kennzeichnen.

Somit wird der soziotechnische Charakter der Lösung unterstrichen. Einem Modellbesitzer – also einer Einzelperson – kann nicht einfach eine Liste von Kontrollkästchen vorgelegt werden, um zu beurteilen, ob sein Anwendungsfall Schaden verursachen wird. Stattdessen brauchen wir Gruppen von Menschen mit sehr unterschiedlichen Erfahrungen, die in Gemeinschaften zusammenkommen, die psychologische Sicherheit bieten, um schwierige Gespräche über verteilte Auswirkungen zu führen.

IBM verfolgt einen Ansatz, bei dem man von Anfang an beim Kunden ist („Client Zero“). Dabei werden die Empfehlungen und Systeme, die IBM für seine eigenen Kunden entwickelt, im Rahmen von Beratungs- und produktorientierten Lösungen umgesetzt. Dieser Ansatz erstreckt sich auch auf ethische Praktiken. Aus diesem Grund hat IBM ein Kompetenzzentrum für vertrauenswürdige KI ins Leben gerufen.

Wie oben erläutert, ist die Vielfalt der Erfahrungen und Fähigkeiten entscheiden, um die Auswirkungen der KI richtig zu bewerten. Die Aussicht in einem Kompetenzzentrum mitzuwirken, kann in einem Unternehmen voller KI-Innovatoren, Experten und hervorragender Entwickler herausfordernd wirken. Umso wichtiger ist es, eine Gemeinschaft aufzubauen, in der sich alle sicher und wertgeschätzt fühlen. IBM kommuniziert das deutlich, indem wir sagen „Interessieren Sie sich für KI? Interessieren Sie sich für KI-Ethik? „Sie haben einen Platz an diesem Tisch.“

Das Kompetenzzentrum bietet Schulungen zum Thema KI-Ethik für Anwender aller Ebenen an. Es werden sowohl synchrone Lernprogramme (Lehrkräfte und Lernende in einem Kurs) als auch asynchrone (selbstgesteuerte) Programme angeboten.

Doch es ist das angewandte Training im Kompetenzzentrum, das unseren Praktikern die tiefsten Erkenntnisse liefert, da dort mit globalen, vielfältigen, multidisziplinären Teams an realen Projekten gearbeitet wird, um verteilte Auswirkungen besser zu verstehen. Ein Design Thinking Framework kommt hier zum Tragen, das die IBM-Gruppe Design for AI intern und mit Kunden einsetzt, um die unbeabsichtigten Auswirkungen von KI-Modellen zu bewerten und dabei diejenigen, die oft marginalisiert werden, stets im Blick zu behalten. (Siehe Sylvia Duckworths Wheel of Power and Privilege für Beispiele dafür, wie persönliche Merkmale zusammenwirken, um Menschen zu privilegieren oder zu marginalisieren). IBM hat außerdem viele der Frameworks der Open-Source-Community Design Ethically gespendet.

Nachfolgend einige der Berichte, die IBM zu diesen Projekten veröffentlicht hat:

• Die U.S. Chamber of Commerce Foundation und IBM erforschen die Anwendungsmöglichkeiten von generativer KI für die kompetenzbasierte Personalauswahl
• Wie die Titanic uns beim Nachdenken über erklärbare KI geholfen hat

Automatisierte Tools zur Steuerung von KI-Modellen sind erforderlich, um wichtige Erkenntnisse über die Leistungsfähigkeit Ihres KI-Modells zu gewinnen. Beachten Sie jedoch, dass es optimal ist, Risiken frühzeitig zu erkennen, bevor Ihr Modell entwickelt und in Produktion genommen wird. Indem Sie Gemeinschaften von vielfältigen, multidisziplinären Fachkräften schaffen, mit einem sicheren Raum für schwierige Gespräche über verteilte Auswirkungen, können Sie den Prozess zur Umsetzung Ihrer Prinzipien beginnen und KI verantwortungsvoll entwickeln.

Bei der Einstellung von KI-Praktikern sollte man in der Praxis bedenken, dass weit über 70 % des Aufwands bei der Erstellung von Modellen im Kuratieren der richtigen Daten besteht. Es ist ratsam, Mitarbeiter einzustellen, die wissen, wie man repräsentative Daten sammelt, die zudem mit Einwilligung der Betroffenen erhoben werden. Sie benötigen außerdem Mitarbeiter, die eng mit Experten zusammenarbeiten, um sicherzustellen, dass sie den richtigen Ansatz verfolgen. Es ist wichtig, dass diese Fachleute über die emotionale Intelligenz verfügen, um die Herausforderung der verantwortungsvollen Kuratierung von KI mit Bescheidenheit und Urteilsvermögen anzugehen. Wir müssen bewusst lernen zu erkennen, wie und wann KI-Systeme die Ungleichheit verschärfen können, genauso wie sie die menschliche Intelligenz erhöhen können.