Was sind die wichtigsten Metriken für die Messung der KI-Governance?

Kürzlich wurde mir diese Frage gestellt: Wie messe ich den Erfolg meines Engagements für KI-Ethik und -Governance? Ich messe den Erfolg daran, ob ethische KI-Prinzipien in die Strategie, Workflows und Entscheidungsfindung eingebettet und nicht nur niedergeschrieben sind. Wenn Teams befähigt werden, Fragen zu stellen, betroffene Gemeinschaften einbezogen werden und Modelle in jeder Phase mit Verantwortlichkeit erstellt werden, sind Sie auf dem richtigen Weg.

Zunächst einmal liegt das größere Versagen darin, das menschliche Verhalten und die Erfahrungen einer Person bei der Interaktion mit KI, deren Intelligenz angeblich „erweitert“ wird, nicht zu berücksichtigen. Ich denke, es ist wichtig zu wissen, wie man das Verhalten von Menschen misst. Ein grundlegendes Prinzip der Humanpsychologie ist, dass man viel mehr von den menschlichen Verhaltensweisen erhält, die man misst.

Welche menschlichen Verhaltensweisen messen wir im Zusammenhang mit dem Einsatz von KI? Welche menschlichen Verhaltensweisen wünschen sich unsere Kunden mehr beim Einsatz von KI?

Beginnen wir mit einer Geschichte über einen meiner absoluten Lieblingskunden: eine große Polizeidienststelle. Dieser Kunde unterschied sich deutlich von allen anderen Kunden, mit denen ich bisher zusammengearbeitet hatte. Als wir unsere Zusammenarbeit mit den Mitgliedern des KI-Lenkungsausschusses der Polizeibehörde begannen, wussten viele von ihnen nicht, warum sie dort waren.  

Der Grund dafür war, dass sie alle über umfangreiches Fachwissen im Bereich der Polizeiarbeit verfügten. Sie hielten sich jedoch nicht für Experten in den Bereichen künstliche Intelligenz (KI) oder maschinelles Lernen (ML). Sie fragten: „Warum brauchen Sie mich in diesem Gremium?“

Aus diesem Grund begannen wir damit, zu erläutern, warum sie anwesend waren und warum es wichtig war, auf ihr Wissen und ihre Fachkompetenz in dem jeweiligen Thema zurückgreifen zu können. Aber das war noch nicht alles. Wir mussten zeigen, warum sie gebraucht wurden. Sie mussten lernen und verstehen, dass das, was sie in diese KI-Lösungen einbrachten, für die richtige Umsetzung der KI entscheidend war. Für eine erfolgreiche Implementierung von KI ist es unerlässlich, den Menschen in den Mittelpunkt zu stellen.

Wir haben eine Verbindung zu den Mitarbeitenden hergestellt, indem wir ihnen aktiv gezeigt haben, dass die Herausforderung bei der Entwicklung einer funktionierenden KI keineswegs rein technischer Natur ist. Bereichsexperten – echte Bereichsexperten im Bereich der Polizeiarbeit – sind unerlässlich. Diese Personen verstehen die Daten, den Kontext, in dem sie erfasst wurden, sowie die Beziehungen zwischen den Datenpunkten und stellen so sicher, dass die richtige KI entwickelt, gewartet und verantwortungsvoll verwaltet wird . 

Zu den Taktiken, die wir verwendet haben, gehörten Design Thinking-Übungen, die aus der eigenen KI-Design-Gilde von IBM hervorgegangen sind. Diese Design Thinking-Übungen behandeln Fragen wie:

• Sind die richtigen Personen beteiligt?

• Was ist das Kernproblem, das wir zu lösen versuchen?

• Haben wir nach Ansicht der Experten die richtigen Daten und das richtige Verständnis der Daten, um diese KI-Initiative zum Leben zu erwecken?

• Welche taktischen KI-Prinzipien müssen sich in unseren KI-Systemen widerspiegeln, um das Vertrauen der Öffentlichkeit zu gewinnen? Und wie definieren wir die funktionalen und nicht-funktionalen Anforderungen, die notwendig sind, um diese Prinzipien zum Leben zu erwecken?

• Was sind die unbeabsichtigten Auswirkungen dieser KI-Modelle? 

• Wie würden Sie eine gezielte Risikominderung angehen? 

• Für welche verschiedenen Personas müssen wir entwickeln?

• Was müssen wir über die beabsichtigte und unbeabsichtigte Verwendung dieser KI kommunizieren?

Diese introspektive Arbeit muss in einem Umfeld durchgeführt werden, das Bescheidenheit und Inklusivität sowie psychologische Sicherheit in den Vordergrund stellt und Menschen mit unterschiedlichen Erfahrungen einbezieht. Das Ergebnis dieser Arbeit ist, dass die Teams endlich über die Sprache verfügen, die sie schon lange brauchen. So können sie den Entwicklern oder Käufern klar kommunizieren, was entwickelt oder angeschafft werden muss, um KI-Lösungen verantwortungsvoll zu kuratieren.

Auch hier erhalten Sie die menschlichen Verhaltensweisen, die Sie messen. Die Frage ist also, welche menschlichen Verhaltensweisen wir messen mussten, um den Erfolg eines Governance-Projekts zu bestimmen.

Eine Frage, die man sich stellen sollte, lautet:

• Welche menschlichen Verhaltensweisen werden gemessen? Welche menschlichen Verhaltensweisen werden in den Kommunikationsmaßnahmen hervorgehoben, und stimmen diese mit den gemessenen Verhaltensweisen im Zusammenhang mit der Unternehmensführung überein?

Häufig werden Mitarbeiter dazu angehalten, KI am Arbeitsplatz einzusetzen (unter Androhung von Kündigung), und gleichzeitig wird ihnen mitgeteilt, dass sie für verantwortungsvolle Ergebnisse verantwortlich sind. Allerdings werden sie häufig streng danach beurteilt, wie schnell sie ihre Arbeit erledigen und wie produktiv sie sind, ohne dass die Ergebnisse selbst bewertet werden.

Es gibt mehrere dokumentierte Fälle, in denen der Fachexperte wusste, dass die KI falsch lag, und ihm ausdrücklich gesagt wurde, er solle nach bestem Wissen und Gewissen entscheiden. Doch anstatt der KI zu widersprechen, tat er nichts – denn seine Leistung wurde anhand völlig anderer Metriken bewertet. Manche Menschen werden tatsächlich bestraft, wenn sie einer KI bei der Arbeit widersprechen. 

Wenn wir auf die Frage zurückkommen – welche Verhaltensweisen messen wir –, wollen wir erkunden, wie wir messen können, ob KI die Intelligenz einer Person verbessert. Wir sollten auch berücksichtigen, ob sich diese Person aktiv als kritischer Konsument von KI einbringt. Für diese Personen sollten messbare Anreize geschaffen werden, die KI zu trainieren oder zumindest andere zu warnen, um verantwortungsvollere Ergebnisse zu erzielen.

Um dies zu erreichen, müssen wir messen, ob Mitarbeiter, die KI einsetzen, die Risiken der KI wirklich verstehen, die wahre Natur von Daten, von Verzerrung und von verteilten Auswirkungen wirklich begreifen. Verstehen sie, was es bedeutet, hier Verantwortung zu übernehmen? Werden sie so bewertet, dass diese Verantwortlichkeit gefördert wird?

Diese Führungsqualitäten sind nur einige Beispiele dafür, worauf wir achten sollten, wenn wir die richtige Unternehmenskultur etablieren möchten.

Eine zentrale Komponente für den Erfolg eines KI-Governance-Projekts ist das Vertrauen der Menschen in Sie. Denken Sie daran: Es ist nicht einfach, KI so zu entwickeln, dass sie Vertrauen schafft. Die Führungskräfte, zu denen ich aufschaue, können ihre Arbeit zeigen.

Ich möchte, dass Sie aus diesem Artikel mitnehmen, dass Sie zu dieser Diskussion gehören, auch wenn Sie vielleicht denken, dass dies nicht der Fall ist. Sie brauchen keinen Abschluss in Data Science oder einen Doktortitel in KI, das verspreche ich Ihnen. Die Tatsache, dass Sie andere Erfahrungen aus der gelebten Welt mitbringen, bedeutet, dass Sie in diese Diskussion über KI gehören.

Diese Diskussion ist nicht nur deshalb wichtig, weil KI populär geworden ist und wahrscheinlich auch an Ihrem Arbeitsplatz zum Einsatz kommen wird. Sie werden wissen wollen, dass die KI-Modelle, die – auch von Ihren Kindern – verwendet werden, vor Angreifern sicher sind und auf der Wahrheit beruhen. Die Modelle sollten fair sein, es vermeiden, plötzlich toxische Hassreden zu verbreiten oder aus dem Ruder zu laufen, und personenbezogene Daten durch strenge Datenschutzvorkehrungen schützen.

Seien wir ehrlich: Der Übergang zur KI ist schwierig. Für Führungskräfte bedeutet das Zeitalter der KI, sich mit Mehrdeutigkeiten vertraut zu machen. Es bedeutet, sich dafür zu entscheiden, das Richtige zu tun, und nicht nur das, was einfach oder kurzfristig rentabel ist. Das erfordert die Entwicklung eines tieferen Verständnisses von KI-Technologien – wie sie funktionieren, was sie erreichen können, welche Risiken sie mit sich bringen. Und es erfordert die Vermittlung dieses Wissens und Verständnisses an die gesamte Belegschaft. Es bedeutet, in KI-Kompetenzen, KI-Governance und einen fähigen KI-Governance-Experten zu investieren.

Die Führungskräfte, die jetzt den Schritt nach vorne wagen – die mutige Fragen stellen, die richtigen Ressourcen bereitstellen und menschliche Werte in den Mittelpunkt stellen – vermeiden nicht nur Fallstricke, sondern gestalten aktiv eine verantwortungsvollere Zukunft der KI. Sie verdienen das Vertrauen, das zu einem dauerhaften Wettbewerbsvorteil wird. Dieser Führungsmoment gehört Ihnen. Machen Sie ihn wertvoll. Machen Sie ihn wertvoll.