Was ist KI-Governance?

Eine effektive KI-Governance umfasst Kontrollmechanismen, die Risiken wie Verzerrung, Datenschutzverletzungen und Missbrauch angehen und gleichzeitig Innovationen fördern und Vertrauen schaffen. Ein auf ethische KI ausgerichteter Ansatz für die KI-Governance erfordert die Einbeziehung eines breiten Spektrums von Stakeholdern, einschließlich KI-Entwicklern, Nutzern, politischen Entscheidungsträgern und Ethikern, um sicherzustellen, dass KI-bezogene Systeme im Einklang mit gesellschaftlichen Werten entwickelt und genutzt werden.

KI-Governance befasst sich mit den inhärenten Mängeln, die sich aus dem menschlichen Element bei der Erstellung und Wartung von KI ergeben. Da KI ein Produkt aus hochentwickeltem Code und maschinellem Lernen (ML) ist, das von Menschen geschaffen wurde, ist sie anfällig für menschliche Verzerrungen und Fehler, die zu Diskriminierung und anderem Schaden für den Einzelnen führen können.

Governance bietet einen strukturierten Ansatz, um diese potenziellen Risiken zu mindern. Ein solcher Ansatz kann solide KI-Richtlinien, Regulierung und Data Governance umfassen. Dadurch wird sichergestellt, dass Algorithmen für maschinelles Lernen überwacht, bewertet und aktualisiert werden, um fehlerhafte oder schädliche Entscheidungen zu verhindern, und dass die Datensätze gut trainiert und gepflegt werden.

Governance zielt zudem darauf ab, die notwendige Aufsicht zu schaffen, um das Verhalten der KI mit ethischen Standards und gesellschaftlichen Erwartungen in Einklang zu bringen und vor möglichen negativen Auswirkungen zu schützen.

KI-Governance ist unerlässlich, um einen Zustand der Compliance, des Vertrauens und der Effizienz bei der Entwicklung und Anwendung von KI-Technologien zu erreichen. Mit der zunehmenden Integration von KI in die Abläufe von Unternehmen und Behörden wird ihr Potenzial für negative Auswirkungen immer deutlicher. Unveröffentlichte Forschungsergebnisse des IBM Institute for Business Value zeigen, dass 80 % der Führungskräfte die Erklärbarkeit, Ethik, Verzerrung oder Vertrauenswürdigkeit von KI als großes Hindernis für die Einführung generativer KI betrachten.

Prominente Fälle wie der Vorfall mit dem Chatbot Tay, bei dem ein KI-Chatbot von Microsoft aus öffentlichen Interaktionen in den sozialen Medien toxisches Verhalten lernte, und die verzerrten Urteilsentscheidungen der COMPAS-Software haben die Notwendigkeit einer fundierten Governance zur Schadensvermeidung und zum Erhalt des öffentlichen Vertrauens deutlich gemacht.

Diese Beispiele zeigen, dass KI ohne angemessene Aufsicht erheblichen sozialen und ethischen Schaden anrichten kann, und unterstreichen die Bedeutung der Governance für die Bewältigung der mit fortschrittlicher KI verbundenen Risiken. Durch die Bereitstellung von Richtlinien und Frameworks zielt die KI-Governance darauf ab, technologische Innovation mit Sicherheit in Einklang zu bringen und sicherzustellen, dass KI-Systeme nicht die Würde oder Rechte des Menschen verletzen.

Transparente Entscheidungsfindung und Erklärbarkeit sind zudem entscheidend für einen verantwortungsvollen Einsatz von KI-Systemen und den Aufbau von Vertrauen. KI-Systeme treffen ständig Entscheidungen: von der Entscheidung, welche Anzeigen geschaltet werden sollen, bis hin zur Entscheidung, ob ein Kredit genehmigt wird. Es ist wichtig zu verstehen, wie KI-Systeme Entscheidungen treffen, um sie für ihre Entscheidungen zur Rechenschaft zu ziehen und sicherzustellen, dass sie diese fair und ethisch korrekt treffen.

Außerdem geht es bei der KI-Governance nicht nur darum, die einmalige Einhaltung von Vorschriften zu gewährleisten, sondern auch darum, ethische Standards über einen längeren Zeitraum aufrechtzuerhalten. KI-Modelle können abweichen, was zu Änderungen in der Ausgabequalität und Zuverlässigkeit führt. Die aktuellen Trends in Sachen Governance gehen über die bloße Einhaltung von Gesetzen hinaus und zielen darauf ab, die soziale Verantwortung von KI zu gewährleisten, um sich vor finanziellen und rechtlichen Schäden sowie Reputationsverlust zu schützen und gleichzeitig das verantwortungsvolle Wachstum der Technologie zu fördern.

Beispiele für KI-Governance umfassen eine Reihe von Richtlinien, Frameworks und Praktiken, die Unternehmen und Regierungen anwenden, um die verantwortungsvolle Nutzung von KI-Technologien zu gewährleisten. Diese Beispiele zeigen, wie KI-Governance in verschiedenen Kontexten stattfindet:

Die Datenschutz-Grundverordnung (DSGVO): Die DSGVO ist ein Beispiel für KI-Governance, insbesondere im Zusammenhang mit dem Schutz personenbezogener Daten und der Privatsphäre. Obwohl sich die DSGVO nicht ausschließlich auf KI konzentriert, sind viele ihrer Bestimmungen für KI-Systeme von großer Bedeutung, insbesondere für solche, die personenbezogene Daten von Personen innerhalb der Europäischen Union verarbeiten.

Die Organisation für wirtschaftliche Zusammenarbeit und Entwicklung (OECD): Die KI-Prinzipien der OECD, die von über 40 Ländern angenommen wurden, betonen den verantwortungsvollen Umgang mit vertrauenswürdiger KI, einschließlich Transparenz, Fairness und Verantwortlichkeit in KI-Systemen.

KI-Ethikausschüsse: Viele Unternehmen haben Ethikbeiräte oder -ausschüsse eingerichtet, um KI-Initiativen zu überwachen und sicherzustellen, dass sie mit ethischen Standards und gesellschaftlichen Werten in Einklang stehen. So prüft der Rat für KI-Ethik von IBM seit 2019 neue KI-Produkte und -Dienstleistungen, um sicherzustellen, dass sie den KI-Prinzipien von IBM entsprechen. Zu diesen Gremien gehören häufig funktionsübergreifende Teams mit juristischem, technischem und politischem Hintergrund.  

In einer Organisation auf Unternehmensebene sind der CEO und die Geschäftsleitung letztlich dafür verantwortlich, dass ihr Unternehmen während des gesamten KI-Lebenszyklus eine solide KI-Governance anwendet. Rechtsberatung und allgemeine Beratung sind entscheidend für die Bewertung und Minderung rechtlicher Risiken und stellen sicher, dass KI-Anwendungen den geltenden Gesetzen und Vorschriften entsprechen. Laut einem Bericht des IBM Institute for Business Value haben 80 % der Unternehmen einen separaten Teil ihrer Risikofunktion, der sich mit den Risiken befasst, die mit der Nutzung von KI oder generativer KI verbunden sind.

Audit-Teams sind unerlässlich, um die Datenintegrität von KI-Systemen zu überprüfen und zu bestätigen, dass die Systeme wie beabsichtigt funktionieren, ohne Fehler oder Verzerrungen einzuführen. Der CFO überwacht die finanziellen Auswirkungen, verwaltet die mit den KI-Initiativen verbundenen Kosten und mildert alle finanziellen Risiken. 

Die Verantwortung für die KI-Governance liegt jedoch nicht bei einer einzelnen Person oder Abteilung – es handelt sich um eine kollektive Verantwortung, bei der jede Führungskraft der Rechenschaftspflicht Vorrang einräumen und sicherstellen muss, dass KI-Systeme im gesamten Unternehmen verantwortungsvoll und ethisch korrekt eingesetzt werden.

Der CEO und die Geschäftsleitung sind dafür verantwortlich, den Gesamtton sowie die Kultur des Unternehmens festzulegen. Die Priorisierung einer verantwortungsvollen KI-Governance sendet an alle Mitarbeiter die klare Botschaft, dass jeder KI verantwortungsvoll und ethisch korrekt nutzen muss. Der CEO und die Führungsebene können ebenfalls in die Schulung von KI-Governance-Mitarbeitern investieren, aktiv interne Richtlinien und Verfahren entwickeln und eine Kultur der offenen Kommunikation und Zusammenarbeit schaffen.

KI-Governance ist für die Bewältigung der rasanten Fortschritte in der KI-Technologie, insbesondere mit dem Aufkommen generativer KI, unerlässlich. Generative KI, die Technologien umfasst, mit denen neue Inhalte und Lösungen wie Text, Bilder und Code erstellt werden können, hat in vielen Anwendungsfällen ein enormes Potenzial.

Von der Verbesserung kreativer Prozesse in Design und Medien bis hin zur Automatisierung von Aufgaben in der Softwareentwicklung: Generative KI verändert die Arbeitsweise der Industrie. Mit ihrer breiten Anwendbarkeit geht jedoch auch die Notwendigkeit einer robusten KI-Governance einher.

Die Prinzipien der verantwortungsvollen KI-Governance sind für Unternehmen unerlässlich, um sich und ihre Kunden zu schützen. Diese Prinzipien können Unternehmen bei der ethischen Entwicklung und Anwendung von KI-Technologien unterstützen:

• Empathie: Unternehmen sollten die gesellschaftlichen Auswirkungen von KI verstehen, nicht nur die technologischen und finanziellen Aspekte. Sie müssen die Auswirkungen von KI auf alle Beteiligten antizipieren und angehen.
  
  
• Kontrolle von Verzerrungen: Es ist von entscheidender Bedeutung, Trainingsdaten rigoros zu prüfen, um zu verhindern, dass KI-Algorithmen mit Verzerrungen aus der realen Welt behaftet sind, damit faire und unvoreingenommene Entscheidungsprozesse gewährleistet werden können.
  
  
• Transparenz: Es muss klar und offen sein, wie KI-Algorithmen arbeiten und Entscheidungen treffen, und Unternehmen müssen darauf vorbereitet sein, die Logik und Argumentation hinter KI-gestützten Ergebnissen zu erklären.
  
  
• Rechenschaftspflicht: Unternehmen sollten proaktiv hohe Standards festlegen und einhalten, um die bedeutenden Veränderungen, die KI mit sich bringen kann, zu bewältigen und die Verantwortung für die Auswirkungen von KI zu übernehmen.

Auch wenn Vorschriften und Marktkräfte viele Governance-Kennzahlen standardisieren, müssen Unternehmen dennoch festlegen, wie sie die Maßnahmen für ihr Unternehmen am besten ausbalancieren. Die Messung der Wirksamkeit der KI-Governance kann je nach Unternehmen unterschiedlich sein. Jedes Unternehmen muss entscheiden, welche Schwerpunktbereiche es priorisieren muss. Mit Schwerpunkten wie Datenqualität, Modellsicherheit, Kosten-Nutzen-Analyse, Überwachung von Verzerrungen, individueller Verantwortlichkeit, kontinuierlicher Prüfung und Anpassungsfähigkeit an den jeweiligen Unternehmensbereich ist es keine Einheitsentscheidung.

Für die KI-Governance bestehen keine universell standardisierten „Ebenen“, wie es beispielsweise bei der Cybersicherheit definierte Ebenen für die Reaktion auf Bedrohungen gibt. Stattdessen verfügt die KI-Governance über strukturierte Ansätze und Frameworks, die von verschiedenen Stellen entwickelt wurden und die Unternehmen übernehmen oder an ihre spezifischen Bedürfnisse anpassen können.

Unternehmen können verschiedene Frameworks und Richtlinien nutzen, um ihre Governance-Praktiken zu entwickeln. Zu den am häufigsten verwendeten Frameworks gehören das NIST AI Risk Management Framework, die OECD-Prinzipien für künstliche Intelligenz und die Ethikrichtlinien der Europäischen Kommission für vertrauenswürdige KI. Diese Frameworks bieten Leitlinien für eine Reihe von Themen, darunter Transparenz, Rechenschaftspflicht, Fairness, Datenschutz und Sicherheit.

Die Governance-Ebenen können je nach Größe des Unternehmens, Komplexität der verwendeten KI-Systeme und regulatorischem Umfeld, in dem das Unternehmen tätig ist, variieren.

Ein Überblick über diese Ansätze:

Das Konzept der KI-Governance wird immer wichtiger, da sich die durch KI angetriebene Automatisierung in Bereichen wie dem Gesundheitswesen, dem Finanzwesen, dem Verkehrswesen und den öffentlichen Diensten durchsetzt. Die Automatisierungsmöglichkeiten der KI können Effizienz, Entscheidungsfindung und Innovation erheblich verbessern, bringen aber auch Herausforderungen in Bezug auf Rechenschaftspflicht, Transparenz sowie ethische Überlegungen mit sich.

Zur Steuerung der KI gehört die Einrichtung robuster Kontrollstrukturen mit Richtlinien, Leitlinien und Frameworks zur Bewältigung dieser Herausforderungen. Dazu gehört die Einrichtung von Mechanismen zur kontinuierlichen Überwachung und Bewertung von KI-Systemen, um sicherzustellen, dass sie den geltenden ethischen Normen und gesetzlichen Vorschriften entsprechen.

Effektive Governance-Strukturen in KI sind multidisziplinär und umfassen Stakeholder aus verschiedenen Bereichen, darunter Technologie, Recht, Ethik und Wirtschaft. In einer Zeit, in der KI-Systeme immer ausgefeilter und in wichtige Aspekte der Gesellschaft integriert werden, wird die Rolle der KI-Governance bei der Steuerung und Gestaltung der KI-Entwicklung und ihrer gesellschaftlichen Auswirkungen immer wichtiger.

Best Practices für die KI-Governance umfassen einen Ansatz, der über die bloße Compliance hinausgeht, um ein robusteres System zur Überwachung und Verwaltung von KI-Anwendungen anzusprechen. In einer Organisation auf Unternehmensebene sollte die KI-Governance-Lösung eine umfassende Aufsicht und Kontrolle über KI-Systeme ermöglichen. Hier ist ein Beispiel für eine Roadmap, die Sie in Betracht ziehen sollten:

1. Visuelles Dashboard: Verwenden Sie ein Dashboard, das Echtzeit-Updates zum Zustand und Status von KI-Systemen liefert und einen klaren Überblick für schnelle Bewertungen bietet.
    

2. Metriken für den Gesundheitszustand: Implementieren Sie eine Gesamtbewertung des Zustands von KI-Modellen mit intuitiven und leicht verständlichen Metriken, um die Überwachung zu vereinfachen.
    

3. Automatisierte Überwachung: Setzen Sie automatische Erkennungssysteme für Verzerrungen, Abweichungen, Leistung und Anomalien ein, um sicherzustellen, dass die Modelle korrekt und ethisch einwandfrei funktionieren.
    

4. Leistungswarnungen: Richten Sie Warnungen ein, wenn ein Modell von seinen vordefinierten Leistungsparametern abweicht, um zeitnahe Interventionen zu ermöglichen.
    

5. Benutzerdefinierte Metriken: Legen Sie benutzerdefinierte Metriken fest, die an den Leistungskennzahlen (KPIs) und Schwellenwerten des Unternehmens ausgerichtet sind, um sicherzustellen, dass KI-Ergebnisse zu Geschäftszielen beitragen.
    

6. Prüfpfade: Führen Sie leicht zugängliche Protokolle und Prüfpfade, um Rechenschaft abzulegen und die Überprüfung der Entscheidungen und Verhaltensweisen von KI-Systemen zu erleichtern.
    

7. Kompatibilität mit Open-Source-Tools: Wählen Sie Open-Source-Tools, die mit verschiedenen Entwicklungsplattformen für maschinelles Lernen kompatibel sind, um von der Flexibilität und dem Community-Support zu profitieren.
    

8. Nahtlose Integration: Stellen Sie sicher, dass die KI-Governance-Plattform nahtlos in die bestehende Infrastruktur – einschließlich Datenbanken und Software-Ökosystemen – integriert werden kann, um Silos zu vermeiden und effiziente Workflows zu ermöglichen.
    

Durch die Einhaltung dieser Praktiken können Unternehmen einen robusten KI-Governance-Rahmen schaffen, der eine verantwortungsvolle KI-Entwicklung, -Einführung und -Verwaltung unterstützt und sicherstellt, dass KI-Systeme konform sind und mit ethischen Standards und Unternehmenszielen übereinstimmen.

Eine Reihe von Ländern hat KI-Governance-Praktiken und KI-Vorschriften eingeführt, um Vorurteile und Diskriminierung zu verhindern. Es ist wichtig, sich daran zu erinnern, dass die Regulierung immer im Wandel ist und Organisationen, die komplexe KI-Systeme verwalten, die Entwicklung der regionalen Frameworks genau im Auge behalten müssen.

Die Verordnung über künstliche Intelligenz der EU, auch bekannt als KI-Verordnung oder EU AI Act, ist ein Gesetz, das die Entwicklung oder Nutzung von künstlicher Intelligenz (KI) in der Europäischen Union (EU) regelt. Das Gesetz verfolgt im Rahmen der Regulierung einen risikobasierten Ansatz und wendet je nach Risiko unterschiedliche Regeln auf KI an.

Das KI-Gesetz der EU, das als weltweit erstes umfassendes Framework für KI gilt, verbietet einige KI-Anwendungsbereiche vollständig und legt für andere strenge Anforderungen an Governance, Risikomanagement und Transparenz fest.

Das Gesetz schafft auch Regeln für allgemeine Modelle der künstlichen Intelligenz, wie z. B. IBM® Granite und das auf Open-Source basierende Foundation Model Llama 3 von Meta. Die Strafen können je nach Art des Verstoßes zwischen 7,5 Millionen Euro oder 1,5 % des weltweiten Jahresumsatzes und 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes liegen.

SR-11-7 ist der US-amerikanische Modell-Governance-Standard für eine effektive und starke Modell-Governance im Bankwesen.¹ Die Verordnung verlangt von den Banken, dass sie unternehmensweite Initiativen für das Modellrisikomanagement ergreifen und ein Inventar der Modelle führen, die für die Verwendung implementiert wurden, für die Implementierung entwickelt werden oder kürzlich außer Betrieb genommen wurden.

Die Leiter der Institutionen müssen zudem nachweisen, dass ihre Modelle den Geschäftszweck erfüllen, für den sie gedacht sind, und dass sie aktuell sind und es nicht zu Abweichungen kam. Die Modellentwicklung und -validierung muss es jedem, der mit einem Modell nicht vertraut ist, ermöglichen, die Funktionsweise, die Grenzen und die wichtigsten Annahmen des Modells zu verstehen.

Die kanadische Richtlinie zur automatisierten Entscheidungsfindung beschreibt, wie die Regierung des Landes KI einsetzt, um Entscheidungen in mehreren Abteilungen zu leiten.² Die Richtlinie verwendet ein Bewertungssystem, um die menschlichen Eingriffe, die gegenseitige Begutachtung, die Überwachung und die Notfallplanung zu bewerten, die für ein KI-Tool erforderlich sind, das für die Bürgerinnen und Bürger entwickelt wurde.

Unternehmen, die KI-Lösungen mit einer hohen Punktzahl entwickeln, müssen zwei unabhängige Peer-Reviews durchführen, die öffentliche Bekanntmachungen in einfacher Sprache herausgeben, eine ausfallsichere menschliche Intervention entwickeln und wiederkehrende Schulungen für das System einrichten. Da die kanadische Richtlinie zur automatisierten Entscheidungsfindung eine Leitlinie für die landeseigene Entwicklung von KI ist, wirkt sich die Verordnung nicht direkt auf Unternehmen aus, wie es SR-11-7 in den USA tut.

Im April 2021 legte die Europäische Kommission ihr KI-Paket vor, das Aussagen zur Förderung eines europäischen Ansatzes für Exzellenz, Vertrauen und einen Vorschlag für einen Rechtsrahmen für KI enthält.³

In den Erklärungen heißt es, dass die meisten KI-Systeme in die Kategorie „minimales Risiko“ fallen, während KI-Systeme, die als „hohes Risiko“ eingestuft werden, strengere Anforderungen erfüllen müssen, und Systeme, die als „inakzeptables Risiko“ eingestuft werden, verboten werden. Unternehmen müssen diese Regeln genau beachten, sonst riskieren sie Bußgelder.

Im Jahr 2023 erließ China seine vorläufigen Maßnahmen für die Verwaltung von Services generativer künstlicher Intelligenz. Gemäß dem Gesetz müssen bei der Bereitstellung und Nutzung generativer KI-Services „die legitimen Rechte und Interessen anderer respektiert werden“ und es darf „die physische und psychische Gesundheit anderer nicht gefährdet werden, und es dürfen nicht die Rechte anderer auf ihr Bild, ihren Ruf, ihre Ehre, ihre Privatsphäre und ihre persönlichen Daten verletzt werden“.

Andere Länder im asiatisch-pazifischen Raum haben mehrere Grundsätze und Richtlinien für die Regulierung von KI verabschiedet. Im Jahr 2019 veröffentlichte die Regierung Singapurs ein Framework mit Richtlinien für den Umgang mit ethischen Fragen der KI im privaten Sektor und kürzlich, im Mai 2024, ein Governance Framework für generative KI. Indien, Japan, Südkorea und Thailand arbeiten ebenfalls an Richtlinien und Gesetzen für die KI-Governance.³