Was ist KI-Management?

KI-Systeme verhalten sich anders als herkömmliche Software. Ein herkömmliches Softwareprogramm folgt expliziten Anweisungen, um eine deterministische Ausgabe zu erzeugen: Die Bereitstellung derselben Eingabe unter denselben Umständen an ein traditionelles Programm liefert immer dieselbe Ausgabe. Ein KI-gesteuertes System erzeugt probabilistische Ergebnisse, die von Algorithmen für maschinelles Lernen gesteuert werden: Seine Ausgabe kann variieren, auch wenn die Eingabe und die Umstände gleich bleiben.

Diese dynamische Logik ist einzigartig mächtig, aber die Unvorhersehbarkeit, die sie mit sich bringt, birgt potenzielle Risiken. So sind Unternehmen beispielsweise mit Reputationsrisiken konfrontiert, die sich aus voreingenommenen oder toxischen Ergebnissen ergeben. Unkontrollierte oder unbemerkte KI-Halluzinationen bergen ein breites Spektrum an Risiken, von bloßer Verärgerung oder Verwirrung der Nutzer bis hin zu Ungenauigkeiten in unternehmenskritischen Szenarien mit schwerwiegenden Konsequenzen. KI-gestützte Angriffe oder kompromittierte Datensätze können Cybersicherheitsrisiken mit sich bringen. Die Nichteinhaltung von KI-Vorschriften in einem sich schnell verändernden Umfeld birgt finanzielle und rechtliche Risiken.

Ein AIMS ist darauf ausgelegt, diese Risiken vorherzusehen und zu berücksichtigen. Konkreter ausgedrückt kann ein AIMS als Richtlinien und Protokolle zur Einbettung einer soliden KI-Governance in alle Workflows verstanden werden, die für die Nutzung KI-basierter Tools und Produkte durch ein Unternehmen relevant sind. Dazu gehören Maßnahmen wie standardisierte, proaktive Risikobewertungen, Berichtsmechanismen, routinemäßige Audits und Echtzeitüberwachung von Modellergebnissen und -leistungen.

Richtig ausgeführt, mindern KI-Managementsysteme nicht nur die Risiken, sondern optimieren auch die betriebliche Effizienz und schaffen Vertrauen zwischen Entwicklern, Endnutzern und anderen Stakeholdern, deren Zustimmung für eine effektive KI-Einführung unerlässlich ist.

Ein umfassendes KI-Managementsystem sollte die folgenden Themen berücksichtigen:

Wer könnte von Fragen der Fairness und Voreingenommenheit betroffen sein, und wie würden diese Auswirkungen aussehen? Könnte das KI-Projekt versehentlich zu Diskriminierung führen? Abgesehen von den regulatorischen Anforderungen, welche ethischen Verantwortlichkeiten tragen Sie in Bezug auf den Datenschutz und die korrekte Darstellung der Fähigkeiten und Grenzen des Systems? Ernsthafte Transparenz in solchen ethischen Fragen stärkt das Vertrauen der Stakeholder und verbessert die spätere Entscheidungsfindung.

Welche spezifischen Risiken sind mit der Entwicklung oder dem Einsatz Ihrer KI-Anwendung verbunden? Beispielsweise muss der Einsatz von KI-Tools im Gesundheitswesen oder im Rechtsbereich regulatorische Konsequenzen berücksichtigen; KI-Fehlfunktionen im Kundenservice bergen das Risiko von Reputationsfolgen. Da die Abwehr dieser Bedrohungen einer der Hauptzwecke Ihres AIMS ist, sollte die Identifizierung spezifischer KI-Risiken, die Ihr Anwendungsfall mit sich bringt, einer der frühesten und wichtigsten Schritte im Prozess sein.

Eine ordnungsgemäße Data Governance ist entscheidend, um die fortlaufende Qualität und Sicherheit der Daten aufrechtzuerhalten, die zum Trainieren von KI-Modellen (und von ihnen generierten Daten) verwendet werden. Dies ist besonders wichtig in Bereichen, die die Einhaltung regulatorischer Frameworks erfordern. Wenn zum Beispiel ein Benutzer sein von der DSGVO abgeleitetes „Recht auf Vergessenwerden“ geltend macht, muss Ihr System es ermöglichen, die Daten dieser Person leicht aufzufinden und zu löschen. Systeme, die im Gesundheitswesen eingesetzt werden, müssen vertrauliche Informationen gemäß den HIPAA-Anforderungen schützen.

Protokolle und Richtlinien, die diese Überlegungen berücksichtigen, müssen nicht nur in die Entwicklung und die Bereitstellung von KI-Systemen eingebettet werden, sondern auch in deren Wartung. Ein ordnungsgemäßes KI-Lebenszyklusmanagement ist notwendig, um Risiken zu erkennen und zu verringern, die durch Modelldrift oder andere Probleme entstehen, die im Laufe der Zeit auftreten können.

Eine Strategie zur aktiven Überprüfung des Zustands Ihres KI-Systems im Laufe der Zeit ist eines der wichtigsten Mittel, um die Ziele, die Ihr AIMS erreichen soll, zu erhalten. Die spezifische Struktur und Kadenz von Routine-Audits gehören zu den wichtigsten operativen Überlegungen des KI-Managements.

Wessen Aufgabe ist es, all dies umzusetzen und zu überwachen? Eine klare Abgrenzung der einzelnen Rollen und Verantwortlichkeiten ist notwendig, um eine KI-Managementstrategie von etwas, das auf dem Papier gut klingt, zu etwas zu entwickeln, das aktiv die KI-Innovation in Ihrem Unternehmen schützt.

Die Etablierung dieser Prinzipien und Prozesse zu Beginn des KI-Entwicklungsprozesses hilft, die spätere Entscheidungsfindung zu optimieren und zu rationalisieren.

Es gibt viele Wege, ein effektives KI-Management umzusetzen, und manche Unternehmen entscheiden sich möglicherweise dafür, für ihre KI-Management-Initiativen ganz individuelle Ansätze zu verfolgen. Viele werden jedoch gut beraten sein, sich an etablierte Rahmenwerke wie ISO 42001, das NIST AI Risk Management Framework oder die im EU AI Act vorgeschriebenen Grundsätze zu halten (oder sich zumindest von ihnen inspirieren zu lassen).

ISO 42001 – kurz für ISO/IEC 42001:2023– ist der weltweit erste internationale Standard für die Einrichtung, Implementierung, Aufrechterhaltung und fortlaufender Verbesserung von AIMS. Die 2023 entwickelte Norm ISO 42001 hat das erklärte Ziel, Unternehmen „die umfassende Anleitung zu bieten, die sie benötigen, um KI verantwortungsvoll und effektiv einzusetzen, auch angesichts der rasanten Weiterentwicklung dieser Technologie“. Unternehmen können eine formelle Zertifizierung nach ISO 42001 beantragen, was eine Prüfung der Systeme und Prozesse durch Dritte beinhaltet, um zu überprüfen, ob sie die von ISO 42001 vorgeschriebenen KI-Praktiken einhalten.

Genauer gesagt schreibt ISO 42001 einen Managementsystemstandard (MSS) für eine solide organisatorische Steuerung von KI unter Verwendung der Plan-Do-Check-Act-Methodik vor.

In der Planphase definiert ein AIMS die Einsatzregeln für Ihr KI-System.

• Kontext und Umfang: Definieren Sie genau, was Ihre KI-Tools tun und nicht tun. Sie könnten beispielsweise festlegen, dass ein Kundensupport-Chatbot Supportanfragen beantworten oder Probleme an einen menschlichen Mitarbeiter weiterleiten kann, aber keine Rückerstattungen direkt genehmigen kann. 

• Risikobewertung: Kartieren Sie die spezifischen Bedrohungen, die aus diesem Kontext und Umfang entstehen. Zum Beispiel könnte der Kundensupport-Bot eine Unternehmensrichtlinie falsch verstehen und dadurch Verwirrung stiften oder falsche Erwartungen wecken. Der KI-Risikoatlas von IBM kann Ihnen beim Einstieg helfen.

• Zielsetzung: Konkrete Kennzahlen definieren, die als „Erfolg“ gelten. Das hängt in der Regel vom Problem ab, das Sie durch die Implementierung von KI-Tools lösen möchten. Wenn das Ziel Ihres KI-Projekts beispielsweise darin besteht, Mitarbeiterkapazität für komplexere Abfragen freizugeben, könnten Sie Erfolg als einen bestimmten Prozentsatz von Fällen definieren, die gelöst werden, ohne dass ein weiteres menschliches Eingreifen erforderlich ist. 

In der Do-Phase werden die in der vorherigen Phase definierten Prinzipien und Ziele in einem tatsächlichen KI-Entwicklungs-Workflow operationalisiert.

• Potenzielle Bedrohungen sollten in den Data-Governance-Richtlinien berücksichtigt werden.

• Leitplanken und Redundanzen sollten eingerichtet werden, um bekannte Risiken zu verhindern.

• Die Automatisierung der Bewertung der Systemleistung, soweit möglich, minimiert den Arbeitsaufwand, der zur objektiven Messung des Erfolgs und zur anschließenden Verbesserung des Systems erforderlich ist.

Das KI-System sollte aktiv überwacht werden. Jede vom System unternommene Aktion sollte protokolliert werden, um die Nachvollziehbarkeit des Systems zu erleichtern. Wenn ein bestimmtes Ergebnis des KI-Systems in irgendeiner Weise beunruhigend oder unbefriedigend ist, kann es nur verbessert werden, wenn Sie genau feststellen können, wo im Prozess Fehler aufgetreten sind.

Regelmäßige Audits sollten sicherstellen, dass die Teams die AIMS-Protokolle einhalten – und zwar nicht nur formal, sondern auch in sinnvoller Weise.

Wenn Vorfälle auftreten, ist ein System vorhanden, um die Arbeit einzustellen und notwendige Verbesserungen vorzunehmen. Wenn Audits unzureichende Schutzmaßnahmen, unvorhergesehene Probleme oder neue Sicherheitslücken aufdecken, werden neue Maßnahmen ergriffen, um diese zu beheben.

Das National Institute of Standards and Technology (NIST) ist eine dem US-Handelsministerium unterstellte Behörde. Das AI Risk Management Framework (AI RMF) des NIST ist ein anpassbares Playbook für den verantwortungsvollen Einsatz von KI, ergänzt durch umfangreiche Literatur mit unterstützenden Materialien, darunter:

• Das AI RMF Playbook, das Vorschläge für Maßnahmen zur Erzielung von Ergebnissen enthält, die im eigentlichen AI RMF festgelegt sind.

• Die AI RMF Roadmap, die darauf abzielt, „Wissenslücken, Praxislücken oder Beratungslücken zu schließen“, mit dem Ziel, Wege zu finden, den AI RMF selbst und die Fähigkeit von NIST, Organisationen des öffentlichen und privaten Sektors bei seiner Umsetzung zu unterstützen, zu stärken.

• AI RMF Crosswalks , die Organisationen dabei helfen sollen, bestehende Praktiken Konzepten und Begriffen in einer Vielzahl von KI-Management-Frameworks zuzuordnen, einschließlich (aber nicht beschränkt auf) ISO 42001.

• Anwendungsfälle in Regierung, Industrie und Wissenschaft.

Das AI RMF Playbook verwendet eine Govern-Map-Measure-Manage-Methodik.

Es wird ein „KI-Risikoausschuss“ eingerichtet. Dieser Ausschuss definiert die „Risikotoleranz“ der Organisation und erstellt ein Dokument zur KI-Risikorichtlinie, das von Führungskräften der obersten Ebene unterzeichnet werden muss und in dem explizit festgelegt wird, wer für etwaige KI-Fehler verantwortlich ist.

In einer Entdeckungsphase werden spezifische Risiken identifiziert, die sowohl mit den KI-Tools als auch mit der Art und Weise, wie die Menschen sie nutzen werden, zusammenhängen. Dieser Prozess liefert schließlich das Risikoprofil und listet jede identifizierte Bedrohung auf.

Jede erfasste Bedrohung wird quantifiziert, und zwar hinsichtlich ihrer potenziellen Auswirkungen auf das Unternehmen oder seine Kunden. Dies beinhaltet in der Regel Red Teaming und Stress Teaming und führt zu einem TEVV-Bericht (Test, Evaluation, Verification and Validation), der als „Scorecard“ für die Genauigkeit und Vertrauenswürdigkeit des Systems dient.

Probleme und potenzielle Schwachstellen, die während der Messphase festgestellt werden, werden angegangen und berücksichtigt.

Während ISO 42001 und das NIST AI RMF freiwillige Rahmenwerke sind, sind die Bestimmungen des EU AI Acts verbindliche Vorschriften für alle Unternehmen, die an der Entwicklung und Einführung von KI-Systemen auf dem EU-Markt beteiligt sind.

Zu den Bestimmungen des EU AI Act gehören:

• Obligatorische technische Dokumentation für Modelltraining, Tests und Evaluierung.

• Die Bereitstellung von Informationen über die Funktionen und Grenzen der relevanten KI-Modelle für alle nachgelagerten Anbieter, die sie nutzen werden.

• Übereinstimmung mit der EU-Urheberrechtsrichtlinie

• Öffentliche Zusammenfassungen der Trainingsdaten

Wenn ein gegebenes KI-Modell im Training 1.025 Gleitkommaoperationen (FLOPs) übersteigt, wird es als systemische Risiken betrachtet und unterliegt zusätzlichen Schutzmaßnahmen.

Die EU stellt Tools und Ressourcen bereit, um Unternehmen bei der Einhaltung des KI-Gesetzes zu unterstützen, darunter eine interaktive Compliance-Überprüfung, die angibt, welche Bestimmungen für Ihr Unternehmen gelten, einen Leitfaden für kleine und mittlere Unternehmen (KMU) sowie eine Reihe von themenspezifischen Artikeln.