What is AI TRiSM?

AI TRiSM, das Vertrauens-, Risiko- und Sicherheitsmanagement für künstliche Intelligenz (aus dem Englischen: Artificial Intelligence Trust, Risk and Security Management), „stellt die Governance, Vertrauenswürdigkeit, Fairness, Zuverlässigkeit, Robustheit, Wirksamkeit und den Datenschutz von KI-Modellen sicher. Dazu gehören Lösungen und Techniken für die Interpretierbarkeit und Erklärbarkeit von Modellen, den Schutz von KI-Daten, Modelloperationen und die Resistenz gegen gegnerische Angriffe.“¹
 

 Es wurde vom Forschungs- und Beratungsunternehmen Gartner® entwickelt und bietet „proaktive Lösungen zur Identifizierung und Minderung dieser Risiken, um Zuverlässigkeit, Vertrauenswürdigkeit und Sicherheit zu gewährleisten.“²

Es gibt es zahlreiche separate Frameworks, die sich speziell mit KI-Vertrauen, KI-Risiko oder KI-Sicherheit befassen. Nach Ansicht von Forschern gestaltet sich deren Integration und Synchronisierung jedoch schwierig. Dieser Mangel an Koordination kann zu einem fragmentierten KI-Management führen. Außerdem können Wissenslücken in Bezug auf die Risiken und Sicherheitsfolgen entstehen, die sich aus der KI-Implementierung und den KI-Praktiken ergeben.

Das AI-TRiSM-Framework bietet jedoch einen einheitlichen Ansatz. Es vereint die wichtigen Teile verschiedener Frameworks für ein umfassenderes Management von KI-Technologien.

Die Befürworter von AI TRiSM halten das Framework für wichtig, um Risiken und Cyberbedrohungen im Zusammenhang mit der Weiterentwicklung und dem zunehmenden Einsatz von generativer KI, wie z. B. großen Sprachmodellen (LLMs), zu mindern. Der Einsatz generativer KI kann die Angriffsfläche von Unternehmen vergrößern, raffiniertere Cyberangriffe durch Hacker ermöglichen und neue ethische Bedenken aufwerfen. Zu den Vorteilen von AI-TRiSM-Anwendungen in Bereichen wie dem Gesundheits- und Finanzwesen gehören Risikominderung, verbesserte Maßnahmen zur Modellüberwachung und Schutzmaßnahmen gegen Angriffe und unbefugten Zugriff.³

Laut Gartner gewährleistet „AI Trust, Risk and Security Management (KI TRiSM):

• Governance
• Vertrauenswürdigkeit
• Gerechtigkeit
• Reliabilität
• Datenschutz bei KI-Bereitstellungen“⁴

KI-Governance bezieht sich auf die Prozesse, Standards und Leitplanken, die dazu beitragen, dass KI-Systeme und -Tools sicher und ethisch vertretbar sind. Eine effektive KI-Governance umfasst ein Risikomanagement – mit Mechanismen, die potenzielle Verzerrungen, Datenschutzverletzungen und andere Bedenken angehen – und schafft gleichzeitig Vertrauen und unterstützt Innovationen.

Dazu gehört die kontinuierliche Überwachung und Bewertung von KI-Systemen, um sicherzustellen, dass sie den etablierten ethischen Normen und gesetzlichen Vorschriften entsprechen. Die KI-Governance umfasst die Data Governance, eine Disziplin der Datenverwaltung, die darauf abzielt, sichere, qualitativ hochwertige Daten zu verwalten, die für Datenerkennung und Business-Intelligence-Initiativen leicht zugänglich sind.

Verschiedene Organisationen und Frameworks betonen verschiedene Leitprinzipien und Ziele zur Bestimmung der Vertrauenswürdigkeit von KI-Systemen. Zu den häufig zitierten Grundsätzen vertrauenswürdiger KI gehören Rechenschaftspflicht, Erklärbarkeit und Interpretierbarkeit.

Wenn Benutzer von KI-Modellen und andere Stakeholder Schwierigkeiten haben zu verstehen, wie ein Modell funktioniert, kann dies ihr Vertrauen in das KI-System beeinträchtigen. Die richtigen Prozesse und Methoden können Nutzern helfen, die Entscheidungsfindungsprozesse und Ergebnisse von maschinellen Lernmodellen zu verstehen und ihnen zu vertrauen.

Fairness beinhaltet oft die Abschwächung oder Beseitigung von Verzerrungen in KI-Modellen und -Daten während des Lebenszyklus der KI-Entwicklung. KI-Modelle absorbieren die Verzerrungen der Gesellschaft, die in ihre Trainingsdaten eingebettet werden können. Eine voreingenommene Datenerhebung, die gesellschaftliche Ungleichheit widerspiegelt, kann zu Schaden für traditionell benachteiligte Gruppen bei der Kreditwürdigkeitsprüfung, der Einstellung von Mitarbeitern und in anderen Bereichen führen.

Um Verzerrungen in der KI zu erkennen und zu beseitigen, ist die Fähigkeit erforderlich, die KI-Aktivitäten eines Unternehmens zu steuern, zu verwalten und zu überwachen. Dies kann durch KI-Governance erreicht werden, d. h. durch die Schaffung von Richtlinien und Praktiken für die Entwicklung der verantwortungsvollen KI und die Nutzung von KI-Technologien.

Zuverlässigkeit bezieht sich im Allgemeinen auf die Fähigkeit einer Sache, für einen bestimmten Zeitraum unter bestimmten Bedingungen wie erwartet oder erforderlich zu funktionieren. In Bezug auf KI-Systeme bedeutet die Erfüllung der Leistungserwartungen, dass sie über einen Zeitraum, der sich über die gesamte Lebensdauer des Systems erstrecken kann, korrekte Ergebnisse liefern.⁵

Datenschutz ist die Praxis, sensible Daten vor Verlust und Verfälschung zu schützen. Der Datenschutz soll die Datenverfügbarkeit aufrechterhalten und sicherstellen, dass Benutzer für den Geschäftsbetrieb auf die Daten zugreifen können, selbst wenn diese durch eine Datenschutzverletzung oder einen Malware-Angriff beschädigt wurden oder verloren gegangen sind.

Datenschutz umfasst Datensicherheit (den Schutz digitaler Informationen vor unbefugtem Zugriff, Verfälschung oder Diebstahl) und Datenschutz (den Grundsatz, dass eine Person die Kontrolle über ihre personenbezogenen Daten haben sollte). Datenschutz ist der Schlüssel zur Einhaltung wichtiger gesetzlicher Regelungen, wie der europäischen Datenschutz-Grundverordnung (DSGVO).

Sowohl traditionelle Technologien als auch neuere, KI-spezifische Lösungen unterstützen AI TRiSM. Zu ersteren gehören Tools für das Identity und Access Management (IAM) und Lösungen für die Verwaltung des Datensicherheitsniveaus.

KI-spezifische Technologien für AI TRiSM variieren je nach Anbieter. Einige konzentrieren sich auf bestimmte Funktionen, wie Sicherheit oder Compliance. Andere bieten umfassendere Produkte mit einer Reihe von Funktionen für KI-Governance und KI-Laufzeitinspektion und -durchsetzung:

KI-Governance-Software kann Unternehmen in die Lage versetzen, Modellinformationen, einschließlich KI-Entwicklungsaktivitäten, automatisch zu protokollieren und zu überwachen, um Audits zu unterstützen, Modellrisikobewertungen durchzuführen, die Modellleistung zu bewerten und die Erzeugung schädlicher Inhalte zu verhindern sowie die Einhaltung gesetzlicher Vorschriften zu verwalten. Während einige Governance-Tools auf KI-Modelle beschränkt sind, die intern für ein Unternehmen erstellt wurden, können andere auf Modelle angewendet werden, die auf Plattformen von Drittanbietern erstellt wurden, wie Amazon Bedrock und Microsoft Azure.

Laut einem Webinar von Gartner umfassen die KI-Laufzeitprüfungs- und Durchsetzungsfunktionen KI-Modelle, KI-Anwendungen und KI-Agenten. KI-Modelle, KI-Anwendungen und KI-Agenten sorgen für die „Einhaltung interner und externer Kontrollen“ und KI-Anwendungen bieten „kontextbasierte Zugriffskontrolle & dynamische kontextbezogene Datenklassifizierung.“⁶

Es gibt mehrere Anwendungsfälle für die Implementierung von AI TRiSM bei der Bereitstellung und Verwaltung von KI im Unternehmen. Dazu gehören:

Mediziner nutzen zunehmend KI-gestützte Tools für eine Reihe von Zwecken, von der Automatisierung medizinischer Geräte bis zur Analyse von Bildern. Ein AI-TRiSM-Programm kann dazu beitragen, die in diesen Systemen verwendeten Gesundheitsdaten vor Datenschutzverletzungen zu schützen. Maßnahmen wie z. B. Zugangskontrollen können potentielle Risiken eines unbefugten Zugriffs vermindern.

Wenn Datensätze, die demografische Verzerrungen enthalten, zum Training von KI-Algorithmen verwendet werden, können die Ergebnisse voreingenommen sein. Dies ist ein bekanntes Problem in der Finanzbranche, das sich auf Kreditgenehmigungen, Zinsbelastungen und mehr auswirkt. In Dänemark hat der dänische Unternehmerverband AI-TRiSM-Praktiken angewandt, indem er Fairness-Tests durchführte, um Vorhersagen für KI-Modelle zu validieren, die Finanztransaktionen überwachen und so das Vertrauen der Kunden stärken.⁷

AI-TRiSM-Maßnahmen sorgen nicht nur für mehr Fairness bei Finanztransaktionen, sondern können auch dazu beitragen, die Betrugserkennungssysteme von Finanzinstituten vor feindlichen Angriffen zu schützen.⁸ Diese KI-Lösungen unterstützen die Banken auch bei der Einhaltung gesetzlicher Vorschriften in Bezug auf den Verbraucherschutz und den Schutz sensibler Informationen.