What is AI TRiSM?

AI TRiSM, das Vertrauens-, Risiko- und Sicherheitsmanagement für künstliche Intelligenz (aus dem Englischen: Artificial Intelligence Trust, Risk and Security Management), „stellt die Governance, Vertrauenswürdigkeit, Fairness, Zuverlässigkeit, Robustheit, Wirksamkeit und den Datenschutz von KI-Modellen sicher. Dazu gehören Lösungen und Techniken für die Interpretierbarkeit und Erklärbarkeit von Modellen, den Schutz von KI-Daten, Modelloperationen und die Resistenz gegen gegnerische Angriffe.“¹
 

 Es wurde vom Forschungs- und Beratungsunternehmen Gartner entwickelt und bietet „proaktive Lösungen zur Identifizierung und Minderung dieser Risiken, um Zuverlässigkeit, Vertrauenswürdigkeit und Sicherheit zu gewährleisten.“²

Es gibt es zahlreiche separate Frameworks, die sich speziell mit KI-Vertrauen, KI-Risiko oder KI-Sicherheit befassen. Nach Ansicht von Forschern gestaltet sich deren Integration und Synchronisierung jedoch schwierig. Dieser Mangel an Koordination kann zu einem fragmentierten KI-Management führen. Außerdem können Wissenslücken in Bezug auf die Risiken und Sicherheitsfolgen entstehen, die sich aus der KI-Implementierung und den KI-Praktiken ergeben.

Das AI-TRiSM-Framework bietet jedoch einen einheitlichen Ansatz. Es vereint die wichtigen Teile verschiedener Frameworks für ein umfassenderes Management von KI-Technologien.

Die Befürworter von AI TRiSM halten das Framework für wichtig, um Risiken und Cyberbedrohungen im Zusammenhang mit der Weiterentwicklung und dem zunehmenden Einsatz von generativer KI, wie z. B. großen Sprachmodellen (LLMs), zu mindern. Der Einsatz generativer KI kann die Angriffsfläche von Unternehmen vergrößern, raffiniertere Cyberangriffe durch Hacker ermöglichen und neue ethische Bedenken aufwerfen. Zu den Vorteilen von AI-TRiSM-Anwendungen in Bereichen wie dem Gesundheits- und Finanzwesen gehören Risikominderung, verbesserte Maßnahmen zur Modellüberwachung und Schutzmaßnahmen gegen Angriffe und unbefugten Zugriff.³

Laut Gartner gewährleistet „AI Trust, Risk and Security Management (KI TRiSM):

• Governance
• Vertrauenswürdigkeit
• Gerechtigkeit
• Reliabilität
• Datenschutz bei KI-Bereitstellungen“⁴

KI-Governance bezieht sich auf die Prozesse, Standards und Leitplanken, die dazu beitragen, dass KI-Systeme und -Tools sicher und ethisch vertretbar sind. Eine effektive KI-Governance umfasst ein Risikomanagement – mit Mechanismen, die potenzielle Verzerrungen, Datenschutzverletzungen und andere Bedenken angehen – und schafft gleichzeitig Vertrauen und unterstützt Innovationen.

Dazu gehört die kontinuierliche Überwachung und Bewertung von KI-Systemen, um sicherzustellen, dass sie den etablierten ethischen Normen und gesetzlichen Vorschriften entsprechen. Die KI-Governance umfasst die Data Governance, eine Disziplin der Datenverwaltung, die darauf abzielt, sichere, qualitativ hochwertige Daten zu verwalten, die für Datenerkennung und Business-Intelligence-Initiativen leicht zugänglich sind.

Verschiedene Organisationen und Frameworks betonen verschiedene Leitprinzipien und Ziele zur Bestimmung der Vertrauenswürdigkeit von KI-Systemen. Zu den häufig zitierten Grundsätzen vertrauenswürdiger KI gehören Rechenschaftspflicht, Erklärbarkeit und Interpretierbarkeit.

Wenn Benutzer von KI-Modellen und andere Stakeholder Schwierigkeiten haben zu verstehen, wie ein Modell funktioniert, kann dies ihr Vertrauen in das KI-System beeinträchtigen. Die richtigen Prozesse und Methoden können Nutzern helfen, die Entscheidungsfindungsprozesse und Ergebnisse von maschinellen Lernmodellen zu verstehen und ihnen zu vertrauen.

Fairness beinhaltet oft die Abschwächung oder Beseitigung von Verzerrungen in KI-Modellen und -Daten während des Lebenszyklus der KI-Entwicklung. KI-Modelle absorbieren die Verzerrungen der Gesellschaft, die in ihre Trainingsdaten eingebettet werden können. Eine voreingenommene Datenerhebung, die gesellschaftliche Ungleichheit widerspiegelt, kann zu Schaden für traditionell benachteiligte Gruppen bei der Kreditwürdigkeitsprüfung, der Einstellung von Mitarbeitern und in anderen Bereichen führen.

Um Verzerrungen in der KI zu erkennen und zu beseitigen, ist die Fähigkeit erforderlich, die KI-Aktivitäten eines Unternehmens zu steuern, zu verwalten und zu überwachen. Dies kann durch KI-Governance erreicht werden, d. h. durch die Schaffung von Richtlinien und Praktiken für die Entwicklung der verantwortungsvollen KI und die Nutzung von KI-Technologien.

Zuverlässigkeit bezieht sich im Allgemeinen auf die Fähigkeit einer Sache, für einen bestimmten Zeitraum unter bestimmten Bedingungen wie erwartet oder erforderlich zu funktionieren. In Bezug auf KI-Systeme bedeutet die Erfüllung der Leistungserwartungen, dass sie über einen Zeitraum, der sich über die gesamte Lebensdauer des Systems erstrecken kann, korrekte Ergebnisse liefern.⁵

Datenschutz ist die Praxis, sensible Daten vor Verlust und Verfälschung zu schützen. Der Datenschutz soll die Datenverfügbarkeit aufrechterhalten und sicherstellen, dass Benutzer für den Geschäftsbetrieb auf die Daten zugreifen können, selbst wenn diese durch eine Datenschutzverletzung oder einen Malware-Angriff beschädigt wurden oder verloren gegangen sind.

Datenschutz umfasst Datensicherheit (den Schutz digitaler Informationen vor unbefugtem Zugriff, Verfälschung oder Diebstahl) und Datenschutz (den Grundsatz, dass eine Person die Kontrolle über ihre personenbezogenen Daten haben sollte). Datenschutz ist der Schlüssel zur Einhaltung wichtiger gesetzlicher Regelungen, wie der europäischen Datenschutz-Grundverordnung (DSGVO).

Sowohl traditionelle Technologien als auch neuere, KI-spezifische Lösungen unterstützen AI TRiSM. Dazu gehören Tools für das Identity und Access Management (IAM) und Lösungen für die Verwaltung des Datensicherheitsniveaus.

Die KI-spezifischen Technologien für AI TRiSM unterscheiden sich je nach Anbieter. Einige konzentrieren sich auf bestimmte Funktionen, wie Sicherheit oder Compliance. Andere bieten umfassendere Produkte mit einer Vielzahl von Funktionen an, darunter:

• KI-Governance

• KI-Datenschutz und Klassifizierung

• KI-Laufzeitprüfung und -Durchsetzung (siehe weitere Informationen im folgenden Abschnitt)

Laut einer im Februar 2025 veröffentlichten ergänzenden Gartner-Empfehlung sollten TRiSM-Lösungen außerdem Folgendes umfassen:⁷

Ein Bestand der in dem Unternehmen eingesetzten KI-Komponenten, wie beispielsweise Modelle, Agenten und Anwendungen in verschiedenen Konfigurationen – von in Standardanwendungen von Drittanbietern integrierter KI über „Bring-Your-Own-AI“ bis hin zu Retrieval-Augmented-Generation-Systemen und Erstanbieter-Modellen

Daten, die zum Trainieren oder Feinabstimmen von KI-Modellen, zur Bereitstellung von Kontext für Benutzeranfragen in einem RAG-System oder zur Versorgung von KI-Agentensystemen verwendet werden.

Laufende Zusicherungen und Bewertung der Erwartungen und Metriken hinsichtlich Leistung, Zuverlässigkeit, Sicherheit oder Schutz, die als Referenzwerte dienen. Diese Überprüfungen und Bewertungen werden vor der Bereitstellung sowie nach der Bereitstellung (außerhalb des regulären Betriebs) durchgeführt.

Wird auf Modelle, Anwendungen und Interaktionen zwischen Akteuren angewendet, um die transaktionsbezogene Übereinstimmung mit den Governance-Richtlinien der Organisation zu gewährleisten. Die entsprechenden Verbindungen, Prozesse, Kommunikationsabläufe, Eingaben und Ausgaben werden auf Verstöße gegen Richtlinien und das erwartete Verhalten überprüft. Anomalien werden hervorgehoben und entweder blockiert, automatisch behoben oder zur Untersuchung, Triage, Reaktion und gegebenenfalls zur Behebung an Mitarbeiter oder Incident-Response-Systeme weitergeleitet.

Es gibt mehrere Anwendungsfälle für die Implementierung von AI TRiSM bei der Bereitstellung und Verwaltung von KI im Unternehmen. Dazu gehören:

Mediziner nutzen zunehmend KI-gestützte Tools für eine Reihe von Zwecken, von der Automatisierung medizinischer Geräte bis zur Analyse von Bildern. Ein AI-TRiSM-Programm kann dazu beitragen, die in diesen Systemen verwendeten Gesundheitsdaten vor Datenschutzverletzungen zu schützen. Maßnahmen wie z. B. Zugangskontrollen können potentielle Risiken eines unbefugten Zugriffs vermindern.

Wenn Datensätze, die demografische Verzerrungen enthalten, zum Training von KI-Algorithmen verwendet werden, können die Ergebnisse voreingenommen sein. Dies ist ein bekanntes Problem in der Finanzbranche, das sich auf Kreditgenehmigungen, Zinsbelastungen und mehr auswirkt. In Dänemark hat der dänische Unternehmerverband AI-TRiSM-Praktiken angewandt, indem er Fairness-Tests durchführte, um Vorhersagen für KI-Modelle zu validieren, die Finanztransaktionen überwachen und so das Vertrauen der Kunden stärken.⁸

AI-TRiSM-Maßnahmen sorgen nicht nur für mehr Fairness bei Finanztransaktionen, sondern können auch dazu beitragen, die Betrugserkennungssysteme von Finanzinstituten vor feindlichen Angriffen zu schützen.⁹ Diese KI-Lösungen unterstützen die Banken auch bei der Einhaltung gesetzlicher Vorschriften in Bezug auf den Verbraucherschutz und den Schutz sensibler Informationen.

Lesen Sie den vollständigen Bericht hier.