Was ist KI-Sicherheit?

Der Aufbau sicherer Systeme für künstliche Intelligenz (KI) ist für Unternehmen und die Gesellschaft aufgrund der zunehmenden Verbreitung und Auswirkungen von KI entscheidend. KI-Sicherheit trägt dazu bei, dass KI-Systeme so verantwortungsvoll wie möglich eingesetzt werden und dass die Zukunft der KI unter Berücksichtigung menschlicher Werte entwickelt wird.

Zur Entwicklung und Aufrechterhaltung einer sicheren KI müssen potenzielle KI-Risiken (wie Verzerrung, Datensicherheit und Anfälligkeit für externe Bedrohungen) identifiziert und Prozesse zur Vermeidung und Minderung dieser Risiken geschaffen werden. So können beispielsweise KI-Sicherheitsmaßnahmen wie die Abschwächung von Verzerrungen und ethische KI-Frameworks Unternehmen dabei helfen, KI-Tools verantwortungsvoll in ihren Unternehmen zu entwickeln und einzusetzen.

Je ausgefeilter die KI-Systeme werden, desto stärker werden sie in das Leben der Menschen und in entscheidende Bereiche der realen Welt wie Infrastruktur, Finanzen und nationale Sicherheit integriert. Diese Technologien können sowohl positive als auch negative Auswirkungen auf die Unternehmen, die sie einsetzen, und auf die Gesellschaft als Ganzes haben.

Die Besorgnis über die negativen Auswirkungen der KI nimmt zu. Eine Umfrage aus dem Jahr 2023 ergab, dass 52 % der Amerikaner über den verstärkten Einsatz von KI mehr besorgt als begeistert waren.¹ Eine andere Umfrage ergab, dass 83 % befürchten, dass KI versehentlich zu einem katastrophalen Ereignis führen könnte.²

Andere Untersuchungen zeigen, dass die Bedenken nicht unbegründet sind: Ein Bericht aus dem Jahr 2024 ergab, dass 44 % der Befragten angaben, dass ihr Unternehmen negative Folgen (etwa in Bezug auf Ungenauigkeiten oder Cybersicherheit) durch den Einsatz von KI erlitten hat.³ Sicherheitsbemühungen werden oft zweitrangig behandelt: Laut dem Impact Report 2023 des Center for AI Safety konzentrieren sich nur 3 % der technischen Forschung darauf, KI sicherer zumachen.⁴

Für die Gesellschaft als Ganzes sind KI-Sicherheitsmaßnahmen notwendig, um die öffentliche Sicherheit, die Privatsphäre und die Grundrechte zu schützen. KI-Systeme, die voreingenommen oder undurchsichtig sind oder nicht im Einklang mit menschlichen Werten stehen, können gesellschaftliche Ungleichheiten aufrechterhalten oder verstärken.

Experten befürchten außerdem, dass einige fortgeschrittene KI-Systeme genauso intelligent oder sogar intelligenter als Menschen werden könnten. Künstliche allgemeine Intelligenz (AGI) bezieht sich auf potenzielle KI-Systeme, die Denkaufgaben auf die gleiche Weise wie Menschen verstehen, lernen und ausführen. Künstliche Superintelligenz (ASI) bezieht sich auf hypothetische KI-Systeme mit einem intellektuellen Umfang und kognitiven Funktionen, die weiter fortgeschritten sind als die eines Menschen. Die Entwicklung von AGI und ASI wirft die Sorge auf, dass solche Systeme gefährlich sein könnten, wenn sie nicht mit den menschlichen Werten übereinstimmen oder einer menschlichen Aufsicht unterliegen. Kritiker sagen, dass diese Systeme bei zu viel Autonomie eine existenzielle Bedrohung für die Menschheit darstellen würden.

Aus geschäftlicher Sicht trägt sichere KI dazu bei, das Vertrauen der Verbraucher zu stärken, sich vor rechtlicher Haftung schützen und schlechte Entscheidungen zu vermeiden. Unternehmen, die Maßnahmen ergreifen, um sicherzustellen, dass der Einsatz von KI mit ihren Werten im Einklang steht, können negative Folgen für sich und ihre Kunden vermeiden.

KI-Risiken können in verschiedene Arten von Risiken unterteilt werden, die jeweils unterschiedliche Maßnahmen hinsichtlich KI-Sicherheit und Risikomanagement erfordern.

• Verzerrung und Fairness
• Datenschutz
• Kontrollverlust
• Existenzielle Risiken
• Böswilliger Missbrauch
• Cybersicherheit

KI-Systeme können gesellschaftliche Verzerrungen aufrechterhalten oder verstärken. Algorithmische Verzerrung ergibt sich, wenn die KI auf unvollständigen oder irreführenden Daten und Eingaben trainiert wird. Diese Verzerrung kann zu unfairen Entscheidungen führen. Zum Beispiel könnte ein KI-Tool, das mit diskriminierenden Daten trainiert wurde, weniger wahrscheinlich Hypotheken für Antragsteller mit einem bestimmten Hintergrund genehmigen. Es könnte auch eher empfehlen, einen männlichen Bewerber als eine weibliche Bewerberin einzustellen.

KI-Systeme haben das Potenzial, in unangemessener Weise auf personenbezogene Daten zuzugreifen, sie offenzulegen oder zu missbrauchen, was zu Datenschutzbedenken führt. Wenn vertrauliche Daten verletzt werden, können die Entwickler oder Benutzer eines KI-Systems zur Verantwortung gezogen werden.

Die Ergebnisse von fortgeschrittenen KI-Systemen, insbesondere von Systemen, die als autonome Agenten arbeiten, sind manchmal unvorhersehbar. Ihre Handlungen haben mitunter sogar Schäden zur Folge. Wenn sie in der Lage sind, unabhängig zu entscheiden, sind sie möglicherweise nicht zu stoppen. Ohne menschliche Kontrolle ist es vielleicht unmöglich, in ein KI-System einzugreifen oder es abzuschalten, wenn es sich unangemessen verhält.

AGI, ASI und andere hochentwickelte KI-Systeme könnten möglicherweise auf eine Weise handeln, die die Menschheit gefährdet oder globale Systeme stört, wenn sie falsch verwaltet werden. Die Gefahren eines KI-Wettbewerbs, der einem Wettrüsten gleicht, gefährden die geopolitische Stabilität.

KI könnte auch für groß angelegte gesellschaftliche Manipulationen oder Cyberkriege missbraucht werden. Im Jahr 2023 veröffentlichte die gemeinnützige Center for KI Safety (CAIS) eine Erklärung mit einem einzigen Satz, die von verschiedenen KI-Forschern und -Führungskräften unterstützt wurde. Diese lautete: „Die Minderung des Risikos des Aussterbens durch KI sollte neben anderen gesellschaftlichen Risiken wie Pandemien und Atomkriegen eine globale Priorität sein.“⁵

Während unbeabsichtigte Folgen und Fehler eine Quelle von KI-Risiken sind, können böswillige Akteure die Technologie auch absichtlich einsetzen, um Schaden anzurichten. KI kann als Waffe für Cyberangriffe, Desinformationskampagnen, illegale Überwachung oder sogar physische Schäden eingesetzt werden. Diese Bedrohungen existieren auf individueller und gesellschaftlicher Ebene.

KI-Systeme können anfällig für Sicherheitsprobleme sein. Sie sind mit der Möglichkeit von feindlichen Angriffen konfrontiert, bei denen böswillige Akteure Eingaben manipulieren, um Modelle zu täuschen, was zu falschen Ausgaben führt.

KI-Jailbreaks treten beispielsweise auf, wenn Hacker Prompt Injections und andere Techniken verwenden, um Schwachstellen in KI-Systemen auszunutzen und eingeschränkte Aktionen auszuführen. Von einer Datenvergiftung spricht man, wenn kompromittierte Trainingsdaten das Verhalten der KI verzerren. Unbefugter Zugriff und andere Schwachstellen oder Sicherheitsrisiken können zum Missbrauch von KI-Systemen und deren Daten führen.

KI-Sicherheit und KI-Schutz sind verwandte, aber unterschiedliche Aspekte der künstlichen Intelligenz. KI-Sicherheit beschäftigt sich mit inhärenten Problemen und unbeabsichtigten Folgen, während sich KI-Schutz auf den Schutz von KI-Systemen vor externen Bedrohungen konzentriert.

KI-Sicherheit versucht, KI mit menschlichen Werten zu verbinden und die Wahrscheinlichkeit zu verringern, dass KI-Systeme negative Auswirkungen auf Unternehmen und die Gesellschaft haben. Der Schwerpunkt liegt auf der KI-Ausrichtung, d. h. dem Prozess der Kodierung menschlicher Werte und Ziele in KI-Modelle.

Beim KI-Schutz geht es um den Schutz von KI-Systemen vor externen Bedrohungen wie Cyberangriffen und Datenverletzungen. Es geht darum, die Vertraulichkeit und Integrität von KI-Modellen zu schützen. KI-Schutz kann sich auch auf den Einsatz von künstlicher Intelligenz zur Verbesserung des Sicherheitsstatus eines Unternehmens beziehen. Nach dieser Definition umfasst er den Einsatz von KI und maschinellem Lernen (ML), um potenzielle Bedrohungen zu antizipieren und anzugehen.

KI-Führungskräfte und Unternehmen setzen verschiedene Praktiken ein, um die verantwortungsvolle Entwicklung und Nutzung von KI-Technologien zu unterstützen. Sicherheitsmaßnahmen für KI umfassen:

• Erkennung und Beseitigung von algorithmischer Verzerrung
• Testen und Validierung der Robustheit
• Explainable AI (XAI)
• Ethische KI-Frameworks
• Menschliche Überwachung
• Sicherheitsprotokolle
• Branchenweite Zusammenarbeit

KI-Sicherheitsforschung ist eine gemeinsame Aufgabe vieler Stakeholder.  

KI-Sicherheit beginnt bei den Entwicklern und Ingenieuren, die für das Entwerfen, Erstellen und Testen von KI-Systemen verantwortlich sind. Sie konzentrieren sich auf grundlegende Fragen, z. B. wie die Ziele der KI mit menschlichen Werten in Einklang gebracht und wie Modelle erstellt werden können, die transparent und erklärbar sind. Sie sind auch für das Testen und Validieren von Modellen und Tools verantwortlich, um sicherzustellen, dass sie wie vorgesehen funktionieren.

Unternehmen, die in der KI-Entwicklung führend sind, etwa IBM, OpenAI, Google DeepMind, Microsoft und Anthropic, stehen an der Spitze der Bemühungen um KI-Sicherheit. Sie investieren in dedizierte KI-Sicherheitsteams, legen ethische Richtlinien fest und halten sich an die Prinzipien der verantwortungsvollen KI, um schädliche Ergebnisse zu verhindern.

Einige Unternehmen haben auch Frameworks und Protokolle entwickelt, um Risiken sowohl in der Forschungs- als auch in der Bereitstellungsphase zu bewältigen, z. B. Tools zur Verzerrungserkennung und Systeme, die eine menschliche Aufsicht ermöglichen. Viele arbeiten auch in Branchenkoalitionen zusammen und teilen ihr Wissen, um branchenweite Standards für die KI-Sicherheit festzulegen.

Umfassendere Bemühungen zur KI-Governance sind ein wichtiger Bestandteil der globalen KI-Sicherheitsmaßnahmen. Internationale Organisationen, darunter die Vereinten Nationen, das Weltwirtschaftsforum und die Organisation für wirtschaftliche Zusammenarbeit und Entwicklung (OECD), leiten Initiativen, die sich auf die Ethik und Sicherheit von KI konzentrieren. Einzelne Regierungen auf der ganzen Welt schaffen ebenfalls neue Regeln und Vorschriften zur KI-Sicherheit:

In den Vereinigten Staaten arbeitet das Artificial Intelligence Safety Institute (AISI), ein Teil des National Institute of Standards and Technology (NIST), an der Lösung von Sicherheitsproblemen. Der Schwerpunkt der Bemühungen liegt etwa auf der Förderung der Forschung und der Entwicklung von Risikominderungen.

Die KI-Verordnung der Europäischen Union enthält verschiedene Sicherheitsstandards und -richtlinien sowie Strafen bei Nichteinhaltung. Das Vereinigte Königreich hat das AI Safety Institute gegründet, um eine sichere KI-Entwicklung zu fördern. Verschiedene andere Länder, darunter Singapur, Japan und Kanada, richten ebenfalls KI-Sicherheitsgremien ein, um Forschung zu betreiben und Entwicklung und Regulierung mit Schwerpunkt auf der öffentlichen Sicherheit zu unterstützen.

Entscheidungsträger und Forscher in Nichtregierungsorganisationen (NGOs), Thinktanks und anderen Gruppen arbeiten an der Lösung von Sicherheitsproblemen. Sie befassen sich mit Fragen der nationalen Sicherheit, der Menschenrechte und der Gesetzgebung und empfehlen Möglichkeiten, wie die KI-Entwicklung mit gesellschaftlichen Werten und Interessen in Einklang gebracht werden kann. Sie schärfen das Bewusstsein für Risiken, legen ethische Richtlinien fest, fördern Transparenz und fördern verantwortungsvolle Forschung.

Zu den wichtigsten gemeinnützigen Organisationen und Interessengruppen für KI-Sicherheit gehören:

• Center for AI Safety: CAIS ist eine in San Francisco ansässige gemeinnützige Organisation, die Forschung betreibt und Lernmaterialien (wie z. B. Lehrbücher) erstellt, um die mit KI verbundenen Risiken auf gesellschaftlicher Ebene zu reduzieren
  
  
• Center for Human-Compatible AI: CHAI ist ein Forschungszentrum an der University of California in Berkeley, das sich mit der KI-Sicherheit beschäftigt, einschließlich Reinforcement Learning und Value Learning
  
  
• Stanford Institute for Human-Centered Artificial Intelligence: Diese an der Stanford University ansässige Organisation betreibt Forschung und Interessenvertretung, die auf eine am Menschen ausgerichtete KI-Entwicklung und die Werte Sicherheit, Vertrauen und Verantwortung abzielt
  
  
• Machine Intelligence Research Institute: MIRI ist eine Forschungsgruppe, die sich auf die technischen Herausforderungen vertrauenswürdiger KI und KI-Ausrichtung konzentriert
  
  
• Partnership on AI: Eine Zusammenarbeit von akademischen Einrichtungen und Unternehmen, die verantwortungsvolle KI-Praktiken durch Forschung, öffentliche Informationen und andere Arbeiten fördert
  
  
• Future of Life Institute: Diese gemeinnützige Organisation versucht, die existenziellen Risiken, die mit der Entwicklung fortschrittlicher KI verbunden sind, durch Forschung und Interessenvertretung zu verringern
  
  
• AI Safety Initiative der Cloud Security Alliance: Die Koalition der CSA arbeitet daran, Leitlinien und Tools zu entwickeln, die Unternehmen in die Lage versetzen, KI-Lösungen einzusetzen, die sicher, verantwortungsvoll und ethisch vertretbar sind

Aktuelle Forschungen zeigen, dass die rasanten Fortschritte bei modernen KI-Systemen das traditionelle KI-Risikomanagement und die Sicherheitspraktiken überholen. Dieser Trend ist besonders besorgniserregend für generative KI-Systeme, die äußerst realistische und skalierbare Inhalte produzieren können und daher anfällig für Missbrauch, Fehlinformationen und automatisierte Schäden sind.

In einem Artikel mit dem Titel „Safety Pretraining: Toward the Next Generation of Safe AI“⁶ beschreiben Forscher der Carnegie Mellon University, dass weit verbreitete Methoden zur Ausrichtung nach dem Training fehleranfällig sein können. Mit anderen Worten: Das Modell erscheint bei normalen Sicherheitstests sicher, kann aber bei geringfügigen Änderungen der Umgebung versagen.

Außerdem lassen sich unsichere Verhaltensweisen, die während des Trainings erlernt wurden, später schwer entfernen. Der Artikel führt an, dass die Sicherheit früher im Entwicklungsprozess integriert werden muss, indem Schutzmaßnahmen direkt in vortrainierte Daten und Modelldesign eingebettet werden, anstatt sich ausschließlich auf Korrekturen durch Updates nach dem Start zu verlassen.

Ebenso stellte der International AI Safety Report 2026⁷– ein gemeinsamer Bericht von mehr als 100 KI-Experten – fest, dass Verbesserungen der KI-Fähigkeiten komplexe, systemische Risiken in verschiedenen Bereichen mit sich bringen und bestehende Probleme verschärfen.

Ein weiterer kürzlich erschienener Artikel – „ForesightSafety Bench: A Frontier Risk Evaluation and Governance Framework toward Safe AI“⁸ – befasst sich mit Frameworks für die Bewertung der KI-Sicherheit. Der Artikel hebt hervor, dass bestehende Benchmarks und Testansätze oft nicht die realen Risiken und gesellschaftlichen Auswirkungen der fortschrittlichen KI abdecken und auch nicht zuverlässig unsicheres Verhalten unter konfrontativen Bedingungen erkennen können. Die Forscher fordern umfassendere und dynamischere Bewertungsmethoden.

Zusammengenommen deuten diese Forschungsergebnisse darauf hin, dass die KI-Sicherheit als kontinuierliches, lebenszyklusweites Problem behandelt werden muss und nicht als einzelner Schritt, der nach der Modellentwicklung angewendet wird. Dementsprechend heben die jüngsten Ansätze zur KI-Governance die Bedeutung des Aufbaus von mehrschichtigen Schutzmaßnahmen direkt in das breitere KI-Ökosystem hervor. Zu diesen mehrschichtigen Schutzmaßnahmen gehören in der Regel Datenerfassung, Modellarchitektur und Bereitstellung.

Es besteht ein wachsender Konsens darüber, dass eine effektive KI-Sicherheit eine Kombination aus technischen Interventionen, Kontrollen vor dem Training und verbesserten Frameworks erfordert. Diese Entwicklungen deuten darauf hin, dass die KI-Sicherheit nicht mehr nur ein Problem der Informatik ist, sondern eine multidisziplinäre Aufgabe, die eine kontinuierliche Anpassung im Zuge der Weiterentwicklung der Technologien erfordert.