KI-Sicherheit bezieht sich auf Praktiken und Prinzipien, die dazu beitragen, dass KI-Technologien so konzipiert und eingesetzt werden, dass sie der Menschheit Nutzen bringen und potenzielle Schäden oder negative Folgen minimiert werden.
Der Aufbau sicherer Systeme für künstliche Intelligenz (KI) ist für Unternehmen und die Gesellschaft aufgrund der zunehmenden Verbreitung und Auswirkungen von KI entscheidend. KI-Sicherheit trägt dazu bei, dass KI-Systeme so verantwortungsvoll wie möglich eingesetzt werden und dass die Zukunft der KI unter Berücksichtigung menschlicher Werte entwickelt wird.
Zur Entwicklung und Aufrechterhaltung einer sicheren KI müssen potenzielle KI-Risiken (wie Verzerrung, Datensicherheit und Anfälligkeit für externe Bedrohungen) identifiziert und Prozesse zur Vermeidung und Minderung dieser Risiken geschaffen werden. So können beispielsweise KI-Sicherheitsmaßnahmen wie die Abschwächung von Verzerrungen und ethische KI-Frameworks Unternehmen dabei helfen, KI-Tools verantwortungsvoll in ihren Unternehmen zu entwickeln und einzusetzen.
Erhalten Sie kuratierte Einblicke in die wichtigsten – und faszinierendsten – KI-Neuheiten. Abonnieren Sie unseren wöchentlichen Think-Newsletter. Weitere Informationen in der IBM Datenschutzerklärung.
Je ausgefeilter die KI-Systeme werden, desto stärker werden sie in das Leben der Menschen und in entscheidende Bereiche der realen Welt wie Infrastruktur, Finanzen und nationale Sicherheit integriert. Diese Technologien können sowohl positive als auch negative Auswirkungen auf die Unternehmen, die sie einsetzen, und auf die Gesellschaft als Ganzes haben.
Die Besorgnis über die negativen Auswirkungen der KI nimmt zu. Eine Umfrage aus dem Jahr 2023 ergab, dass 52 % der Amerikaner über den verstärkten Einsatz von KI mehr besorgt als begeistert waren.1 Eine andere Umfrage ergab, dass 83 % befürchten, dass KI versehentlich zu einem katastrophalen Ereignis führen könnte.2
Andere Untersuchungen zeigen, dass die Bedenken nicht unbegründet sind: Ein Bericht aus dem Jahr 2024 ergab, dass 44 % der Befragten angaben, dass ihr Unternehmen negative Folgen (etwa in Bezug auf Ungenauigkeiten oder Cybersicherheit) durch den Einsatz von KI erlitten hat.3 Sicherheitsbemühungen werden oft zweitrangig behandelt: Laut dem Impact Report 2023 des Center for AI Safety konzentrieren sich nur 3 % der technischen Forschung darauf, KI sicherer zumachen.4
Für die Gesellschaft als Ganzes sind KI-Sicherheitsmaßnahmen notwendig, um die öffentliche Sicherheit, die Privatsphäre und die Grundrechte zu schützen. KI-Systeme, die voreingenommen oder undurchsichtig sind oder nicht im Einklang mit menschlichen Werten stehen, können gesellschaftliche Ungleichheiten aufrechterhalten oder verstärken.
Experten befürchten außerdem, dass einige fortgeschrittene KI-Systeme genauso intelligent oder sogar intelligenter als Menschen werden könnten. Künstliche allgemeine Intelligenz (AGI) bezieht sich auf potenzielle KI-Systeme, die Denkaufgaben auf die gleiche Weise wie Menschen verstehen, lernen und ausführen. Künstliche Superintelligenz (ASI) bezieht sich auf hypothetische KI-Systeme mit einem intellektuellen Umfang und kognitiven Funktionen, die weiter fortgeschritten sind als die eines Menschen. Die Entwicklung von AGI und ASI wirft die Sorge auf, dass solche Systeme gefährlich sein könnten, wenn sie nicht mit den menschlichen Werten übereinstimmen oder einer menschlichen Aufsicht unterliegen. Kritiker sagen, dass diese Systeme bei zu viel Autonomie eine existenzielle Bedrohung für die Menschheit darstellen würden.
Aus geschäftlicher Sicht trägt sichere KI dazu bei, das Vertrauen der Verbraucher zu stärken, sich vor rechtlicher Haftung schützen und schlechte Entscheidungen zu vermeiden. Unternehmen, die Maßnahmen ergreifen, um sicherzustellen, dass der Einsatz von KI mit ihren Werten im Einklang steht, können negative Folgen für sich und ihre Kunden vermeiden.
KI-Risiken können in verschiedene Arten von Risiken unterteilt werden, die jeweils unterschiedliche Maßnahmen hinsichtlich KI-Sicherheit und Risikomanagement erfordern.
KI-Systeme können gesellschaftliche Verzerrungen aufrechterhalten oder verstärken. Algorithmische Verzerrung ergibt sich, wenn die KI auf unvollständigen oder irreführenden Daten und Eingaben trainiert wird. Diese Verzerrung kann zu unfairen Entscheidungen führen. Zum Beispiel könnte ein KI-Tool, das mit diskriminierenden Daten trainiert wurde, weniger wahrscheinlich Hypotheken für Antragsteller mit einem bestimmten Hintergrund genehmigen. Es könnte auch eher empfehlen, einen männlichen Bewerber als eine weibliche Bewerberin einzustellen.
KI-Systeme haben das Potenzial, in unangemessener Weise auf personenbezogene Daten zuzugreifen, sie offenzulegen oder zu missbrauchen, was zu Datenschutzbedenken führt. Wenn vertrauliche Daten verletzt werden, können die Entwickler oder Benutzer eines KI-Systems zur Verantwortung gezogen werden.
Die Ergebnisse von fortgeschrittenen KI-Systemen, insbesondere von Systemen, die als autonome Agenten arbeiten, sind manchmal unvorhersehbar. Ihre Handlungen haben mitunter sogar Schäden zur Folge. Wenn sie in der Lage sind, unabhängig zu entscheiden, sind sie möglicherweise nicht zu stoppen. Ohne menschliche Kontrolle ist es vielleicht unmöglich, in ein KI-System einzugreifen oder es abzuschalten, wenn es sich unangemessen verhält.
AGI, ASI und andere hochentwickelte KI-Systeme könnten möglicherweise auf eine Weise handeln, die die Menschheit gefährdet oder globale Systeme stört, wenn sie falsch verwaltet werden. Die Gefahren eines KI-Wettbewerbs, der einem Wettrüsten gleicht, gefährden die geopolitische Stabilität.
KI könnte auch für groß angelegte gesellschaftliche Manipulationen oder Cyberkriege missbraucht werden. Im Jahr 2023 veröffentlichte die gemeinnützige Center for KI Safety (CAIS) eine Erklärung mit einem einzigen Satz, die von verschiedenen KI-Forschern und -Führungskräften unterstützt wurde. Diese lautete: „Die Minderung des Risikos des Aussterbens durch KI sollte neben anderen gesellschaftlichen Risiken wie Pandemien und Atomkriegen eine globale Priorität sein.“5
Während unbeabsichtigte Folgen und Fehler eine Quelle von KI-Risiken sind, können böswillige Akteure die Technologie auch absichtlich einsetzen, um Schaden anzurichten. KI kann als Waffe für Cyberangriffe, Desinformationskampagnen, illegale Überwachung oder sogar physische Schäden eingesetzt werden. Diese Bedrohungen existieren auf individueller und gesellschaftlicher Ebene.
KI-Systeme können anfällig für Sicherheitsprobleme sein. Sie sind mit der Möglichkeit von feindlichen Angriffen konfrontiert, bei denen böswillige Akteure Eingaben manipulieren, um Modelle zu täuschen, was zu falschen Ausgaben führt.
KI-Jailbreaks treten beispielsweise auf, wenn Hacker Prompt Injections und andere Techniken verwenden, um Schwachstellen in KI-Systemen auszunutzen und eingeschränkte Aktionen auszuführen. Von einer Datenvergiftung spricht man, wenn kompromittierte Trainingsdaten das Verhalten der KI verzerren. Unbefugter Zugriff und andere Schwachstellen oder Sicherheitsrisiken können zum Missbrauch von KI-Systemen und deren Daten führen.
KI-Sicherheit und KI-Schutz sind verwandte, aber unterschiedliche Aspekte der künstlichen Intelligenz. KI-Sicherheit beschäftigt sich mit inhärenten Problemen und unbeabsichtigten Folgen, während sich KI-Schutz auf den Schutz von KI-Systemen vor externen Bedrohungen konzentriert.
KI-Sicherheit versucht, KI mit menschlichen Werten zu verbinden und die Wahrscheinlichkeit zu verringern, dass KI-Systeme negative Auswirkungen auf Unternehmen und die Gesellschaft haben. Der Schwerpunkt liegt auf der KI-Ausrichtung, d. h. dem Prozess der Kodierung menschlicher Werte und Ziele in KI-Modelle.
Beim KI-Schutz geht es um den Schutz von KI-Systemen vor externen Bedrohungen wie Cyberangriffen und Datenverletzungen. Es geht darum, die Vertraulichkeit und Integrität von KI-Modellen zu schützen. KI-Schutz kann sich auch auf den Einsatz von künstlicher Intelligenz zur Verbesserung des Sicherheitsstatus eines Unternehmens beziehen. Nach dieser Definition umfasst er den Einsatz von KI und maschinellem Lernen (ML), um potenzielle Bedrohungen zu antizipieren und anzugehen.
KI-Führungskräfte und Unternehmen setzen verschiedene Praktiken ein, um die verantwortungsvolle Entwicklung und Nutzung von KI-Technologien zu unterstützen. Sicherheitsmaßnahmen für KI umfassen:
Algorithmen können die Vorurteile in den Daten, mit denen sie trainiert werden, aufrechterhalten oder verstärken. Um dieses Problem zu bekämpfen, investieren Unternehmen in Maßnahmen zur Bekämpfung von Verzerrungen. Techniken wie die Sammlung vielfältiger Datensätze, die Bewertung der algorithmischen Fairness und Methoden zur Verzerrungsbeseitigung helfen bei der Identifizierung potenzieller Probleme.
Strenge Test- und Validierungsprozesse helfen KI-Systemen, Gefahren zu vermeiden und technische Risiken zu identifizieren. Techniken wie Adversarial Testing, Stresstests und formale Verifizierung tragen dazu bei, sicherzustellen, dass KI-Tools und -Modelle wie beabsichtigt funktionieren und kein unerwünschtes Verhalten zeigen.
Viele KI-Modelle, insbesondere große Sprachmodelle (LLMs), sind „Blackboxen“, die Entscheidungen treffen, die für Menschen schwer zu interpretieren sind. Ohne Transparenz im Entscheidungsprozess ist es weniger wahrscheinlich, dass Benutzer den Ergebnissen und Empfehlungen vertrauen. Explainable AI (XAI) zielt darauf ab, die undurchsichtigen Prozesse hinter komplexen KI-Systemen zu klären, und konzentriert sich auf die Interpretierbarkeit, um zu zeigen, wie es zu den Ergebnissen kommt.
Viele Unternehmen verfügen über ethische KI-Rahmenwerke, die die Entwicklung und Nutzung von KI-Systemen anleiten. Diese Rahmenwerke und die damit verbundenen Benchmarks umfassen in der Regel Prinzipien wie Transparenz, Fairness, Rechenschaftspflicht und Datenschutz. Sie bieten Leitlinien für die Nutzung und Entwicklung von KI-Tools.
Während die Automatisierung für viele Unternehmen Teil der Attraktivität der KI ist, ist es aus Sicherheitsgründen wichtig, die menschliche Kontrolle aufrechtzuerhalten. Dies bedeutet, dass menschliche Operatoren die Leistung des KI-Systems überwachen, bei Bedarf eingreifen und in kritischen Situationen die endgültigen Entscheidungen treffen. Human-in-the-Loop-Ansätze tragen dazu bei, dass eine echte Person für die Aktionen eines KI-Systems verantwortlich ist.
Die Implementierung starker Sicherheitsmaßnahmen wie Verschlüsselung, Zugriffskontrolle und Anomalieerkennung trägt dazu bei, KI-Systeme vor Missbrauch oder unbefugtem Zugriff zu schützen. Unternehmen könnten auch in Cybersicherheitsmaßnahmen investieren, um sich vor Cyberangriffen und Cyberbedrohungen zu schützen, die die Integrität ihrer KI-Systeme gefährden könnten.
KI-Sicherheit ist ein komplexes und sich entwickelndes Gebiet, das die Zusammenarbeit zwischen Forschern, Branchenführern und politischen Entscheidungsträgern erfordert. Viele Unternehmen beteiligen sich an Branchenkonsortien, Forschungsinitiativen und Standardisierungsbemühungen, um Wissen, Best Practices und Erfahrungen auszutauschen. Durch die Zusammenarbeit kann die KI-Community robustere und zuverlässigere Sicherheitsmaßnahmen entwickeln.
KI-Sicherheitsforschung ist eine gemeinsame Aufgabe vieler Stakeholder.
KI-Sicherheit beginnt bei den Entwicklern und Ingenieuren, die für das Entwerfen, Erstellen und Testen von KI-Systemen verantwortlich sind. Sie konzentrieren sich auf grundlegende Fragen, z. B. wie die Ziele der KI mit menschlichen Werten in Einklang gebracht und wie Modelle erstellt werden können, die transparent und erklärbar sind. Sie sind auch für das Testen und Validieren von Modellen und Tools verantwortlich, um sicherzustellen, dass sie wie vorgesehen funktionieren.
Unternehmen, die in der KI-Entwicklung führend sind, etwa IBM, OpenAI, Google DeepMind, Microsoft und Anthropic, stehen an der Spitze der Bemühungen um KI-Sicherheit. Sie investieren in dedizierte KI-Sicherheitsteams, legen ethische Richtlinien fest und halten sich an die Prinzipien der verantwortungsvollen KI, um schädliche Ergebnisse zu verhindern.
Einige Unternehmen haben auch Frameworks und Protokolle entwickelt, um Risiken sowohl in der Forschungs- als auch in der Bereitstellungsphase zu bewältigen, z. B. Tools zur Verzerrungserkennung und Systeme, die eine menschliche Aufsicht ermöglichen. Viele arbeiten auch in Branchenkoalitionen zusammen und teilen ihr Wissen, um branchenweite Standards für die KI-Sicherheit festzulegen.
Umfassendere Bemühungen zur KI-Governance sind ein wichtiger Bestandteil der globalen KI-Sicherheitsmaßnahmen. Internationale Organisationen, darunter die Vereinten Nationen, das Weltwirtschaftsforum und die Organisation für wirtschaftliche Zusammenarbeit und Entwicklung (OECD), leiten Initiativen, die sich auf die Ethik und Sicherheit von KI konzentrieren. Einzelne Regierungen auf der ganzen Welt schaffen ebenfalls neue Regeln und Vorschriften zur KI-Sicherheit:
In den Vereinigten Staaten arbeitet das Artificial Intelligence Safety Institute (AISI), ein Teil des National Institute of Standards and Technology (NIST), an der Lösung von Sicherheitsproblemen. Der Schwerpunkt der Bemühungen liegt etwa auf der Förderung der Forschung und der Entwicklung von Risikominderungen.
Die KI-Verordnung der Europäischen Union enthält verschiedene Sicherheitsstandards und -richtlinien sowie Strafen bei Nichteinhaltung. Das Vereinigte Königreich hat das AI Safety Institute gegründet, um eine sichere KI-Entwicklung zu fördern. Verschiedene andere Länder, darunter Singapur, Japan und Kanada, richten ebenfalls KI-Sicherheitsgremien ein, um Forschung zu betreiben und Entwicklung und Regulierung mit Schwerpunkt auf der öffentlichen Sicherheit zu unterstützen.
Entscheidungsträger und Forscher in Nichtregierungsorganisationen (NGOs), Thinktanks und anderen Gruppen arbeiten an der Lösung von Sicherheitsproblemen. Sie befassen sich mit Fragen der nationalen Sicherheit, der Menschenrechte und der Gesetzgebung und empfehlen Möglichkeiten, wie die KI-Entwicklung mit gesellschaftlichen Werten und Interessen in Einklang gebracht werden kann. Sie schärfen das Bewusstsein für Risiken, legen ethische Richtlinien fest, fördern Transparenz und fördern verantwortungsvolle Forschung.
Zu den wichtigsten gemeinnützigen Organisationen und Interessengruppen für KI-Sicherheit gehören:
Aktuelle Forschungen zeigen, dass die rasanten Fortschritte bei modernen KI-Systemen das traditionelle KI-Risikomanagement und die Sicherheitspraktiken überholen. Dieser Trend ist besonders besorgniserregend für generative KI-Systeme, die äußerst realistische und skalierbare Inhalte produzieren können und daher anfällig für Missbrauch, Fehlinformationen und automatisierte Schäden sind.
In einem Artikel mit dem Titel „Safety Pretraining: Toward the Next Generation of Safe AI“6 beschreiben Forscher der Carnegie Mellon University, dass weit verbreitete Methoden zur Ausrichtung nach dem Training fehleranfällig sein können. Mit anderen Worten: Das Modell erscheint bei normalen Sicherheitstests sicher, kann aber bei geringfügigen Änderungen der Umgebung versagen.
Außerdem lassen sich unsichere Verhaltensweisen, die während des Trainings erlernt wurden, später schwer entfernen. Der Artikel führt an, dass die Sicherheit früher im Entwicklungsprozess integriert werden muss, indem Schutzmaßnahmen direkt in vortrainierte Daten und Modelldesign eingebettet werden, anstatt sich ausschließlich auf Korrekturen durch Updates nach dem Start zu verlassen.
Ebenso stellte der International AI Safety Report 20267– ein gemeinsamer Bericht von mehr als 100 KI-Experten – fest, dass Verbesserungen der KI-Fähigkeiten komplexe, systemische Risiken in verschiedenen Bereichen mit sich bringen und bestehende Probleme verschärfen.
Ein weiterer kürzlich erschienener Artikel – „ForesightSafety Bench: A Frontier Risk Evaluation and Governance Framework toward Safe AI“8 – befasst sich mit Frameworks für die Bewertung der KI-Sicherheit. Der Artikel hebt hervor, dass bestehende Benchmarks und Testansätze oft nicht die realen Risiken und gesellschaftlichen Auswirkungen der fortschrittlichen KI abdecken und auch nicht zuverlässig unsicheres Verhalten unter konfrontativen Bedingungen erkennen können. Die Forscher fordern umfassendere und dynamischere Bewertungsmethoden.
Zusammengenommen deuten diese Forschungsergebnisse darauf hin, dass die KI-Sicherheit als kontinuierliches, lebenszyklusweites Problem behandelt werden muss und nicht als einzelner Schritt, der nach der Modellentwicklung angewendet wird. Dementsprechend heben die jüngsten Ansätze zur KI-Governance die Bedeutung des Aufbaus von mehrschichtigen Schutzmaßnahmen direkt in das breitere KI-Ökosystem hervor. Zu diesen mehrschichtigen Schutzmaßnahmen gehören in der Regel Datenerfassung, Modellarchitektur und Bereitstellung.
Es besteht ein wachsender Konsens darüber, dass eine effektive KI-Sicherheit eine Kombination aus technischen Interventionen, Kontrollen vor dem Training und verbesserten Frameworks erfordert. Diese Entwicklungen deuten darauf hin, dass die KI-Sicherheit nicht mehr nur ein Problem der Informatik ist, sondern eine multidisziplinäre Aufgabe, die eine kontinuierliche Anpassung im Zuge der Weiterentwicklung der Technologien erfordert.
Verwalten Sie generative KI-Modelle von überall aus und stellen Sie diese in der Cloud oder lokal mit IBM watsonx.governance bereit.
Sehen Sie, wie KI-Governance dazu beitragen kann, das Vertrauen Ihrer Mitarbeiter in KI zu stärken, die Einführung und Innovation zu beschleunigen und das Vertrauen der Kunden zu verbessern.
Bereiten Sie sich auf das EU-Gesetz zur KI vor und etablieren Sie mithilfe von IBM Consulting einen verantwortungsvollen KI-Governance-Ansatz.
1 Growing public concern about the role of artificial intelligence in daily life, Pew Research Center, August 2023.
2 Poll Shows Overwhelming Concern About Risks From AI, AI Policy Institute (AIPI), Juli 2023.
3 The state of AI in early 2024, McKinsey, Mai 2024.
4 2023 Impact Report, Center for AI Safety, November 2023.
5 Statement on AI Risk, Center for AI Safety, März 2023.
6 “Safety Pretraining: Toward the Next Generation of Safe AI,” Pratyush Maini et al, 2025.
7 “International AI Safety Report 2026,” Y. Bengio et al., 24. Februar 2026.
8 “ForesightSafety Bench: A Frontier Risk Evaluation and Governance Framework toward Safe AI,” Haibo Tong et al., 15. Februar 2026.