Was ist KI-Sicherheit?

Der Aufbau sicherer Systeme für künstliche Intelligenz (KI) ist für Unternehmen und die Gesellschaft aufgrund der zunehmenden Verbreitung und Auswirkungen von KI entscheidend. KI-Sicherheit trägt dazu bei, dass KI-Systeme so verantwortungsvoll wie möglich eingesetzt werden und dass die Zukunft der KI unter Berücksichtigung menschlicher Werte entwickelt wird.

Zur Entwicklung und Aufrechterhaltung einer sicheren KI müssen potenzielle KI-Risiken (wie Verzerrung, Datensicherheit und Anfälligkeit für externe Bedrohungen) identifiziert und Prozesse zur Vermeidung und Minderung dieser Risiken geschaffen werden. So können beispielsweise KI-Sicherheitsmaßnahmen wie die Abschwächung von Verzerrungen und ethische KI-Frameworks Unternehmen dabei helfen, KI-Tools verantwortungsvoll in ihren Unternehmen zu entwickeln und einzusetzen.

Je ausgefeilter die KI-Systeme werden, desto stärker werden sie in das Leben der Menschen und in entscheidende Bereiche der realen Welt wie Infrastruktur, Finanzen und nationale Sicherheit integriert. Diese Technologien können sowohl positive als auch negative Auswirkungen auf die Unternehmen, die sie einsetzen, und auf die Gesellschaft als Ganzes haben.

Die Besorgnis über die negativen Auswirkungen der KI nimmt zu. Eine Umfrage aus dem Jahr 2023 ergab, dass 52 % der Amerikaner über den verstärkten Einsatz von KI mehr besorgt als begeistert waren.¹ Eine andere Umfrage ergab, dass 83 % befürchten, dass KI versehentlich zu einem katastrophalen Ereignis führen könnte.²

Andere Untersuchungen zeigen, dass die Bedenken nicht unbegründet sind: Ein Bericht aus dem Jahr 2024 ergab, dass 44 % der Befragten angaben, dass ihr Unternehmen negative Folgen (etwa in Bezug auf Ungenauigkeiten oder Cybersicherheit) durch den Einsatz von KI erlitten hat.³ Sicherheitsbemühungen werden oft zweitrangig behandelt: Laut dem Impact Report 2023 des Center for AI Safety konzentrieren sich nur 3 % der technischen Forschung darauf, KI sicherer zumachen.⁴

Für die Gesellschaft als Ganzes sind KI-Sicherheitsmaßnahmen notwendig, um die öffentliche Sicherheit, die Privatsphäre und die Grundrechte zu schützen. KI-Systeme, die voreingenommen oder undurchsichtig sind oder nicht im Einklang mit menschlichen Werten stehen, können gesellschaftliche Ungleichheiten aufrechterhalten oder verstärken.

Experten befürchten außerdem, dass einige fortgeschrittene KI-Systeme genauso intelligent oder sogar intelligenter als Menschen werden könnten. Künstliche allgemeine Intelligenz (AGI) bezieht sich auf potenzielle KI-Systeme, die Denkaufgaben auf die gleiche Weise wie Menschen verstehen, lernen und ausführen. Künstliche Superintelligenz (ASI) bezieht sich auf hypothetische KI-Systeme mit einem intellektuellen Umfang und kognitiven Funktionen, die weiter fortgeschritten sind als die eines Menschen. Die Entwicklung von AGI und ASI wirft die Sorge auf, dass solche Systeme gefährlich sein könnten, wenn sie nicht mit den menschlichen Werten übereinstimmen oder einer menschlichen Aufsicht unterliegen. Kritiker sagen, dass diese Systeme bei zu viel Autonomie eine existenzielle Bedrohung für die Menschheit darstellen würden.

Aus geschäftlicher Sicht trägt sichere KI dazu bei, das Vertrauen der Verbraucher zu stärken, sich vor rechtlicher Haftung schützen und schlechte Entscheidungen zu vermeiden. Unternehmen, die Maßnahmen ergreifen, um sicherzustellen, dass der Einsatz von KI mit ihren Werten im Einklang steht, können negative Folgen für sich und ihre Kunden vermeiden.

KI-Risiken können in verschiedene Arten von Risiken unterteilt werden, die jeweils unterschiedliche Maßnahmen hinsichtlich KI-Sicherheit und Risikomanagement erfordern.

• Verzerrung und Fairness
• Datenschutz
• Kontrollverlust
• Existenzielle Risiken
• Böswilliger Missbrauch
• Cybersicherheit

KI-Systeme können gesellschaftliche Verzerrung aufrechterhalten oder verstärken. Algorithmische Verzerrung ergibt sich, wenn KI auf unvollständigen oder irreführenden Daten und Eingaben trainiert wird. Das kann zu unfairen Entscheidungen führen. Zum Beispiel könnte ein KI-Tool, das mit diskriminierenden Daten trainiert wurde, weniger wahrscheinlich Hypotheken für Antragsteller mit einem bestimmten Hintergrund genehmigen oder eher empfehlen, einen männlichen Bewerber als eine weibliche Bewerberin einzustellen.

KI-Systeme haben das Potenzial, in unangemessener Weise auf personenbezogene Daten zuzugreifen, sie offenzulegen oder zu missbrauchen, was zu Datenschutzbedenken führt. Wenn vertrauliche Daten verletzt werden, können die Entwickler oder Benutzer eines KI-Systems zur Verantwortung gezogen werden.

Die Ergebnisse von fortgeschrittenen KI-Systemen, insbesondere von solchen, die als autonome Agenten arbeiten, können unvorhersehbar sein. Ihre Handlungen könnten sogar schädlich sein. Wenn sie in der Lage sind, unabhängig zu entscheiden, kann es schwierig sein, sie zu stoppen. Ohne ein Element menschlicher Kontrolle könnte es unmöglich sein, in ein KI-System einzugreifen oder es abzuschalten, wenn es sich unangemessen verhält.

AGI, ASI und andere hochentwickelte KI-Systeme könnten möglicherweise auf eine Weise handeln, die die Menschheit gefährdet oder globale Systeme stört, wenn sie falsch verwaltet werden. Die Gefahren eines KI-Wettbewerbs, der einem Wettrüsten gleicht, gefährden die geopolitische Stabilität.

KI könnte auch für groß angelegte gesellschaftliche Manipulationen oder Cyberkriege missbraucht werden. Im Jahr 2023 veröffentlichte die gemeinnützige Center for KI Safety (CAIS) eine Erklärung mit einem einzigen Satz, die von verschiedenen KI-Forschern und -Führungskräften unterstützt wurde. Diese lautete: „Die Minderung des Risikos des Aussterbens durch KI sollte neben anderen gesellschaftlichen Risiken wie Pandemien und Atomkriegen eine globale Priorität sein.“⁵

Während unbeabsichtigte Folgen und Fehler eine Quelle von KI-Risiken sind, können böswillige Akteure die Technologie auch absichtlich einsetzen, um Schaden anzurichten. KI kann als Waffe für Cyberangriffe, Desinformationskampagnen, illegale Überwachung oder sogar physische Schäden eingesetzt werden. Diese Bedrohungen existieren auf individueller und gesellschaftlicher Ebene.

KI-Systeme können anfällig für Sicherheitsprobleme sein. Sie sind mit der Möglichkeit von feindlichen Angriffen konfrontiert, bei denen böswillige Akteure Eingaben manipulieren, um Modelle zu täuschen, was zu falschen Ausgaben führt.

KI-Jailbreaks treten beispielsweise auf, wenn Hacker Prompt Injections und andere Techniken verwenden, um Schwachstellen in KI-Systemen auszunutzen und eingeschränkte Aktionen auszuführen. Von einer Datenvergiftung spricht man, wenn kompromittierte Trainingsdaten das Verhalten der KI verzerren. Unbefugter Zugriff und andere Schwachstellen oder Sicherheitsrisiken können zum Missbrauch von KI-Systemen und deren Daten führen.

KI-Sicherheit und KI-Schutz sind verwandte, aber unterschiedliche Aspekte der künstlichen Intelligenz. KI-Sicherheit beschäftigt sich mit inhärenten Problemen und unbeabsichtigten Folgen, während sich KI-Schutz auf den Schutz von KI-Systemen vor externen Bedrohungen konzentriert.

KI-Sicherheit versucht, KI mit menschlichen Werten zu verbinden und die Wahrscheinlichkeit zu verringern, dass KI-Systeme negative Auswirkungen auf Unternehmen und die Gesellschaft haben. Der Schwerpunkt liegt auf der KI-Ausrichtung, d. h. dem Prozess der Kodierung menschlicher Werte und Ziele in KI-Modelle.

Bei KI-Schutz geht es um den Schutz von KI-Systemen vor externen Bedrohungen wie Cyberangriffen und Datenverletzungen. Es geht darum, die Vertraulichkeit und Integrität von KI-Modellen zu schützen. KI-Schutz kann sich auch auf den Einsatz von künstlicher Intelligenz zur Verbesserung des Sicherheitsstatus eines Unternehmens beziehen. Nach dieser Definition umfasst er den Einsatz von KI und maschinellem Lernen (ML), um potenzielle Bedrohungen zu antizipieren und anzugehen.

KI-Führungskräfte und Unternehmen setzen verschiedene Praktiken ein, um die verantwortungsvolle Entwicklung und Nutzung von KI-Technologien zu unterstützen. Sicherheitsmaßnahmen für KI umfassen:

• Erkennung und Beseitigung von algorithmischer Verzerrung
• Testen und Validierung der Robustheit
• Explainable AI (XAI)
• Ethische KI-Frameworks
• Menschliche Überwachung
• Sicherheitsprotokolle
• Branchenweite Zusammenarbeit

Algorithmen können die Vorurteile in den Daten, mit denen sie trainiert werden, aufrechterhalten oder verstärken. Um dieses Problem zu bekämpfen, investieren Unternehmen in Maßnahmen zur Bekämpfung von Verzerrungen. Techniken wie die Sammlung vielfältiger Datensätze, die Bewertung der algorithmischen Fairness und Methoden zur Verzerrungsbeseitigung helfen bei der Identifizierung potenzieller Probleme.

Strenge Test- und Validierungsprozesse helfen KI-Systemen, Gefahren zu vermeiden und technische Risiken zu identifizieren. Techniken wie Adversarial Testing, Stresstests und formale Verifizierung tragen dazu bei, sicherzustellen, dass KI-Tools und -Modelle wie beabsichtigt funktionieren und kein unerwünschtes Verhalten zeigen.

Viele KI-Modelle, insbesondere große Sprachmodelle (LLMs), sind „Blackboxen“, die Entscheidungen treffen, die für Menschen schwer zu interpretieren sind. Ohne Transparenz im Entscheidungsprozess ist es weniger wahrscheinlich, dass Nutzer den Ergebnissen und Empfehlungen vertrauen. Explainable AI (XAI) zielt darauf ab, die undurchsichtigen Prozesse hinter komplexen KI-Systemen zu klären, und konzentriert sich auf die Interpretierbarkeit, um zu zeigen, wie es zu den Ergebnissen kommt.

Viele Unternehmen haben KI-Frameworks, die die Entwicklung und Nutzung von KI-Systemen leiten. Diese Frameworks und die damit verbundenen Benchmarks beinhalten in der Regel Prinzipien wie Transparenz, Fairness, Rechenschaftspflicht und Datenschutz. Sie bieten Leitlinien für die Verwendung und Entwicklung von KI-Tools.

Während die Automatisierung für viele Unternehmen Teil der Attraktivität von KI ist, ist es aus Sicherheitsgründen wichtig, die menschliche Kontrolle aufrechtzuerhalten. Das bedeutet, dass menschliches Personal die Leistung des KI-Systems überwachen, bei Bedarf eingreifen und in kritischen Situationen die endgültigen Entscheidungen treffen müssen. Human-in-the-Loop-Ansätze tragen dazu bei, dass eine echter Mensch für die Aktionen eines KI-Systems verantwortlich ist.

Die Implementierung starker Sicherheitsmaßnahmen wie Verschlüsselung, Zugriffskontrolle und Anomalieerkennung trägt dazu bei, KI-Systeme vor Missbrauch oder unbefugtem Zugriff zu schützen. Unternehmen könnten auch in Cybersicherheitsmaßnahmen investieren, um sich vor Cyberangriffen und Cyberbedrohungen zu schützen, die die Integrität ihrer KI-Systeme gefährden könnten.

KI-Sicherheit ist ein komplexes und sich entwickelndes Gebiet, das die Zusammenarbeit zwischen Forschern, Branchenführern und politischen Entscheidungsträgern erfordert. Viele Unternehmen beteiligen sich an Branchenkonsortien, Forschungsinitiativen und Standardisierungsbemühungen, um Wissen, Best Practices und Erfahrungen auszutauschen. Durch die Zusammenarbeit kann die KI-Community robustere und zuverlässigere Sicherheitsmaßnahmen entwickeln.

KI-Sicherheitsforschung ist eine gemeinsame Aufgabe vieler Stakeholder.  

KI-Sicherheit beginnt bei den Entwicklern und Ingenieuren, die für das Entwerfen, Erstellen und Testen von KI-Systemen verantwortlich sind. Sie konzentrieren sich auf grundlegende Fragen, z. B. wie die Ziele der KI mit menschlichen Werten in Einklang gebracht und wie Modelle erstellt werden können, die transparent und erklärbar sind. Sie sind auch für das Testen und Validieren von Modellen und Tools verantwortlich, um sicherzustellen, dass sie wie vorgesehen funktionieren.

Unternehmen, die in der KI-Entwicklung führend sind, etwa IBM, OpenAI, Google DeepMind, Microsoft und Anthropic, stehen an der Spitze der Bemühungen um KI-Sicherheit. Sie investieren in dedizierte KI-Sicherheitsteams, legen ethische Richtlinien fest und halten sich an die Prinzipien der verantwortungsvollen KI, um schädliche Ergebnisse zu verhindern.

Einige Unternehmen haben auch Frameworks und Protokolle entwickelt, um Risiken sowohl in der Forschungs- als auch in der Bereitstellungsphase zu bewältigen, z. B. Tools zur Verzerrungserkennung und Systeme, die eine menschliche Aufsicht ermöglichen. Viele arbeiten auch in Branchenkoalitionen zusammen und teilen ihr Wissen, um branchenweite Standards für die KI-Sicherheit festzulegen.

Umfassendere Bemühungen zur KI-Governance sind ein wichtiger Bestandteil der globalen KI-Sicherheitsmaßnahmen. Internationale Organisationen, darunter die Vereinten Nationen, das Weltwirtschaftsforum und die Organisation für wirtschaftliche Zusammenarbeit und Entwicklung (OECD), leiten Initiativen, die sich auf die Ethik und Sicherheit von KI konzentrieren. Einzelne Regierungen auf der ganzen Welt schaffen ebenfalls neue Regeln und Vorschriften zur KI-Sicherheit:

In den Vereinigten Staaten arbeitet das Artificial Intelligence Safety Institute (AISI), ein Teil des National Institute of Standards and Technology (NIST), an der Lösung von Sicherheitsproblemen. Der Schwerpunkt der Bemühungen liegt etwa auf der Förderung der Forschung und der Entwicklung von Risikominderungen.

Die KI-Verordnung der Europäischen Union enthält verschiedene Sicherheitsstandards und -richtlinien sowie Strafen bei Nichteinhaltung. Das Vereinigte Königreich hat das AI Safety Institute gegründet, um eine sichere KI-Entwicklung zu fördern. Verschiedene andere Länder, darunter Singapur, Japan und Kanada, richten ebenfalls KI-Sicherheitsgremien ein, um Forschung zu betreiben und Entwicklung und Regulierung mit Schwerpunkt auf der öffentlichen Sicherheit zu unterstützen.

Entscheidungsträger und Forscher in Nichtregierungsorganisationen (NGOs), Thinktanks und anderen Gruppen arbeiten an der Lösung von Sicherheitsproblemen. Sie befassen sich mit Fragen der nationalen Sicherheit, der Menschenrechte und der Gesetzgebung und empfehlen Möglichkeiten, wie die KI-Entwicklung mit gesellschaftlichen Werten und Interessen in Einklang gebracht werden kann. Sie schärfen das Bewusstsein für Risiken, legen ethische Richtlinien fest, fördern Transparenz und fördern verantwortungsvolle Forschung.

Zu den wichtigsten gemeinnützigen Organisationen und Interessengruppen für KI-Sicherheit gehören:

• Center for AI Safety: CAIS ist eine in San Francisco ansässige gemeinnützige Organisation, die Forschung betreibt und Lernmaterialien (wie z. B. Lehrbücher) erstellt, um die mit KI verbundenen Risiken auf gesellschaftlicher Ebene zu reduzieren
  
  
• Center for Human-Compatible AI: CHAI ist ein Forschungszentrum an der University of California in Berkeley, das sich mit der KI-Sicherheit beschäftigt, einschließlich Reinforcement Learning und Value Learning
  
  
• Stanford Institute for Human-Centered Artificial Intelligence: Diese an der Stanford University ansässige Organisation betreibt Forschung und Interessenvertretung, die auf eine am Menschen ausgerichtete KI-Entwicklung und die Werte Sicherheit, Vertrauen und Verantwortung abzielt
  
  
• Machine Intelligence Research Institute: MIRI ist eine Forschungsgruppe, die sich auf die technischen Herausforderungen vertrauenswürdiger KI und KI-Ausrichtung konzentriert
  
  
• Partnership on AI: Eine Zusammenarbeit von akademischen Einrichtungen und Unternehmen, die verantwortungsvolle KI-Praktiken durch Forschung, öffentliche Informationen und andere Arbeiten fördert
  
  
• Future of Life Institute: Diese gemeinnützige Organisation versucht, die existenziellen Risiken, die mit der Entwicklung fortschrittlicher KI verbunden sind, durch Forschung und Interessenvertretung zu verringern
  
  
• AI Safety Initiative der Cloud Security Alliance: Die Koalition der CSA arbeitet daran, Leitlinien und Tools zu entwickeln, die Unternehmen in die Lage versetzen, KI-Lösungen einzusetzen, die sicher, verantwortungsvoll und ethisch vertretbar sind