Open Source – Open Risks: Die wachsenden Gefahren unregulierter generativer KI

Während gängige generative KI-Modelle über integrierte Sicherheitsbarrieren verfügen, unterliegen Open-Source-Alternativen keinen derartigen Einschränkungen. Das hat folgende Auswirkungen auf die Cyberkriminalität.

Es besteht kaum Zweifel daran, dass Open Source die Zukunft der Software ist. Laut dem 2024 State of Open Source Report haben über zwei Drittel der Unternehmen im letzten Jahr die Nutzung von Open-Source-Software erhöht.

Generative KI bildet da keine Ausnahme. Die Anzahl der Entwickler, die zu Open-Source-Projekten auf GitHub und anderen Plattformen beitragen, nimmt rapide zu. Unternehmen investieren Milliarden in generative KI für eine Vielzahl von Anwendungsfällen, von Chatbots im Kundenservice bis hin zur Codegenerierung. Viele von ihnen entwickeln entweder proprietäre KI-Modelle von Grund auf neu oder auf der Grundlage von Open-Source-Projekten.

Jedoch sind seriöse Unternehmen nicht die einzigen, die in generative KI investieren. Sie stellt auch eine wahre Goldgrube für böswillige Akteure dar, von Schurkenstaaten, die darauf aus sind, Fehlinformationen unter ihren Rivalen zu verbreiten, bis hin zu Cyberkriminellen, die bösartigen Code oder gezielte Phishing-Betrügereien entwickeln.

Derzeit ist eines der wenigen Elemente, das böswillige Akteure zurückhält, die Schutzmaßnahmen, die Entwickler implementieren, um ihre KI-Modelle vor Missbrauch zu schützen. ChatGPT erzeugt nicht wissentlich Phishing-E-Mails, und Midjourney erstellt keine anstößigen Bilder. Diese Modelle gehören jedoch zu vollständig geschlossenen Ökosystemen, in denen die Entwickler hinter ihnen die Macht haben, zu bestimmen, wofür sie verwendet werden dürfen und wofür nicht.

ChatGPT benötigte lediglich zwei Monate nach seiner Veröffentlichung, um 100 Millionen Nutzer zu erreichen. Seitdem haben unzählige Nutzer versucht, seine Schutzmechanismen zu umgehen und es zu „knacken“, um damit zu tun, was sie möchten – mit unterschiedlichem Erfolg.

Der unaufhaltsame Aufstieg von Open-Source-Modellen wird diese Leitplanken ohnehin überflüssig machen. Zwar blieb die Leistung bisher in der Regel hinter der von Closed-Source-Modellen zurück, doch es besteht kein Zweifel daran, dass sich Open-Source-Modelle verbessern werden. Der Grund dafür ist einfach: Entwickler können beliebige Daten zum Trainieren der Modelle verwenden. Positiv ist, dass dies die Transparenz und den Wettbewerb fördern und gleichzeitig die Demokratisierung der KI unterstützen kann, anstatt sie ausschließlich in den Händen großer Unternehmen und Regulierungsbehörden zu belassen.

Ohne Sicherheitsvorkehrungen ist generative KI jedoch das nächste Einfallstor für Cyberkriminalität. Bösartige KIs wie FraudGPT und WormGPT sind im Dark Web weit verbreitet verfügbar. Beide basieren auf dem Open Source-LLM Large Language Model GPT-J, das 2021 von EleutherAI entwickelt wurde.

Böswillige Akteure nutzen auch Open-Source-Bildsynthesizer wie Stable Diffusion, um spezialisierte Modelle zu entwickeln, die missbräuchliche Inhalte generieren können. KI-generierte Videoinhalte sind gleich um die Ecke. Ihre Funktionen sind derzeit nur durch die Verfügbarkeit leistungsstarker Open-Source-Modelle und die für deren Ausführung erforderliche beträchtliche Rechenleistung eingeschränkt.

Es könnte verlockend sein, diese Probleme als externe Bedrohungen abzutun, für deren Bewältigung jedes ausreichend geschulte Team angemessen gerüstet sein sollte. Da jedoch immer mehr Unternehmen in die Entwicklung proprietärer generativer KI-Modelle investieren, riskieren sie auch, ihre internen Angriffsflächen zu vergrößern.

Eine der größten Gefahrenquellen bei der Modellentwicklung ist der Trainingsprozess selbst. Wenn beispielsweise vertrauliche, urheberrechtlich geschützte oder fehlerhafte Daten im Trainingsdatensatz enthalten sind, können diese später als Reaktion auf einen Prompt wieder auftauchen. Dies könnte auf ein Versehen seitens des Entwicklungsteams oder auf einen absichtlichen Datenvergiftungsangriff durch einen böswilligen Akteur zurückzuführen sein.

Prompt Injection-Angriffe stellen eine weitere Risikoquelle dar, bei der ein Modell dazu gebracht oder gehackt wird, Inhalte zu generieren, die gegen die Nutzungsbedingungen des Anbieters verstoßen. Dieses Risiko besteht bei jedem generativen KI-Modell, jedoch sind die Risiken in Open-Source-Umgebungen ohne ausreichende Aufsicht vermutlich größer. Sobald KI-Tools als Open Source verfügbar sind, verlieren die Unternehmen, aus denen sie stammen, die Kontrolle über die Entwicklung und Nutzung der Technologie.

Die einfachste Möglichkeit, die von unregulierter KI ausgehenden Gefahren zu verstehen, besteht darin, die proprietären KI-Systeme zu Fehlverhalten aufzufordern. In den meisten Fällen verweigern sie die Zusammenarbeit, aber wie zahlreiche Fälle gezeigt haben, reichen in der Regel nur einige kreative Eingaben und Versuche aus. Bei Open Source-KI, die von Unternehmen wie Stability AI, EleutherAI oder Hugging Face entwickelt wurden, oder auch bei einem proprietären System, das Sie selbst entwickeln, werden Sie jedoch nicht auf solche Einschränkungen stoßen.

Die Gefahr von Open-Source-KI-Modellen liegt letztlich darin, wie anfällig sie für Missbrauch sind. Die Demokratisierung der Modellentwicklung ist zwar an sich ein lobenswertes Ziel, jedoch wird die Gefahr weiter zunehmen, und Unternehmen können nicht davon ausgehen, dass die Regulierungsbehörden Schritt halten können. Aus diesem Grund ist KI selbst zu einem unverzichtbaren Werkzeug im Arsenal der Cybersicherheitsexperten geworden. Lesen Sie unseren Leitfaden zur KI-Cybersicherheit, um zu verstehen, warum das so ist.