Wegen generativer KI wird Social Engineering immer gefährlicher und schwerer zu erkennen

So erinnerte sich Stephanie Carruthers, IBMs Global Lead of Cyber Range und Chief People Hacker, an Vorkomnisse im Jahr 2022. ChatGPT hatte vor kurzem die generative künstliche Intelligenz ins öffentliche Bewusstsein gerückt. Seine Kombination aus unheimlich wirkenden menschlichen Sprachfähigkeiten und tiefgreifendem Wissen ließ viele fragen, wie es die Welt verändern könnte.

Und wie es ihre Arbeit verändern könnte. 

„Als es zum ersten Mal vorgestellt wurde, fragten mich die Leute immer wieder: ‚Haben Sie Angst, dass KI Ihren Job wegnehmen wird?'“ sagt Carruthers. „Ich dachte, das wäre nicht möglich. Wir müssten erst an den Punkt kommen, an dem die KI eine Person wirklich verstehen und eine maßgeschneiderte Kampagne gegen sie aufbauen kann, bevor das passiert."

Im Rahmen von IBM® X-Force® führt Carruthers simulierte Social-Engineering-Angriffe und Cyberattacken durch, um Unternehmen dabei zu helfen, ihre Verteidigung gegen reale Angriffe zu stärken. Frühe generative KI-Modelle konnten zwar einige recht generische Phishing-Betrügereien aushecken, aber sie waren nicht in der Lage, die ausgeklügelten Angriffe durchzuführen, die ernsthafte Schäden verursachen. Diese Pläne erfordern gründliche Recherche, sorgfältige Planung und sehr gezielte Vorwände.  

Aber in zweieinhalb Jahren kann eine Menge passieren. Heute können viele große Sprachmodelle (LLMs) das Internet in Echtzeit durchsuchen. KI-Agenten, die in der Lage sind, autonom Workflows zu entwerfen und Aufgaben auszuführen, können noch einen Schritt weiter gehen, indem sie die aufgedeckten Informationen als Grundlage für ihre Aktionen verwenden.

Es scheint keine Übertreibung mehr zu sein, sich einen KI-basierten Bot vorzustellen, der Social-Engineering-Angriffe perfekt auf bestimmte Personen zuschneiden kann. Alles, was es braucht, ist ein Bedrohungsakteur, um es in Gang zu setzen. 

„Wir haben den Punkt erreicht, der mich beunruhigt“, sagt Carruthers. „Mit sehr wenigen Prompts kann ein KI-Modell eine Phishing-Nachricht schreiben, die nur für mich bestimmt ist. Das ist erschreckend.“

Laut dem 2025 IBM X-Force Threat Intelligence Index verfolgen Bedrohungsakteure heute im Durchschnitt größere, umfassendere Kampagnen als in der Vergangenheit. Diese Entwicklung ist zum Teil eine Frage der neuen Taktiken, da viele Angreifer ihren Fokus auf Angriffe auf die Lieferkette verlagert haben, die viele Opfer gleichzeitig betreffen.

Es geht aber auch darum, die Werkzeuge zu wechseln. Viele Angreifer haben die generative KI wie einen Praktikanten oder Assistenten übernommen und nutzen sie, um Websites zu erstellen, bösartigen Code zu generieren und sogar Phishing-E-Mails zu schreiben. Auf diese Weise hilft KI Bedrohungsakteuren, mehr Angriffe in kürzerer Zeit durchzuführen. 

„Die KI-Modelle helfen den Angreifern wirklich dabei, ihre Nachrichten zu bereinigen“, so Carruthers. „Wir machen sie prägnanter, dringlicher – machen sie zu etwas, auf das mehr Menschen hereinfallen.“

Carruthers weist darauf hin, dass schlechte Grammatik und ungeschickte Formulierungen seit langem zu den häufigsten Warnzeichen bei Phishing-Versuchen gehören. Cyberkrimineller neigen dazu, nicht sehr gewissenhaft mit der Rechtschreibprüfung zu sein und schreiben oft in einer Sprache, die sie nicht beherrschen, was insgesamt zu einer höheren Fehlerquote führt.  

Generative KI-Tools können jedoch technisch perfekte Prosa in praktisch allen wichtigen Sprachen der Welt erzeugen, einige der offensichtlichsten Social-Engineering-Erzählungen verbergen und mehr Opfer täuschen. 

Die KI kann diese Nachrichten auch deutlich schneller schreiben als ein Mensch. Carruthers und das X-Force-Team haben einige Experimente durchgeführt und herausgefunden, dass generative KI in fünf Minuten eine effektive Phishing-E-Mail schreiben kann. Für ein Team von Menschen, um eine vergleichbare Nachricht zu schreiben, dauert es etwa 16 Stunden, wobei ein Großteil dieser Zeit auf eine gründliche Recherche der Ziele entfällt. 

Auch ist es so, dass die Deepfake-Technologie KI-Modelle in die Lage versetzt, Bilder, Audio- und sogar Videoanrufe zu fälschen, was ihren Machenschaften noch mehr Glaubwürdigkeit verleiht.    

Allein im Jahr 2024 verloren die Amerikaner 12,5 Milliarden US-Dollar durch Phishing-Angriffe und andere Betrugsfälle. Diese Zahl könnte noch steigen, da immer mehr Betrüger generative KI nutzen, um in kürzerer Zeit überzeugendere Phishing-Nachrichten in mehr Sprachen zu erstellen. 

Und mit der Einführung von KI-Agenten können Betrüger ihre Operationen noch weiter ausbauen.

Recherchen machen oft den Unterschied zwischen einem gescheiterten und einem erfolgreichen Cyberangriff aus. Indem sie mehr über ihre Ziele (Unternehmen oder Einzelpersonen) herausfinden, können Bedrohungsakteure perfekt zugeschnittene Pläne ausarbeiten, Geschichten entwerfen, die fachmännisch die richtigen Herzen berühren, und Malware entwickeln, die die richtigen Sicherheitslücken ausfindig macht.

Und Angreifer können viele der benötigten Informationen online finden.

„Sie können so viel über eine Person erfahren, wenn Sie sich ihre sozialen Medien, die Website des Unternehmens oder das gesamte Internet ansehen“, sagt Carruthers. „Es gibt so viele Informationen, die in Blogbeiträgen, Pressemitteilungen, den Medien und sogar in Stellenanzeigen veröffentlicht werden.

Stellenangebote sind ein gutes Beispiel dafür, wie Angreifer scheinbar harmlose Informationen gegen ihre Opfer verwenden können.

„Durch das Lesen Ihrer Stellenausschreibung erfahre ich vielleicht, wie Ihr Tech-Stack aussieht und wer Ihre Anbieter sind“, erklärt Carruthers. „Jetzt kann ich meine Malware an Ihre Umgebung anpassen. Ich weiß, von welchen Anbietern ich mich ausgeben kann.“

Experten wie Carruthers befürchten, dass Angreifer mit KI-Agenten, die Workflows entwerfen und Tools einsetzen können, um komplexe Ziele zu erreichen, mehr automatisieren könnten als nur Phishing-E-Mails und gefälschte Websites.

Angreifer können theoretisch KI-Agenten einsetzen, um Informationen zu sammeln, sie zu analysieren, einen Angriffsplan zu formulieren und betrügerische Nachrichten und Deepfakes für den Angriff zu erstellen. 

Dieser Prozess ist viel umfangreicher, als das Erstellen von Variationen derselben Phishing-Nachricht mit unterschiedlichen Schreibstilen für unterschiedliche Ziele. Es ist eine erweiterte Form von superzielgerichtetem Spear-Phishing, das allgemein als die effektivste Form von Social Engineering angesehen wird.

Cybersicherheit-Experten haben noch keine nennenswerte Anzahl bösartiger KI-Agenten in freier Wildbahn entdeckt, aber es könnte nur eine Frage der Zeit sein. In einem aktuellen Artikel von MIT Technology Review wird Mark Stockley von Malwarebytes mit den Worten zitiert: „Ich denke, letztendlich werden wir in einer Welt leben, in der die meisten Cyberangriffe von Agenten durchgeführt werden. Es ist wirklich nur eine Frage, wie schnell wir das Ziel erreichen.“

Im Zeitalter der generativen KI funktionieren viele der traditionell zuverlässigen Abwehrmaßnahmen gegen Social-Engineering-Angriffe nicht mehr. 

„Das Erste, was wir unseren Mitarbeitern beibringen, ist, auf fehlerhafte Grammatik, Tippfehler und solche Dinge zu achten“, sagt Carruthers. „Für raffinierte Angreifer, die KI einsetzen, ist das nicht mehr wirklich eine Sache.“

Wenn diese stilistischen Warnsignale nicht mehr funktionieren, besteht eine Möglichkeit darin, den Schwerpunkt der Schulungen zum Sicherheitsbewusstsein auf fundiertere Diskussionen über Social-Engineering-Taktiken zu verlagern.

Social Engineers verlassen sich stark auf Imitationen, Fehlinformationen und emotionale Manipulation, wie Carruthers bereits berichtet hat. KI-gestützte Angriffe machen vielleicht weniger Rechtschreibfehler, aber sie beruhen immer noch auf denselben Strategien und Mustern wie konventionelle Social-Engineering-Angriffe. Wenn Mitarbeiter lernen, diese verräterischen Anzeichen zu erkennen, können sie mehr Cyberkriminalität vereiteln. 

Social Engineers machen sich die menschliche Psychologie zunutze, wie Neugier, Angst, den Wunsch zu helfen und den, sich anzupassen. Betrüger passen ihre Nachrichten so an, dass sie diese Emotionen entfachen: „Ich möchte, dass Sie dieses Geld sofort überweisen, sonst wird etwas sehr Schlimmes passieren.“

Die meisten üblichen Interaktionen am Arbeitsplatz sind viel weniger emotional geladen. Jobs können stressig sein, Kollegen passiv-aggressiv und Vorgesetzte anspruchsvoll. Aber die meisten Menschen versuchen, zumindest ein gewisses Maß an Höflichkeit zu bewahren.

Bitten, selbst wenn sie dringend sind, sind im Ton meist gemäßigter: „Hey, können Sie sicherstellen, dass diese Rechnung heute bezahlt wird? Wir sind aufgrund eines Druckfehlers spät dran und ich möchte den Lieferanten nicht verärgern.“

Wird eine wichtige Bitte mit starken Emotionen vorgetragen, kann das ein Hinweis sein, dass man innehalten sollte und noch einmal darüber nachdenkt.

Social Engineers sind Geschichtenerzähler und neigen dazu, sich an ein paar bewährte Handlungsstränge zu halten. Einige der häufigsten sind:

• Ich bin Ihr Chef und brauche Ihre Hilfe. Stellen Sie mir keine Fragen.

• Ich komme aus dem Bereich IT/Cybersicherheit/ einem Technologieanbieter und Ihr System ist kompromittiert. Wir müssen jetzt verschieben.

• Ich bin ein Verkäufer und kündige den Service sofort, wenn Sie nichts für mich tun. 

• Ich bin Strafverfolgungs- oder Regierungsbeamter und wenn Sie dieses Bußgeld nicht zahlen, kommen Sie heute ins Gefängnis.

• Ich bin zwar ein völlig Fremder, aber ich habe eine unglaubliche Investitionsmöglichkeit für Sie.

• Ich bin von der Post, und es gab ein Problem mit der Zustellung Ihres Pakets. Klicken Sie auf diesen Link, um das Problem zu lösen. 

• Ich arbeite bei einem Service oder einer Marke, dem bzw. der Sie vertrauen, und Ihr Konto wurde gehackt. Handeln Sie jetzt, um es zu beheben. 

• Ich bin bei einem Dienst oder einer Marke, der Sie vertrauen, und wir haben ein fantastisches Angebot für Sie. Handeln Sie jetzt, um es zu beanspruchen.

Allerdings personalisieren auch die raffiniertesten Angreifer ihre Berichte so weit wie möglich. Anstatt sich auf einen Überblick zu konzentrieren, empfiehlt Carruthers den Unternehmen, ihre Sicherheitsschulungen so auszurichten, dass sie die Arten von Cyber-Bedrohungen berücksichtigen, denen ihre Mitarbeiter am ehesten ausgesetzt sind.

„Überdenken Sie, wie Ihre Schulung zum Sicherheitsbewusstsein im Kontext der heute in Ihrem Unternehmen stattfindenden Angriffe aussieht“, sagt Carruthers. „Erhalten Sie bestimmte Arten von betrügerischen Anrufen? Integrieren Sie diese Anrufe in Ihr Training.“

Neben der Überarbeitung der Schulungsinhalte empfiehlt Carruthers, häufiger Schulungen durchzuführen. Auf diese Weise können die Lektionen hängen bleiben und wertvolle Tipps in den Köpfen der Menschen frisch bleiben, was die Wahrscheinlichkeit erhöht, dass sie die erlernten Sicherheitsmaßnahmen tatsächlich anwenden.  

„In der Regel werden Mitarbeiter zuerst angegriffen, um ein gesamtes Unternehmen zu kompromittieren“, sagt Carruthers. „Wenn wir ihnen einmal im Jahr eine Stunde Training geben, reicht das dann wirklich aus?“

Menschen können mehr Angriffe erkennen, wenn sie auf Warnsignale achten. Aber sie können einige Angriffe ganz verhindern, indem sie einschränken, was sie posten. 

„Es ist sowohl für Einzelpersonen als auch für Unternehmen sehr wichtig, dass sie wissen, was Sie online stellen“, sagt Carruthers.

In Bezug auf Social Engineering beruht die Leistunf von KI-Technologie und LLMs auf ihrer Fähigkeit, große Mengen an Informationen über Ziele auszusortieren und zu analysieren. Wenn solche Informationen nicht gefunden werden können, kann die KI keine maßgeschneiderten Angriffe entwickeln, was es für sie schwieriger macht, die Opfer zu täuschen, egal wie sauber ihre Prosa ist.

Carruthers weist darauf hin, dass „übermäßiges Teilen“ ein gängiger Ratschlag ist, aber dieser Tipp wird oft als „Veröffentlichen Sie keine vertraulichen Informationen online“ interpretiert. Dennoch können Betrüger sogar einige nicht sensible Informationen nutzen, um ihre Angriffe überzeugender zu gestalten.  

„Viele Stellenausschreibungen sind ein bisschen wie ein Organigramm aufgebaut: Diese Rolle ist dieser Rolle unterstellt, und diese Rollen sind ihr unterstellt“, erklärt Carruthers. "Das sind wertvolle Informationen. Ich habe eine Vorstellung davon, wie Ihr Unternehmen aussieht. Ich weiß, welche Titel ich verwenden muss und welche Rolle ich vorgeben sollte.“

Während Einzelpersonen strenge Datenschutzeinstellungen für ihre Social-Media-Konten vornehmen können, ist dieser Ansatz für Unternehmen nicht sehr praktisch. Unternehmen können jedoch vorsichtiger mit dem umgehen, was sie veröffentlichen, z. B. indem sie die Namensschilder ihrer Mitarbeiter auf Fotos unkenntlich machen.

„Die meisten Leute denken, es ist keine große Sache, ein Bild eines Mitarbeiterabzeichens zu finden“, sagt Carruthers. „Aus Sicht des Social Engineering kann ich jetzt das Aussehen dieses Ausweises nachbilden, was es viel einfacher macht, in ein Gebäude einzudringen.“