生成AIによって危険性が増し、検知が困難になるソーシャル・エンジニアリング

IBMのサイバー・レンジのグローバル・リードであり、ピープル・ハッカー部門主任であるStephanie Carruthersが、2022年に率直に感じたことを語ります。近年ChatGPTは、生成人工知能を一般に認知されるまでに普及させました。その不気味なほど人間味のある言語スキルと深い知識ベースの組み合わせが、世界をどのように変えるのか、多くの人々が関心を抱いています。

また、それは仕事をどのように変えるのでしょうか。

「AIが導入された当初、『AIに仕事を奪われることに恐怖を感じますか？』と聞かれ続けました」とCarruthersは言います。「それは起こり得ない、と思いました。そうなる前に、AIは一人の人物を本当に理解し、その人に対するカスタムキャンペーンを構築できるところまで到達しなければならないでしょう。」

Carruthers氏はIBM® X-Forceの一員として、模擬ソーシャル・エンジニアリングのスキームやサイバー攻撃を実行し、企業が本物に対する防御を強化するのを支援しています。初期の生成AIモデルは、かなり一般的なフィッシング詐欺をでっち上げることはできましたが、深刻な被害をもたらす高度な攻撃を行うことはできませんでした。こうした計画には、綿密な調査、慎重な計画、そして高度に的を絞ったもっともらしい理屈が必要です。

しかし、2年半の間に多くのことが起こる可能性があります。今日では、多くの大規模言語モデル（LLM）がリアルタイムでWebを検索できます。ワークフローを自律的に設計し、タスクを実行できるAIエージェントは、アクションの情報を提供するために発見した情報を使用することで、さらに一歩進めることができます。

ソーシャル・エンジニアリング攻撃を特定の個人に合わせて完璧にカスタマイズできるAIベースのチャットボットを想像することは、もはや誇張ではないように思えます。必要なのは、脅威アクターがそれを実行に移すことだけです。

「私が懸念している段階に達しました」とCarruthers氏は言います。「ほんの少しのプロンプトで、AIモデルは私だけを対象としたフィッシング・メッセージを作成できます。これは恐ろしいことです。」

2025年版IBM X-Force脅威インテリジェンス・インデックスによると、今日の脅威アクターは、平均して、過去よりも大規模で幅広いキャンペーンを展開しています。多くの攻撃者が、一度に多くの被害者に影響を与えるサプライチェーン攻撃に焦点を移しているため、このような展開は、ある程度は戦術の変化の問題です。

しかし、ツールの変更の問題でもあります。多くの攻撃者は、インターンやアシスタントのような生成AIを採用し、Webサイトの構築や悪意のあるコードの生成、さらにはフィッシングEメールの作成に使用しています。このように、AIは脅威アクターがより短い時間でより多くの攻撃を実行することを支援します。

「AIモデルは、攻撃者がメッセージを整理することにかなり役立っています」とCarruthersは言います。「内容をより簡潔にし、より緊急性を高めることで、より多くの人々が騙されてしまうものにします。」

Carruthersは、誤った文法と不自然なフレーズの言い回しが、長い間、フィッシング詐欺によく見られる危険信号の1つだったと指摘します。サイバー犯罪者はスペルチェックに不用意な傾向があり、第二言語や第三言語で書いていることが多いため、全体的な間違いの量が多くなります。  

しかし、生成AIツールは、事実上すべての主要な言語で技術的に完璧な散文を生成することができるため、最も明らかなソーシャル・エンジニアリングの手がかりのいくつかを隠し、より多くの被害者を騙すことができます。 

また、AIは、人間よりもはるかに速くこれらのメッセージを書くことができます。CarruthersとX-Forceチームはいくつかの実験を行い、生成AIが効果的なフィッシングメールを5分で作成できることを発見しました。人間のチームが同等のメッセージを書くには、約16時間かかり、その時間の大半をターゲットに関する詳細な調査が占めます。 

またディープフェイク技術についても考慮した場合、AIモデルは偽の画像、音声、ビデオ通話さえも作り出せるため、攻撃者の手口に対する信用性がさらに強化されます。   

2024年だけでも、アメリカ人はフィッシング攻撃やその他の詐欺によって 125億米ドルを失いました。より多くの詐欺師が生成AIを使用し、より多くの言語で、より短時間で説得力のあるフィッシング・メッセージを作成するため、その数はさらに増加する可能性があります。

そして、AIエージェントの登場により、詐欺師はオペレーションをさらに拡大することができます。

調査がサイバー攻撃の失敗と成功を分けるのは、よくあることです。標的（組織または個人）を調査することで、脅威アクターは完璧にカスタマイズされた計画を立て、心の琴線に巧みに触れるストーリーを作成し、適切な脆弱性を突くマルウェアを開発することができます。

また、攻撃者は必要な情報の多くをオンラインで見つけることができます。

「ソーシャルメディア、会社のWebサイト、オープンWebのどこを見ても、個人について多くのことを知ることができます」と、Carruthers氏は言います。「人々がブログ記事、プレスリリース、メディア、さらには求人記事に載せる情報は非常に多いです。」

求人広告は、攻撃者が一見無害に見える情報を被害者に送る際の好例です。

「求人ポストを読むことで、技術スタックがどのようなものか、またベンダーが誰なのかを知ることができます」と、Carruthers氏は説明します。「今では、環境に合わせてマルウェアをカスタマイズできます。どのベンダーから来たふりをすればいいか分かっています。」

Carruthers氏をはじめとする専門家は、ワークフローを設計し、複雑な目的を達成するためのツールを使用できるAIエージェントを使用することで、攻撃者はフィッシングEメールや偽のWebサイト以上のものを自動化できる可能性があると懸念しています。

攻撃者は理論上、AIエージェントを使用して情報を収集し、分析し、攻撃計画を立て、攻撃に使用する詐欺メッセージやディープフェイクを生成することができます。

このプロセスは、ターゲットごとに異なる書き方で同じフィッシング・メッセージのバリエーションを生成するよりもはるかに重要です。これはスーパーターゲット型スピア・フィッシングをスケールアップしたもので、ソーシャル・エンジニアリングの最も効果的な形態と広く考えられています。

サイバーセキュリティー専門家は、悪意のあるAIエージェントをまだ有意の数では発見していませんが、これは時間の問題かもしれません。MIT Technology Reviewの最近の記事では、Malwarebytes社のMark Stockley氏の次の言葉が引用されています。「最終的には、サイバー攻撃の大半がエージェントによって実行される世界に私たちは住むことになると思います。問題は、どれだけ早くその状態になるかということだけです。」

生成AIの時代において、ソーシャル・エンジニアリング攻撃に対する従来の信頼できる防御の多くはもはや機能しなくなります。

「従業員に最初に教えるのは、間違った文法や誤字脱字などに気をつけることです」とCarruthersは言います。「AIを駆使する洗練された攻撃者にとって、これはもはや意味を成しません。」

こうした様式的な危険信号が機能しない場合、1つの選択肢は、セキュリティー・アウェアネス・トレーニングの焦点をソーシャルエンジニアリングの手口に対してより実践的な議論に移すことです。

Carruthers氏が以前に取り上げたように、ソーシャル・エンジニアはなりすまし、誤情報、感情操作に大きく依存しています。AI搭載詐欺は、スペルミスは少なくなるかもしれませんが、それでも古典的なソーシャル・エンジニアリング攻撃と同じ比喩やパターンに頼っています。従業員がこれらの明らかな徴候を発見する方法を学ぶことで、より多くのサイバー犯罪を阻止することができます。

ソーシャル・エンジニアは、好奇心、恐怖心、助けたいという願望、溶け込みたいという願望など、人間の心理を食い物にします。詐欺師は、「今、このお金を送金してもらいたい。そうしなければ、非常に悪いことが起こる」という感情を引き起こすようにメッセージを調整します。

正当な職場でのやり取りのほとんどは、感情的な負荷がはるかに軽減されています。仕事はストレスが多いもので、同僚は受動攻撃的で、上司は要求が厳しい場合があります。しかし、ほとんどの人は、少なくとも最低限の丁寧さは維持しようと努めています。

リクエストは、たとえ緊急であっても、次のように、より落ち着いた調子になるのが一般的です：「お疲れ様です。この請求書ですが、本日中にお支払いいただくことは可能でしょうか。」事務的なミスで遅れが発生しており、できる限り業者様にご迷惑をおかけせずに進めたいと考えております。」

強い感情をもって行われる重要な要求は、立ち止まって考察するきっかけとなるべきものです。

ソーシャル・エンジニアはストーリーテラーであり、いくつかの実証済みのストーリー展開に固執する傾向があります。最も一般的な例として、以下のような場合があります。

• 私はあなたの上司であり、あなたの助けが必要です。私には何も質問しないでください。

• 私はIT/サイバーセキュリティー/テクノロジーベンダーの人間ですが、貴社のシステムは侵害されています。今すぐ、行動を起こす必要があります。

• 私はベンダーであり、何かをしない限りサービスを直ちに終了します。 

• 私は警察官、または官公庁・自治体の職員です。この罰金を払わなければ、あなたは今日刑務所に行くことになります。

• 私はあなたと全く面識はありませんが、信じられないほどの投資のチャンスをあなたに提供します。

• 私は郵便局に勤めていますが、あなた宛ての荷物の配達に問題がありました。問題を解決するには、このリンクをクリックしてください。

• 私はあなたが信頼するサービスまたはブランドと取引していますが、そのアカウントがハッキングされました。今すぐ行動して、問題を修正してください。 

• 私はあなたが信頼するサービスまたはブランドと取引しており、あなたに素晴らしい特典があります。今すぐ行動して、その価値を手に入れましょう。

とはいえ、最も巧妙な攻撃者は、可能な限りストーリーをパーソナライズします。Carruthersは、概要だけでなく、従業員が直面する可能性が最も高い種類のサイバー脅威に具体的に対処するために、セキュリティー・トレーニングを調整することを組織に推奨しています。

「現在、あなたの組織で実際に攻撃が起きている状況下で、セキュリティー意識向上トレーニングがどのようなものか再評価してください」と、Carruthers氏は言います。「特定の種類の詐欺電話がかかってきますか？このような通話をトレーニングに取り入れてください。」

Carruthers氏は、トレーニング・コンテンツを再確認するとともに、トレーニングをより頻繁に実施することも推奨しています。そうすることで、教訓が定着し、貴重なヒントが人々の頭の中で新鮮に保たれるようになるので、学んだセキュリティー対策を実際に使用する可能性が高まります。

「通常、組織全体を危険にさらすために最初に攻撃されるのは従業員です」とCarruthers氏は言います。「年に1回、1時間のトレーニングを行うとしたら、それで本当に十分でしょうか？」

危険信号を探すことで、進行中の攻撃をさらに発見できます.ですが、投稿する内容を制限することで、一部の攻撃を完全に防ぐことができます。

「個人にとっても組織にとっても、オンラインに載せる内容について認識することは本当に重要です」とCarruthersは言います。

ソーシャル・エンジニアリングの観点では、AIテクノロジーとLLMの力は、ターゲットに関する大量の情報を掘り下げて分析する能力から生まれます。そのような情報が見つからない場合、AIツールはカスタマイズされた攻撃を作成できないため、どれほどクリーンな言葉を使用しても、被害者を騙すことが困難になります。

Carruthersは、「過剰共有を避ける」ことは一般的なアドバイスだと指摘しますが、多くの場合このアドバイスは「機密情報をオンラインに投稿しないように」と解釈されます。しかし、詐欺師は、攻撃をより説得力のあるものにするために、機密性の低い情報を使用することもあります。  

「多くの求人広告は、『この職種についてはこの担当に報告し、これらの担当がそれについて報告する』という組織図のようなものを配置します」とCarruthersは説明します。「それは貴重な情報です。あなたの組織がどのようなものか、私はなんとなく概要を把握できます。どのような役職を使用すべきか、どのような役割を演じるべきかわかってしまうのです。」

個人がソーシャルメディアのアカウントで厳格なプライバシー設定を維持することは可能ですが、組織にとってそのアプローチはあまり現実的ではありません。しかし企業は、写真に写っている従業員のバッジをぼかすなど、公開する内容についてより慎重になることができます。

「ほとんどの人は、従業員バッジの写真を見つけることが重要であるとは考えていません」とCarruthers氏は言います。「ソーシャル・エンジニアリングの観点からすると、そのバッジの外観を再現できるようになり、自分が所属していない建物に入るのがはるかに簡単になりました。」