生成AI時代のソーシャル・エンジニアリング：2024年の予測

大規模言語モデル（LLM）の躍進により、サイバーセキュリティー詐欺師とソーシャル・エンジニアリング詐欺師の間で競争が激化しています。2024年に予定されている状況は次のとおりです。

企業にとって、生成AIは脅威でもあり機会でもあります。企業がテクノロジーの導入を競い合う中で、まったく新しいサイバー・リスクに直面することにもつながります。見逃してしまうのではないかという絶え間ない恐怖も助けにはなりません。しかし、サイバー犯罪者が狙っているのはAIモデルそのものだけではないのです。偽物がニューノーマルである時代に、彼らはAIを使用して、非常に説得力のあるソーシャル・エンジニアリング攻撃を作成したり、誤情報を大規模に生成したりしています。

創造的で分析的なプロセスを支援する生成AIの可能性は間違いありませんが、リスクはそれほど明確ではありません。結局のところ、この技術を使用して作成されたフィッシングメールは、タイプミスや文法エラーだらけのメールよりも説得力があります。画像合成装置で作成されたプロフィール画像は、本物と見分けがますます難しくなっています。今、ディープフェイクの動画でさえ簡単に騙される段階に来ています。

これらのテクノロジーを使用することで、サイバー犯罪者は非常に説得力のあるペルソナを作成し、ソーシャル・メディアやEメール、さらにはライブ音声やビデオ通話を通じて攻撃範囲を拡大することができるのです。確かに、ソーシャル・エンジニアリングにおける生成AIはまだ初期段階ですが、今後数年間にサイバー犯罪のランドスケープを形成することについてはほとんど疑いの余地がありません。それを念頭に置いて、2024年に向けた、生成AI駆動のサイバー犯罪予測のトップをいくつかご紹介します。

サービスとしての犯罪は何も目新しいものではありません。サイバー犯罪シンジケートは、長年にわたりダークウェブ・フォーラムやマーケットプレイスに潜伏し、技術的能力の低い個人を募集し、悪意あるリーチを拡大してきました。

しかし、AIとデータの民主化により、技術的ではない脅威アクターが戦いに参加する新たな機会が生まれています。LLMの助けを借りて、サイバー犯罪者になる前に、いくつかのプロンプトに入力するだけで、説得力のあるフィッシング・Eメールや悪意のあるスクリプトを作成できます。この新世代の脅威アクターは、AIの武器化を合理化できるようになりました。

2023年10月、IBM AIが生成したフィッシング・シミュレーションEメールのクリックスルー率が11%であったのに対し、人間の場合は14%であったというレポートを発表しました。人間が勝者として浮上した一方で、技術の進歩によりその差は急速に縮まっています。感情知能をよりよく模倣し、パーソナライズされたコンテンツを作成できる、より洗練されたモデルの台頭を考慮すると、AIが作成したフィッシング・コンテンツは、間違いなく説得力のあるものになる可能性が高くなります。説得力のあるフィッシングメールを作成するには何時間もかかる可能性がありますが、生成AIを使用すると数分で作成できます。

ルーティンのフィッシングEメールは、スペルや文法の間違い、その他の明らかな手がかりによって簡単に識別できなくなります。これは、ソーシャルエンジニアリング詐欺師がより巧妙になっているという意味ではありませんが、彼らが利用できるテクノロジーは確実に巧妙になっています。

さらに、詐欺師は、なりすまししようとしているブランドからデータを簡単に盗み出し、そのデータをLLMにフィードして、正規のブランドのトーン、声、スタイルを埋め込んだフィッシング・コンテンツを作成することができます。また、ソーシャル・メディア上で過剰に共有する傾向があることを考えると、AIで強化したデータ・スクレイピングは、オンライン・ペルソナを取得し、高度にパーソナライズされた攻撃の親密なターゲット・プロファイルに変える点において、ますます熟練しています。

一般的な生成AIモデルのほとんどは、クローズド・ソースであり、堅固な安全バリアが組み込まれています。ChatGPTは意図的にフィッシングメールを生成することはなく、Midjourneyは恐喝に使用される可能性のある侵害画像を意図的に生成することもありません。とはいえ、最も厳重に監視され保護されているプラットフォームであっても、悪用される可能性があります。たとえば、ChatGPTが登場して以来、フィルターや制限なしで動作させるために、いわゆるDAN（do any now）プロンプトを使用して、ChatGPTを脱獄しようとする人が続出しています。

私たちは現在、モデル開発者と、事前に定義された限界を超えようとする開発者との間の競争の真っただ中にいます。ほとんどの場合、これは好奇心と実験の結果であり、自分が何に直面しているのかを知りたいサイバーセキュリティー専門家の間でもそうです。

より大きなリスクは、画像合成用のStable Diffusionやテキスト生成用のGPT4ALLなどのオープンソース・モデルの開発にあります。オープンソースLLMはカスタマイズ、拡張が可能で、任意の制約から解放されます。さらに、これらのモデルは、クラウドの監視の目から遠く離れた、十分に強力なグラフィックス・カードを搭載したデスクトップ・コンピューター上で実行できます。カスタム・モデルやオープンソース・モデルには通常、ある程度の技術的専門知識が必要ですが、そのトレーニングに関しては、マルウェア開発やデータサイエンスの専門家に限定されません。

サイバー犯罪シンジケートはすでに独自のカスタム・モデルを開発し、VIAダークウェブを通じて販売しています。WormGPTやFraudGPTは、マルウェアの開発やハッキング攻撃に使われるチャットボットの例です。そして、主流モデルと同じように、絶え間ない開発と改良が行われています。

2024年2月、CNNは、多国籍企業の財務従業員が詐欺師に2,500万米ドルを支払ったと報告しました。これは、ほとんどの人がよく知っているようなフィッシング・メールではありませんでした。むしろ、詐欺師が生成AIを使用して、ライブ電話会議中に会社の最高財務責任者に説得力を持たせるアバターを作成するというディープフェイク・ビデオでした。

このような攻撃は、ディストピアンスなSFのシナリオから直接抜け出していると思うかもしれません。結局のところ、数年前には異常に見えていたものが、現在では高度で標的を絞ったソーシャル・エンジニアリング攻撃のナンバーワン攻撃ベクトルとなりつつあるのです。

最近の報告によると、2023年だけで、ディープフェイク詐欺の試みが3,000%増加し、この傾向が2024年以降も次に進むと考える理由はありません。結局のところ、顔交換技術は現在すぐに利用できるようになり、他のあらゆる生成AIと同様に、立法者や情報セキュリティの専門家が追いつくのはほぼ不可能なペースで進歩しています。

ディープフェイク動画詐欺を阻む唯一のものは、特にリアルタイムで実行される詐欺の場合、相当の計算能力が必要となることです。特に近い将来におけるより差し迫った懸念は、生成AIが音声や文体を模倣する能力です。たとえば、MicrosoftのVALL-Eは、3秒間のオーディオ録音から誰かの声の説得力のあるクローンを作成できます。手書き文字でさえディープフェイクから免れることはできません。

他の破壊的イノベーションと同様、生成AIも良くも悪くも影響を与える可能性があります。情報セキュリティ専門家が対応できる唯一の現実的な方法は、脅威の検知と軽減のプロセスにAIを組み込むことです。AIソリューションはまた、セキュリティチームのスピード、正確性、効率を向上させるためのツールも提供します。生成AIは、特にマルウェア分析、フィッシングの検知と防止、脅威のシミュレーションとトレーニングなどのオペレーションにおけるインフォセキュリティー・チームの支援を行います。

サイバー犯罪者に先んじる最も効果的な方法は、サイバー犯罪者のように考察することであり、だからこそレッドチーム化や攻撃的なセキュリティの価値があります。脅威アクターが使用するものと同様のツールとプロセスを使用することで、インフォセキュリティーの専門家は、一歩先を行く準備ができます。

テクノロジーの仕組みと悪意のある攻撃者がその使用方法を理解することで、企業は従業員をより効果的にトレーニングして、合成メディアを検知することもできます。なりすましや欺きがかつてないほど容易になっている時代において、偽物の台頭から現実を守ることがかつてないほど重要になっています。

ジェネレーティブAIの時代におけるサイバーセキュリティーと、AIがセキュリティ・チームの能力をどのように高めることができるかについて詳しく知りたい方は、IBMの詳細ガイドをご覧ください。