オープンソース、オープンリスク: 規制されていない生成AIの増大する危険性

主流の生成AIモデルには安全障壁が組み込まれていますが、オープンソースの代替モデルにはそのような制限はありません。これがサイバー犯罪にとって何を意味するのかを説明します。

オープンソースがソフトウェアの未来であることは疑いようがありません。2024 State of Open Source Reportによると、企業の3分の2以上が過去1年でオープンソースソフトウェアの利用を増やしました。

生成AIも例外ではありません。GitHubやその他のプラットフォームでオープンソースプロジェクトに貢献する開発者の数は急増しています。組織は、カスタマー・サービス用チャットボットからコード生成まで、幅広いユースケースにわたって生成AIに数十億ドルを投資しています。その多くは、ゼロから、またはオープンソース・プロジェクトで独自のAIモデルを構築しています。

しかし、正当な企業だけが生成AIに投資しているわけではありません。これは、敵対者間で誤情報を拡散しようとする不正国家、悪意のあるコードを開発するサイバー犯罪者や標的型フィッシング詐欺など、悪意のある攻撃者にとってまさに宝の山でもあります。

ガードレールを壊す

現時点では、悪意のある攻撃者を遠ざける数少ない要素の1つは、AIモデルを悪用から保護するために開発者が設置したガードレールです。ChatGPTが意図的にフィッシングメールを生成したり、Midjourneyが攻撃的な画像を作成したりすることはありません。ただし、これらのモデルは完全なクローズドソース・エコシステムに属しており、その背後にいる開発者が、何が使用でき、何が使用できないかを決定する力を持っています。

ChatGPTが一般公開されてからわずか2か月でユーザーは1億人に到達しました。それ以来、数え切れないほどのユーザーがそのガードレールを突破し、「ジェイルブレイク」して自分の望むことを何でもしようとしてきましたが、成功の度合いはさまざまです。

オープンソースモデルの止められない台頭により、これらのガードレールは時代遅れになるでしょう。従来、クローズドソースモデルに遅れを取ってきましたが、オープンソースモデルの性能向上が確実であることに疑いの余地はありません。理由は単純です。開発者は好きなデータをトレーニングに使用できるからです。プラス面としては、AIを大企業や規制当局だけに委ねるのではなく、透明性と競争を促進すると同時に、AIの民主化を支援することができます。

しかし、安全対策がなければ、生成AIはサイバー犯罪の新たな標的となります。FraudGPTやWormGPTなどの不正AIは、ダークウェブ市場で広く入手可能です。どちらも2021年にEleutherAIが開発したオープンソースの大規模言語モデル(LLM) GPT-Jをベースにしています。

悪意のある攻撃者は、Stable Diffusionのようなオープンソースの画像合成装置を使用して、不正なコンテンツを生成できる特殊なモデルを構築しています。AI生成動画コンテンツは目前に迫っています。その能力は現在、高性能なオープンソースモデルの可用性と、それらを実行するために必要な膨大な計算能力によってのみ制限されています。

IBMニュースレター

The DX Leaders

AI活用のグローバル・トレンドや日本の市場動向を踏まえたDX、生成AIの最新情報を毎月お届けします。登録の際はIBMプライバシー・ステートメントをご覧ください。

これは企業にとって何を意味するのでしょうか？

これらの問題を、十分に訓練されたチームであれば対処できる外部脅威として片付けたい誘惑に駆られるかもしれません。しかし、独自の生成AIモデルの構築に投資する組織が増えるにつれ、内部の攻撃対象領域が拡大するリスクもあります。

モデル開発における最大の脅威の1つは、トレーニング・プロセス自体です。たとえば、トレーニングデータセットに機密データ、著作権で保護されたデータ、または不正確なデータが含まれている場合、プロンプトに応じて後で再び表示される可能性があります。これは、開発チーム側の見落とし、または悪意のある攻撃者による意図的なデータ・ポイズニング攻撃の原因である可能性があります。

プロンプトインジェクション攻撃もリスクの源であり、ベンダーの利用規約に反するコンテンツを生成させるためにモデルを騙したりジェイルブレイクさせたりします。これはすべての生成AIモデルが直面するリスクですが、十分な監視がなければ、オープンソース環境ではそのリスクが間違いなく大きくなります。AIツールがオープンソース化されると、そのツールの元となる組織は、テクノロジーの開発と使用に対するコントロールを失うことになります。

規制されていないAIがもたらす脅威を理解する最も簡単な方法は、クローズド・ソースのAIに不正な動作をさせることです。ほとんどの状況下では協力を拒否されますが、数多くの事例が示すように、通常は創造的なプロンプトと試行錯誤だけです。しかし、Stability AI、EleutherAI、Hugging Faceなどの組織が開発したオープンソースのAIシステムや、社内で構築している独自のシステムを使用すれば、そのような制限に遭遇することはありません。

IBMお客様事例

お客様のビジネス課題（顧客満足度の向上、営業力強化、コスト削減、業務改善、セキュリティー強化、システム運用管理の改善、グローバル展開、社会貢献など）を解決した多岐にわたる事例のご紹介です。

脅威と重要なツール

結局のところ、オープンソースのAIモデルの脅威は、いかに悪用されやすいかにあります。モデル開発における民主化を進めること自体は崇高な目標ですが、脅威は進化し拡大する一方であり、企業は規制当局がこれに追いつくと期待することはできません。そのため、AI自体もサイバーセキュリティーの専門家にとって重要なツールとなっています。その理由については、AIサイバーセキュリティーに関するガイドをお読みください。