生成AIソリューションの確保

オープンWebアプリケーション・セキュリティー・プロジェクト（OWASP）は、LLMおよび生成AIアプリケーションに関する上位10件のリスクと脆弱性のバージョン1を公開しました。下図は、エージェント型AIアーキテクチャーのコンテキストでこれらの脆弱性を示しています。

1. プロンプト・インジェクションは、攻撃者がLLMプロンプトに悪意のあるコンテンツを挿入できる場合に発生します。コンテンツは、より大きなプロンプト内に埋め込まれたプロンプト／命令から、ハイパーリンク、LLMが読み込むコンテンツ（例：「次のURLでテキストを読んで解析して..」）やその他の手段までを範囲とします。プロンプト・インジェクションにより、攻撃者はモデルを操作して、指示を無視したり、望ましくない出力や誤った出力を提供したりすることができます。
   
   
2. 安全でないアウトプット処理は、LLMのアウトプットが悪意のある可能性または意図について十分に検証されていない場合に発生します。この種の脆弱性の例としては、LLMがユーザーのブラウザに渡されて実行されるJavascriptコードの生成を求められたり、LLMが生成したシェルスクリプトやその他の「システム」コードを直接実行したりすることが挙げられます。
   
   
3. トレーニング・データ・ポイズニングは、攻撃者がモデルのトレーニング・データや構成データを変更または操作して、モデルに脆弱性を導入できる場合に発生します。例えば、攻撃者はビジネスプロセスの説明を変更して、特定の個人に無制限に送金できるようにすることができます。あるいは、競合他社がファインチューニング・データを修正して、モデルが企業の製品よりも自社の製品を推奨するようにすることもできます。
   
   
4. モデルサービス拒否は、攻撃者がモデルを操作して大量のリソースを消費させ、パフォーマンスの低下や他のユーザーがモデルを利用できなくなる場合に発生します。モデルサービス拒否の例としては、モデルのコンテキスト・ウィンドウのサイズをちょうど下回るプロンプトを繰り返し送信したり、大量のメモリーを消費したり、モデルがコンテキスト・ウィンドウを再帰的に拡張・処理する（無限ループ）ようにプロンプトを送信したりすることなどが挙げられます。
   
   
5. サプライチェーンの脆弱性は、攻撃者によって悪用される未知の脆弱性を含む可能性のあるサードパーティソフトウェアの使用に関連する典型的な脆弱性と、トレーニング・プロセスにおいて未検証のデータやクラウドソーシングされたデータを使用してモデルによって生成される脆弱性の両方です。
   
   
6. 機密情報の開示は、モデルが機密情報や個人情報を開示する場合に発生します。これは、プロンプト・インジェクション攻撃が成功した結果として、エンタープライズ・システムのアウトプットの安全でない処理を通じて、またはモデルを操作して機密性の高いアウトプット（例えば、有効なクレジットカード番号）を生成する悪意のあるプロンプトを通じて発生する可能性があります。
   
   
7. 安全でないプラグイン設計は、モデルから直接呼び出されるツールが安全に設計されていない場合に発生します。例えば、管理ユーザーとして実行されるツール、またはアウトプットを通じてプロンプト・インジェクションを可能にするツールなどです。
   
   
8. 過剰なエージェンシーは、モデルまたは自律エージェントが、LLMからの予期しないアウトプットや曖昧なアウトプットに対応して、有害なアクションや不正なアクションを実行する能力を持つ場合に発生します。
   
   
9. 過度の依存は、モデルのアウトプットが事実に基づくソースや手順上の制御に照らして正確性が検証されない場合に発生します。過度の依存の最も一般的な例は、モデルがハルシネーションを起こし、誤ったアウトプットが事実として受け入れられる場合、例えば店舗の返品ポリシーについて顧客に誤った回答を提供するチャットボットなどですが、過度の依存は、モデルが生成したコードや画像によっても発生する可能性があります。
   
   
10. モデルの盗難は、攻撃者がモデル、その重み、および/またはパラメーターを侵害したり、物理的に盗んだり、コピーしたりできる場合に発生します。攻撃者はモデルを手に入れると、そのモデルに組み込まれた貴重な知的財産を悪用したり、自社使用のためにモデルの複製を作成したりすることができます。
    

以下の図は、OWASP Top 10の脆弱性から保護/軽減するためのセキュリティー・コンポーネントの配置を示すアーキテクチャーを追加したものです。

IDおよびアクセス管理（IAM）コンポーネントが追加されて強力なユーザーIDとロールが提供され、盗難やモデル開示につながる可能性のあるアプリケーション機能とAPIへのアクセスを制御することで、モデル盗難のリスクを軽減します。

特権ユーザーと同様の機能を備えたエージェントのIDとアクセス制御（Agent Access Control）が、エージェントのアクセス権をユーザーのIDとロールに対応させるために追加されました。ハルシネーションや、形成不良、あるいは曖昧なプロンプトによる、過剰なエージェンシーや異常なエージェントの行動を防ぎます。

生成AI監視コンポーネント（GenAI Monitoring）がアーキテクチャー全体に追加され、プロンプト・インジェクション、安全でないアウトプット処理、機密データの開示、過度な依存を防ぐことができます。GenAI Monitoringと従来のデータ漏洩監視の組み合わせをデプロイして、プロンプト/レスポンスベースの攻撃から保護します。例えば、SQLクエリーの成果にプロンプトを挿入したり、API呼び出しやデータベースクエリーなどの成果に表示される可能性のある機密情報の開示を防いだりすることができます。

トレーニング・データ・ポイズニング攻撃は、構成管理ツールとモニタリング・ツール、およびモデルのトレーニング、ファインチューニング、構成データに関する構造化されたバージョン管理およびリリース・プロセスの追加によって軽減されます。

最後に、個々のコンポーネントのログから潜在的な脆弱性と攻撃を特定するために、統合された動作監視とイベント相関コンポーネントが追加されています。潜在的な問題をシステム・オペレーターに通知するために通知とアラートのコンポーネントが追加され、特定された問題に対するシステムと手動の対応を自動化および/または調整するために、対応オーケストレーション・コンポーネントが追加されます。