データを保護する
データの収集と処理の段階では、AIモデルに供給するために大量のデータを収集する必要があるだけでなく、データサイエンティスト、エンジニア、開発者など、さまざまな人々がアクセスできるようにする必要があります。すべてのデータを1カ所に集約し、さまざまな関係者（そのほとんどはセキュリティーに携わった経験がありません）にアクセスを許可することには、固有のリスクが伴います。
トレーニング用データの取り扱いを誤ったために、ビジネスの基本となる知的財産（IP）が公開され、ビジネスに存続の脅威をもたらす可能性があるかどうかを考えてみましょう。AIモデルに大量のデータを活用するということは、組織が個人を特定できる情報（PII）、プライバシーに関する懸念、その他の機密情報に関連するさまざまなリスクを評価し、そのデータに適切なセキュリティー対策を適用しなければならないことを意味します。
起こりうる攻撃に対する安全策と防御策
データ収集段階の主なターゲットは基礎となるデータセットであり、データ窃盗は、攻撃者が貴重で収益化可能な情報を入手するために使用する可能性が最も高い手法であると考えられています。攻撃者が最も抵抗の少ない抜け道を模索する中、高い収益を約束する基礎となるデータセットは極めて危険な状況にあります。
組織はセキュリティー対策の基本の重要性を軽視してはなりません。むしろ、これをを優先する必要があります。これらの基本原則を正しく適用することで、組織のセキュリティー体制に大きな影響を与えることができます。これには、データの検出と分類、保存時および転送中の暗号化、IBM® Security Guardiumなどのデータ・セキュリティー・プラットフォームから提供されるキー管理に重点を置くことが含まれます。また、IBM® Security Verifyなどのソリューションによって実施されるIDおよびアクセス管理の基礎に重点を置くことも意味します。これにより、単一のエンティティーがAIモデルに無制限にアクセスできないようにすることができます。最後に、組織はデータサイエンティストや研究者のセキュリティー意識を高め、セキュリティー・チームがそれらのチームと緊密に連携して適切なガードレールを確保できるようにする必要があります。
モデルの保護
モデル開発では、新しい方法でアプリケーションを構築しますが、多くの場合、これは、攻撃者が環境へのエントリー・ポイントとして、さらにはAIモデルへのエントリー・ポイントとして使用できる、悪用可能な新しい脆弱性をもたらすことにつながります。組織はこれまで、自社の環境内で発見された既知の脆弱性の増加を管理することに苦労してきました。したがって、このリスクはAI導入に際しても引き継がれることになります。
AIアプリケーションの開発は、多くの場合、データサイエンス・チームがオンライン・モデル・リポジトリーから事前トレーニング済みのオープンソースの機械学習（ML）モデルを再利用することから始まりますが、これらのモデル・リポジトリーには包括的なセキュリティー制御が欠けていることがよくあります。しかし、生成AIの導入に必要な時間と労力を大幅に削減するなど、これが組織に提供する価値は、多くの場合リスクを上回り、最終的には企業に利益がもたらされます。MLモデルに関するセキュリティーが一般的に不足していることと、MLモデルに投入される機密データが増えていることにより、これらのモデルを標的とした攻撃による被害の可能性が高まっています。
起こりうる攻撃に対する安全策と防御策
モデル開発中によくある攻撃手法はサプライチェーンに対する攻撃です。これは、開発作業を加速するために使用されるオンライン・モデル・リポジトリーからの事前トレーニング済みのオープンソースMLモデルに大きく依存していることに理由があります。攻撃者はこれらのオンライン・リポジトリーに同様にアクセスできるため、バックドアやマルウェアをそこにデプロイしています。そしてデータがリポジトリーに再度アップロードされると、感染したモデルをダウンロードするすべての人が使用するマシンがエントリー・ポイントになる可能性があります。これらのモデルが感染した場合、検知するのは非常に困難になる可能性があります。組織は、モデルをどこで消費するか、そのソースがどの程度信頼できるかについて、極めて慎重にならなければなりません。
アプリケーション・プログラミング・インターフェース（API）攻撃も別の懸念事項です。独自の大規模言語モデル（LLM）を構築するためのリソースや専門知識を持たない組織は、事前にパッケージ化されたトレーニング済みのモデルの機能を利用するためにAPIに依存しています。攻撃者は、これがLLMの主要な消費モデルになることを認識しており、APIインターフェースを標的にして、APIを介して転送されるデータにアクセスし、それを悪用しようとします。
攻撃者は、ビジネス・ワークフローで特権アクションを実行できるオープンエンド機能やダウンストリーム・システムにアクセスするために、過剰な権限を持つLLMエージェントまたはプラグインを悪用しようとする可能性もあります。攻撃者がAIエージェントに付与された権限を侵害した場合、被害は壊滅的なものとなる場合があります。
組織は次のことに焦点を当てる必要があります。
使用の保護
推論中および実際の使用中に、攻撃者はプロンプトを操作してガードレールを脱獄し、偏った情報、誤った情報、その他の有害な情報を含む有害なプロンプトに対して許可されていない応答を生成することで、モデルを不正な動作に誘導することができます。これにより、企業の評判に損害が生じる可能性があります。攻撃者は、モデルを操作して入力/出力のペアを分析し、代替モデルをトレーニングしてターゲット・モデルの動作を模倣し、実質的にその機能を「盗み」、企業の競争上の優位性を損なおうとする可能性もあります。
起こりうる攻撃に対する安全策と防御策
AIパイプラインのこの段階では、いくつかの種類の攻撃が懸念されます。まず、プロンプト・インジェクションです。攻撃者は悪意のあるプロンプトを使用してモデルを脱獄し、不当なアクセスを取得したり、機密データを盗んだり、出力にバイアスを導入したりします。もう1つの懸念は、モデル・サービス拒否です。攻撃者がLLMに入力を大量に送信してサービス品質を低下させ、高いリソース・コストを発生させるというものです。組織は、攻撃者が入力を作成してモデル出力を収集し、ターゲット・モデルの動作を模倣する代替モデルをトレーニングするモデル盗難にも備え、防御する必要があります。
IBMのベスト・プラクティスには、プロンプト・インジェクションなどの悪意のある入力や機密データや不適切なコンテンツを含む出力を監視すること、データポイズニング、モデル回避、モデル抽出など、AI固有の攻撃を検出して対応できる新しい防御を実装することが含まれます。機械学習検出および対応（MLDR）という、新しいAI固有のソリューションが市場に登場しました。これらのソリューションから生成されたアラートは、IBM® Security QRadarなどのセキュリティー運用ソリューションに統合できるため、セキュリティー運用センター（SOC）チームは、アクセスを拒否したり、侵害されたモデルを隔離または切断したりする対応プレイブックを迅速に開始できます。
インフラストラクチャーの保護
攻撃を防止する最初の防御線は、安全なインフラストラクチャーです。組織は既存の専門知識を活用して、AIシステムをホストする分散環境全体でセキュリティー、プライバシー、コンプライアンスの標準を最適化する必要があります。AI環境におけるネットワーク・セキュリティー、アクセス制御、データ暗号化、侵入検知および防止を強化することが不可欠です。また、AIを保護するために特別に設計された新しいセキュリティー防御への投資も検討する必要があります。
ガバナンスの構築
IBMはAIのセキュリティー対策だけでなく、AIの運用ガバナンスも提供しており、信頼できるAIモデルを実現するためのAIガバナンスにおいて業界をリードしています。組織は、運用ビジネス・プロセスをAIにオフロードする際、AIシステムが迷走せず、期待どおりに動作していることを確認する必要があります。つまり、運用上のガードレールが効果的なAI戦略の中心になります。設計目的から運用上逸脱したモデルは、インフラストラクチャーを侵害する敵と同じレベルのリスクをもたらす可能性があります。
