AI TRiSMとは

AI TRiSM、つまり人工知能（AI）の信頼、リスク、セキュリティー管理 (AI TRiSM) は、「AI モデルのガバナンス、信用性、公平性、信頼性、堅牢性、有効性、データ保護を保証します。これには、モデルの解釈可能性と説明可能性、AIデータ保護、モデル・オペレーション、敵対的攻撃耐性のためのソリューションと手法が含まれます。」¹

調査・コンサルティング会社の Garnter®社が開発したもので、「これらのリスクを特定して軽減するための事前対応型のソリューションを提供し、信頼性、信用性、セキュリティーを保証する」というものです。²

研究者によると、AIの信頼性、AIのリスク、 AIのセキュリティーに特に焦点を当てた個別のフレームワークは数多くありますが、それらを統合して同期させることは困難です。この調整不足により、AI管理が断片化される可能性があります。また、AIの実装やAIの実践に起因するリスクやセキュリティー上の結果について、知識のギャップが生じる可能性もあります。

しかしAI TRiSMフレームワークは、統一的なアプローチを提供します。さまざまなフレームワークの重要な部分を統合し、AIテクノロジーをより包括的に管理します。

AITRiSMの支持者は、大規模言語モデル（LLM）など、生成AIの進歩と使用の増加に関連するリスクとサイバー脅威を軽減するために、このフレームワークを重要視しています。生成AIの使用により、組織の攻撃対象領域が拡大し、ハッカーによるさらに高度なサイバー攻撃が可能になり、新たな倫理的考慮が生じる可能性があります。医療や金融などの分野におけるAITRiSMアプリケーションのメリットには、リスク軽減、モデル監視の強化、敵対的攻撃や不正アクセスに対する安全対策などがあります。³

Gartner社によると、「AIの信頼、リスク、セキュリティー管理（AI TRiSM）は、以下を保証します。

• ガバナンス
• 信用性
• 公平性
• 信頼性
• AIのデプロイメントにおけるデータ保護」⁴

AIガバナンスとは、AIシステムとツールが安全かつ倫理的であることを保証するプロセス、標準、ガードレールを指します。効果的なAIガバナンスには、潜在的な偏見やデータ・プライバシー侵害、その他の懸念に対処するためのメカニズムを備えたリスク管理が含まれると同時に、信頼を構築してイノベーションをサポートします。

また、AIシステムを継続的に監視および評価して、確立された倫理規範と法的規制の遵守を保証することも含まれます。AIガバナンスにはデータ・ガバナンスが含まれます。これは、データ検出やビジネス・インテリジェンスの取り組みにおいて容易にアクセスできる、安全で高品質のデータを維持するように設計されたデータ管理規律です。

さまざまな組織やフレームワークが、AIシステムの信頼性を判断するためのさまざまな指針と目標を重視しています。信頼できるAIのよく引用される原則には、説明責任、説明可能性、解釈可能性などがあります。

AIモデルのユーザーやその他の利害関係者が、どのようにモデルが機能するかを理解できない場合、AIシステムへの信頼が損なわれる可能性があります。適切なプロセスと方法論は、ユーザーが機械学習モデルの意思決定プロセスとアウトプットを理解し、信頼するのに役立ちます。

多くの場合、公平性を保つことには、AI開発ライフサイクルにおいてAIモデルとデータにおける偏りを軽減または排除することが含まれます。AIモデルは、トレーニングデータに埋め込まれる可能性のある社会の偏りを吸収します。社会的不平等を反映した偏ったデータ収集は、信用度スコアや雇用、その他の分野において、これまで疎外されてきたグループに害を及ぼす可能性があります。

AIのバイアス（偏り）を特定して対処するには、組織のAI活動を指示、管理、監視する能力が必要です。これは、AIガバナンス、具体的には、責任あるAI開発とAIテクノロジーの使用を導くためのポリシーと実践の構築を通じて達成できます。

信頼性とは、一般に、特定の条件下で一定期間にわたって期待または要求どおりに機能する能力を指します。AI システムに関して言えば、期待される性能を満たすには、システムの耐用年数と同じ期間にわたって正しいアウトプットを提供することが含まれます。⁵

データ保護とは、機密データを損失や破損から保護する取り組みです。データ保護は、データの可用性を維持することを目的としており、データ侵害やマルウェア攻撃によってデータが破損または紛失した場合でも、ユーザーが業務運営のためにデータにアクセスできることを保証します。

データ保護には、データ・セキュリティー（デジタル情報を不正アクセス、破損、盗難から保護すること）とデータ・プライバシー（個人が自分の個人データを管理すべきであるという原則）が含まれます。データ保護は、欧州一般データ保護規則（GDPR）などの主要な規制体制に準拠するための鍵となります。

従来のテクノロジーと新しいAI専用ソリューションの両方が、AI TRiSMをサポートしています。前者にはIDおよびアクセス管理（IAM）を提供するツールや、データ・セキュリティー体制管理のソリューションが含まれます。

AITRISMのAI固有のテクノロジーはプロバイダーによって異なり、セキュリティーやコンプライアンスなど特定の機能に焦点を当てたものもあります。また、次のようなさまざまな機能を備えた、より包括的な製品を提供している企業もあります。

• AIガバナンス

• AIデータの保護と分類

• AIランタイムの検査と執行（詳細は次のセクション参照）

2025年2月に発表されたガートナーの追加ガイダンスによると、TRiSMソリューションには以下の項目も含まれるはずです。⁷

組織内で使用されているAIエンティティのインベントリ。モデル、エージェント、アプリケーションなど、さまざまな構成のものが含まれ、既製のサードパーティ製アプリケーションに組み込まれたAIから、BYOD（Bring Your Own AI）、検索拡張型生成システム、ファーストパーティモデルまで多岐にわたります。

AIモデルのトレーニングやファイン・チューニング、RAGシステムでのユーザー・クエリーにコンテキストの提供、AIエージェント・システムへのフィードなどに使用されるデータ。

ベースラインに使用される性能、信頼性、セキュリティー、または安全性に対する期待とメトリクスの継続的な保証と評価。保証と評価は、デプロイメント前、デプロイメント後（帯域外）に適用されます。

モデル、アプリケーション、エージェントのインタラクションに適用され、組織のガバナンス・ポリシーとのトランザクションの整合性をサポートします。適用される接続、プロセス、通信、インプット、アウトプットについて、ポリシーや期待される動作に違反がないかを検査します。異常はハイライトされ、調査、トリアージ、対応、適切な修復のために、ブロック、自動修復、または人間またはインシデント対応システムに転送されます。

エンタープライズAIの導入と管理にAITriSmを実装するユースケースは複数あります。例えば、次のようなユースケースです。

医療関係者は、医療機器のオートメーションから画像分析まで、さまざまな目的でAI搭載のツールを使用することがますます増えています。AI TRiSMプログラムは、このようなシステムで使用されているヘルスケア・データをデータ侵害から保護するのに役立ちます。たとえば、アクセス制御などの対策で、不正アクセスの潜在的なリスクを軽減できます。

人口統計学的な偏りを含むデータセットを使用してAIアルゴリズムをトレーニングすると、結果にバイアスが生じる可能性があります。これは金融業界で既知の問題であり、ローンの承認や金利請求などに影響を及ぼします。デンマークでは、デンマーク企業協会が金融取引を監視するAIモデルの予測を検証する公平性テストを実施することでAI TRiSM手法を適用し、顧客の信頼を高めました。⁸

AI TRiSM対策は、金融取引の公平性を高めることに加えて、金融機関の不正アクセス検知システムを敵対的な攻撃から保護するのに役立ちます。⁹これらのAIソリューションは、銀行が消費者保護や機密情報の保護に関する法的要件を遵守するのにも役立ちます。

レポート全文はこちらからご覧ください。