AI TRiSMとは

AI TRiSM、つまり人工知能（AI）の信頼、リスク、セキュリティー管理 (AI TRiSM) は、「AI モデルのガバナンス、信用性、公平性、信頼性、堅牢性、有効性、データ保護を保証します。これには、モデルの解釈可能性と説明可能性、AIデータ保護、モデル・オペレーション、敵対的攻撃耐性のためのソリューションと手法が含まれます。」¹

 調査・コンサルティング会社の Garnter®社が開発したもので、「これらのリスクを特定して軽減するための事前対応型のソリューションを提供し、信頼性、信用性、セキュリティーを保証します。」というものです。²

研究者によると、AIの信頼性、AIのリスク、 AIのセキュリティーに特に焦点を当てた個別のフレームワークは数多くありますが、それらを統合して同期させることは困難です。この調整不足により、AI管理が断片化される可能性があります。また、AIの実装やAIの実践に起因するリスクやセキュリティー上の結果について、知識のギャップが生じる可能性もあります。

しかしAI TRiSMフレームワークは、統一的なアプローチを提供します。さまざまなフレームワークの重要な部分を統合し、AIテクノロジーをより包括的に管理します。

AITRiSMの支持者は、大規模言語モデル（LLM）など、生成AIの進歩と使用の増加に関連するリスクとサイバー脅威を軽減するために、このフレームワークを重要視しています。生成AIの使用により、組織の攻撃対象領域が拡大し、ハッカーによるさらに高度なサイバー攻撃が可能になり、新たな倫理的考慮が生じる可能性があります。医療や金融などの分野におけるAITRiSMアプリケーションのメリットには、リスク軽減、モデル監視の強化、敵対的攻撃や不正アクセスに対する安全対策などがあります。³

Gartner社によると、「AIの信頼、リスク、セキュリティー管理（AI TRiSM）は、以下を保証します。

• ガバナンス
• 信用性
• 公平性
• 信頼性
• AIのデプロイメントにおけるデータ保護」⁴

AIガバナンスとは、AIシステムとツールが安全かつ倫理的であることを保証するプロセス、標準、ガードレールを指します。効果的なAIガバナンスには、潜在的な偏見やデータ・プライバシー侵害、その他の懸念に対処するためのメカニズムを備えたリスク管理が含まれると同時に、信頼を構築してイノベーションをサポートします。

また、AIシステムを継続的に監視および評価して、確立された倫理規範と法的規制の遵守を保証することも含まれます。AIガバナンスにはデータ・ガバナンスが含まれます。これは、データ検出やビジネス・インテリジェンスの取り組みにおいて容易にアクセスできる、安全で高品質のデータを維持するように設計されたデータ管理規律です。

さまざまな組織やフレームワークが、AIシステムの信頼性を判断するためのさまざまな指針と目標を重視しています。信頼できるAIのよく引用される原則には、説明責任、説明可能性、解釈可能性などがあります。

AIモデルのユーザーやその他の利害関係者が、どのようにモデルが機能するかを理解できない場合、AIシステムへの信頼が損なわれる可能性があります。適切なプロセスと方法論は、ユーザーが機械学習モデルの意思決定プロセスとアウトプットを理解し、信頼するのに役立ちます。

多くの場合、公平性を保つことには、AI開発ライフサイクルにおいてAIモデルとデータにおける偏りを軽減または排除することが含まれます。AIモデルは、トレーニングデータに埋め込まれる可能性のある社会の偏りを吸収します。社会的不平等を反映した偏ったデータ収集は、信用度スコアや雇用、その他の分野において、これまで疎外されてきたグループに害を及ぼす可能性があります。

AIのバイアス（偏り）を特定して対処するには、組織のAI活動を指示、管理、監視する能力が必要です。これは、AIガバナンス、具体的には、責任あるAI開発とAIテクノロジーの使用を導くためのポリシーと実践の構築を通じて達成できます。

信頼性とは、一般に、特定の条件下で一定期間にわたって期待または要求どおりに機能する能力を指します。AI システムに関して言えば、期待される性能を満たすには、システムの耐用年数と同じ期間にわたって正しいアウトプットを提供することが含まれます。⁵

データ保護とは、機密データを損失や破損から保護する取り組みです。データ保護は、データの可用性を維持することを目的としており、データ侵害やマルウェア攻撃によってデータが破損または紛失した場合でも、ユーザーが業務運営のためにデータにアクセスできることを保証します。

データ保護には、データ・セキュリティー（デジタル情報を不正アクセス、破損、盗難から保護すること）とデータ・プライバシー（個人が自分の個人データを管理すべきであるという原則）が含まれます。データ保護は、欧州一般データ保護規則（GDPR）などの主要な規制体制に準拠するための鍵となります。

従来のテクノロジーと新しいAI専用ソリューションの両方が、AI TRiSMをサポートしています。前者にはIDおよびアクセス管理（IAM）を提供するツールや、データ・セキュリティー体制管理のソリューションが含まれます。

AITRISMのAI固有のテクノロジーはプロバイダーによって異なり、セキュリティーやコンプライアンスなど特定の機能に焦点を当てたものもあります。また、AIガバナンスやAIランタイムの検査と実施のためのさまざまな機能を備えた、より包括的な製品を提供している企業もあります。

AIガバナンス・ソフトウェアにより、企業はAI開発活動を含むモデル情報を自動的に記録および監視して、監査サポートのためのモデルリスク評価の実施、モデル性能の評価と有害なコンテンツ生成の防止を行い、そして規制遵守の管理を行うことができます。ガバナンス・ツールの中には、組織向けに社内で作成されたAIモデルに限定されるものもあれば、Amazon BedrockやMicrosoft Azureなどのサード・パーティーのプラットフォームで作成されたモデルに適用できるものもあります。

Gartner社のWebセミナーによると、AIランタイムの検査と実施機能には、AIモデル、AIアプリケーション、AIエージェントが含まれます。AIモデル、AIアプリケーション、AIエージェントは「内部および外部制御のコンプライアンス」を提供し、AIアプリケーションは「コンテキストベースのアクセス制御と動的なコンテキスト・データ分類」を提供します。⁶

エンタープライズAIの導入と管理にAITriSmを実装するユースケースは複数あります。例えば、次のようなユースケースです。

医療関係者は、医療機器のオートメーションから画像分析まで、さまざまな目的でAI搭載のツールを使用することがますます増えています。AI TRiSMプログラムは、このようなシステムで使用されているヘルスケア・データをデータ侵害から保護するのに役立ちます。たとえば、アクセス制御などの対策で、不正アクセスの潜在的なリスクを軽減できます。

人口統計学的な偏りを含むデータセットを使用してAIアルゴリズムをトレーニングすると、結果にバイアスが生じる可能性があります。これは金融業界で既知の問題であり、ローンの承認や金利請求などに影響を及ぼします。デンマークでは、デンマーク企業協会が金融取引を監視するAIモデルの予測を検証する公平性テストを実施することでAITRISM手法を適用し、顧客の信頼を高めました。 ⁷

AI TRiSM基準は、金融取引の公平性を高めることに加えて、金融機関の不正アクセス検知システムを敵対的な攻撃から保護するのに役立ちます。⁸これらのAIソリューションは、銀行が消費者保護や機密情報の保護に関する法的要件を遵守するのにも役立ちます。