什么是 AI TRiSM？

AI TRiSM（人工智能信任、风险与安全管理）“确保人工智能模型的治理、可信度、公平性、可靠性、鲁棒性、有效性以及数据保护。 其涵盖模型可解释性、AI 数据保护、模型运营及对抗攻击防御的解决方案与技术。” ¹
 

 该框架由研究咨询公司 Gartner 开发，“提供主动式解决方案来识别并降低这些风险，从而确保可靠性、可信度和安全性”。²

研究人员称，尽管许多独立的框架专门关注 AI 信任、AI 风险或 AI 安全，但它们的整合和同步具有挑战性。这种缺乏协调的情况可能会导致 AI 管理碎片化。它还可能导致在 AI 实施和 AI 实践产生的风险和安全后果方面存在知识差距。

然而，AI TRiSM 框架提供了一种统一的方法，整合不同框架的核心组件以实现更全面的 AI 技术管理。

AI TRiSM 的支持者认为该框架对于降低与生成性 AI（例如大型语言模型(LLM)）的进步和日益频繁的使用相关的风险和网络威胁非常重要。生成式 AI 的使用会增加组织的攻击面，使黑客能够进行更复杂的网络攻击，并引发新的道德忧虑。AI TRiSM 应用在医疗保健和金融等领域的益处包括降低风险、增强模型监控措施，以及防范对抗性攻击和未经授权的访问。³

Gartner 表示：“AI 信任、风险和安全管理 (AI TRiSM) 可确保：

• 管制
• 可信度
• 公平性
• 可靠性
• AI 部署中的数据保护“⁴

人工智能治理是指有助于确保 AI 系统和工具安全且道德的流程、标准和防护措施。有效的人工智能治理包括风险管理，涉及消除潜在偏见、违反数据隐私和其他问题的机制，同时还要建立信任和支持创新。

其要求对 AI 系统实施持续监控与评估，确保符合既定伦理规范与法律法规。AI 治理包含数据治理——旨在维护安全、高质量的数据，这些数据易于访问，可用于数据探索和商业智能计划。

不同的组织和框架强调确定 AI 系统可信度的各种指导原则和目标。值得信赖的 AI 的经常被引用的原则包括问责制、可解释性和可阐述性。

当 AI 模型用户及其他利益相关方难以理解模型运行机制时，会削弱他们对 AI 系统的信任。恰当的流程与方法论可以帮助用户理解并信任机器学习模型的决策过程和输出。

公平性通常涉及在 AI 开发生命周期期间减少或消除 AI 模型和数据中的偏见。AI 模型吸收了可以嵌入其训练数据中的社会偏见。反映社会不平等情况的有偏倚的数据收集可能会在信用评分、招聘和其他领域对历史上的边缘化群体造成伤害。

识别和化解 AI 中的偏见需要指导、管理和监控组织的 AI 活动的能力。这可以通过人工智能治理来实现，具体来说，即制定政策和实践来指导负责任的 AI 开发和 AI 技术的使用。

可靠性通常是指某事物在特定条件下、特定时间内按预期或要求运作的能力。就 AI 系统而言，满足性能预期包括在可能与系统生命周期一样长的时间内提供正确的输出。⁵

数据保护是保护敏感数据免遭丢失和损坏的实践。数据保护旨在维持数据可用性，确保用户可在业务运营中访问数据——即使数据在数据泄露或恶意软件攻击中受损或丢失。

数据保护涵盖数据安全（保护数字信息免遭未经授权访问、损坏或盗窃）和数据隐私（个人应对其个人数据拥有控制权的原则）。数据保护是遵守主要监管制度的关键，例如欧洲通用数据保护条例 (GDPR)。

传统技术与新型 AI 专用解决方案均支持 AI TRiSM。前者包括用于提供身份和访问管理 (IAM) 的工具以及针对数据安全态势管理的解决方案。

适用于 AI TRiSM 的 AI 特定技术因提供商而异。有些专注于某些功能，例如安全性或合规性。其他提供商则会提供具有一系列功能的更全面产品，而这些功能包括：

• 人工智能治理

• AI 数据保护和分类

• AI 运行时检查和执行（请参阅下一节中的更多信息）

根据 Gartner 于 2025 年 2 月发布的额外指导，TRiSM 解决方案还应包括：⁷

组织中所用 AI 实体的库存，例如各种配置中的模型、智能体和应用程序，其范围则涵盖从现成第三方应用程序中的嵌入式 AI 到自带 AI，再到检索增强生成系统和第一方模型

用于训练或微调 AI 模型、为 RAG 系统中的用户查询提供上下文或为 AI 智能体式系统馈送信息的数据。

对性能、可靠性、安全性或安全期望与指标进行持续的保证和评估，而这些指标可用于基准测试。保证和评估会在部署前和部署后（带外）进行。

应用于模型、应用程序和智能体交互，以支持事务处理与组织治理策略保持一致。对相关的连接、流程、通信、输入和输出进行检查，以寻找违反政策和预期行为的情况。异常情况会被突出显示，并进行阻止、自动修复或转发给人工或事件响应系统以便进行调查、分类、响应和适用的修复。

在企业 AI 的部署和管理中，实施 AI TRiSM 的用例有很多。这包括：

医疗专业人员越来越多地将 AI 驱动的工具用于各种用途，从医疗设备自动化到图像分析。AI TRiSM 方案可保护这些系统中的医疗数据免遭泄露。例如，访问控制等措施能降低未授权访问风险。

当使用包含人口统计偏差的数据集来训练 AI 算法时，结果可能会有偏倚。这一直是金融行业的一个已知问题，从而会影响贷款审批、利息费用等。在丹麦，丹麦商业协会通过执行公平性测试来执行 AI TRiSM 实践，以验证监督金融交易的 AI 模型的预测，并提高客户信任度。⁸

除提升金融交易公平性外，AI TRiSM 措施有助于保护金融机构的欺诈检测系统免受对抗性攻击。⁹这些 AI 解决方案还有助银行遵守有关消费者保护和敏感信息保障的法律要求。

点击此处阅读完整报告。