什么是 AI 风险管理？

AI 风险管理是系统地识别、减轻和解决与AI技术相关的潜在风险的过程。它涉及各种工具、实践和原则的结合，特别强调部署正式的AI风险管理框架。

一般来说，AI 风险管理的目标是最大限度地减少AI的潜在负面影响，同时最大限度地提高其效益。

AI 风险管理是更广泛的人工智能治理领域的一部分。人工智能治理是指确保 AI 工具和系统安全、合乎道德并始终如此的防护栏。

人工智能治理是一门综合学科，而 AI 风险管理则是这门学科中的一个流程。AI 风险管理专门侧重于识别和解决漏洞和威胁，以确保 AI 系统安全，免受伤害。人工智能治理确立了指导 AI 研究、开发和应用的框架、规则和标准，以确保安全、公平和尊重人权。

近年来，AI 系统的使用在各行各业激增。麦肯锡报告显示（链接位于 ibm.com 外部），72% 的组织目前使用某种形式的人工智能 (AI)，比 2023 年增长了 17%。

虽然组织都在追求 AI 的好处，如创新、效率和提高生产力，但并不总是能解决其潜在的风险，如隐私问题、安全威胁以及道德和法律问题。

领导者非常清楚这一挑战。IBM 商业价值研究院 (IBM IBV) 最近的一项研究（链接位于 ibm.com 以外）发现，96% 的领导者认为，采用生成式AI更有可能造成安全漏洞。同时，IBM IBV 还发现，目前只有 24% 的生成式 AI 项目得到了保障。

AI 风险管理有助于缩小这一差距，使组织能够在不损害 AI 道德或安全的情况下，充分发挥 AI 系统的潜力。

与其他类型的安全风险一样，AI 风险可以理解为衡量潜在的 AI 相关威胁对组织造成影响的可能性以及该威胁会造成的损害程度。

虽然每种 AI 模型和用例都不尽相同，但 AI 的风险一般可分为四类：

• 数据风险
• 模型风险
• 运营风险
• 道德和法律风险

如果管理不当，这些风险会使 AI 系统和组织面临重大损失，包括经济损失、声誉受损、监管处罚、公众信任度下降和数据泄露。

AI 系统依赖的数据集可能容易受到篡改、泄露、偏见或网络攻击的影响。组织可以在从开发到培训和部署的整个 AI 生命周期中保护数据的完整性、安全性和可用性，从而降低这些风险。

常见的数据风险包括：

• 数据安全：数据安全是AI系统面临的最大、最关键的挑战之一。威胁行为者通过破坏为 AI 技术提供支持的数据集，会给组织带来严重问题，包括未经授权的访问、数据丢失和机密性泄露。

• 数据隐私：AI 系统通常会处理敏感的个人数据，这些数据很容易被泄露，从而给组织带来监管和法律问题。

• 数据完整性：AI 模型的可靠性取决于其训练数据。失真或有偏差的数据会导致误报、输出不准确或决策失误。

威胁行为者可以针对 AI 模型进行盗窃、逆向工程或未经授权的操纵。攻击者可能会通过篡改模型的架构、权重或参数（决定AI模型行为和性能的核心组件）来破坏模型的完整性。

最常见的模型风险包括：

• 对抗性攻击：这些攻击操纵输入数据，欺骗AI系统做出错误的预测或分类。例如，攻击者可能会生成对抗性示例，并将其输入AI算法，以故意干扰决策或产生偏见。

• 提示注入：这些攻击以大型语言模型 (LLM) 为目标。黑客将恶意输入伪装成合法提示，操纵生成式 AI系统泄露敏感数据、传播错误信息，甚至更糟。即使是基本的提示注入也会让 ChatGPT 等 AI 聊天机器人忽略系统防护，说出不该说的话。

• 模型的可解释性：复杂的 AI 模型往往难以解释，用户很难理解它们是如何做出决定的。这种缺乏透明度的情况最终会阻碍偏见检测和问责，同时削弱人们对 AI 系统及其提供商的信任。

• 供应链攻击：当威胁行为者在供应链层面（包括开发、部署或维护阶段）以 AI 系统为目标时，就会发生供应链攻击。例如，攻击者可能会利用 AI 开发中使用的第三方组件的漏洞，导致数据泄露或未经授权的访问。

虽然 AI 模型看似神奇，但从根本上说，它们是复杂代码和机器学习算法的产物。与所有技术一样，它们也容易受到操作风险的影响。如果不加以解决，这些风险可能会导致系统故障和安全漏洞，从而被威胁者利用。

一些最常见的业务风险包括：

• 漂移或衰减：AI 模型会出现模型漂移，即数据或数据点之间关系的变化会导致性能下降。例如，随着时间的推移，欺诈检测模型的准确性可能会降低，让欺诈交易漏网。

• 可持续性问题：AI 系统是复杂的新技术，需要适当的扩展和支持。忽视可持续发展会给这些系统的维护和更新带来挑战，导致性能不稳定，运营成本和能耗增加。

• 集成挑战：将 AI 系统与现有 IT 基础设施整合起来可能非常复杂，而且需要大量资源。组织经常会遇到兼容性、数据孤岛和系统互操作性等问题。引入 AI 系统也会扩大网络威胁的攻击面，从而产生新的漏洞。

• 缺乏问责制：由于 AI 系统是相对较新的技术，许多组织没有建立适当的公司治理结构。其结果是，AI 系统往往缺乏监督。麦肯锡发现（链接位于 ibm.com 以外），仅有 18% 的组织设有有权就负责任的 AI 管理做出决策的理事会或董事会。

如果组织在开发和部署 AI 系统时不优先考虑安全和道德问题，他们就有可能侵犯隐私并产生有偏见的结果。例如，用于招聘决策的有偏见的培训数据可能会强化性别或种族刻板印象，并创建偏向某些人口群体而非其他群体的 AI 模型。

常见的道德和法律风险包括

• 缺乏透明度：组织的 AI 系统如果不透明、不负责，就有可能失去公众的信任。

• 未能遵守监管要求：不遵守 GDPR 等政府法规或特定行业的指导方针可能会导致巨额罚款和法律处罚。

• 算法偏见：AI 算法可能会从训练数据中继承偏见，从而导致潜在的歧视性结果，例如有偏见的招聘决定和不平等的金融服务。

• 道德困境：AI 决策可能会引发与隐私、自主权和人权有关的伦理问题。处理不当会损害组织的声誉和公众的信任。

• 缺乏可解释性：AI 中的可解释性是指理解AI系统所做决定并证明其合理性的能力。缺乏可解释性会妨碍信任，导致法律审查和声誉受损。例如，如果企业的首席执行官不知道他们的 LLM 从哪里获得培训数据，就可能导致负面新闻或监管调查。

许多组织通过采用 AI 风险管理框架来应对 AI 风险，这些框架是管理整个 AI 生命周期风险的一整套指导方针和实践。

我们也可以将这些指导方针视为运行手册，其中概述了有关组织使用 AI的政策、程序、角色和责任。AI 风险管理框架可帮助组织开发、部署和维护 AI 系统，从而最大限度地降低风险、维护道德标准并实现持续的合规性。

最常用的AI风险管理框架包括：

• NIST AI 风险管理框架
• 欧盟 AI 法案
• ISO/IEC 标准
• 美国 AI 行政令

2023 年 1 月，美国国家标准与技术研究院 (NIST) 发布了《AI 风险管理框架》(AI RMF)（链接位于 ibm.com 外部），为管理 AI 风险提供了结构化方法。NIST AI RMF 自此成为 AI 风险管理的基准。

AI RMF 的主要目标是帮助各组织在设计、开发、部署和使用 AI 系统时有效管理风险，并推广值得信赖、负责任的 AI 实践。

AI RMF 是与公共和私营部门合作开发的，完全出于自愿，适用于任何公司、行业或地区。

该框架分为两个部分。第 1 部分概述了值得信赖的 AI 系统的风险和特点。第 2 部分 "AI RMF Core "概述了四项功能，以帮助组织应对 AI 系统风险：

• 治理：创建 AI 风险管理的组织文化
• 地图：在特定业务环境中界定 AI 风险
• 措施：分析和评估 AI 风险
• 管理：应对已绘制和测量的风险

欧盟 AI 法 (EU AI Act) 是一部管理欧盟（EU）AI 开发和使用的法律。该法案采取基于风险的监管方法，根据AI系统对人类健康、安全和权利造成的威胁，对其适用不同的规则。该法案还制定了设计、训练和部署通用 AI 模型的规则，例如为 ChatGPT 和谷歌双子座提供支持的基础模型。

国际标准化组织 (ISO) 和国际电工委员会 (IEC) 已经制定了针对 AI 风险管理各个方面的标准（链接位于 ibm.com 以外）。

ISO/IEC 标准强调了 AI 风险管理中透明度、问责制和道德因素的重要性。它们还为管理从设计、开发到部署和运营的整个 AI 生命周期的 AI 风险提供了可操作的指导原则。

2023 年底，拜登政府发布了一项关于确保 AI 安全和安保的行政命令（链接位于 ibm.com 外部）。虽然从技术上讲，这并不是一个风险管理框架，但这一全面指令确实为制定管理 AI 技术风险的新标准提供了指导。

该行政令强调了几个关键问题，包括促进透明、可解释和可问责的值得信赖的 AI。在许多方面，该行政命令为私营部门树立了一个先例，表明了全面 AI 风险管理实践的重要性。

虽然 AI 风险管理流程必然因组织而异，但 AI 风险管理实践一旦成功实施，就能带来一些共同的核心优势。

AI 风险管理可以加强组织的网络安全态势和 AI 安全的使用。

通过定期进行风险评估和审计，企业可以在整个 AI 生命周期内识别潜在的风险和漏洞。

在这些评估之后，他们可以实施缓解战略，以减少或消除已确定的风险。这一过程可能涉及技术措施，如加强数据安全和提高模型的稳健性。这一过程还可能涉及组织调整，如制定道德准则和加强准入控制。

采取这种更加积极主动的方法来检测和应对威胁，可以帮助组织在风险升级之前将其降低，减少数据泄露的可能性和网络攻击的潜在影响。

AI 风险管理还有助于改善组织的整体决策。

通过混合使用定性和定量分析，包括统计方法和专家意见，组织可以清楚地了解其潜在风险。这种全景视图可帮助组织确定高风险威胁的优先级，并围绕AI部署做出更明智的决策，在创新愿望与降低风险需求之间取得平衡。

全球对保护敏感数据的关注日益增加，推动了主要监管要求和行业标准的制定，包括《通用数据保护条例》(GDPR)、《California Consumer Privacy Act》(CCPA) 和《欧盟 AI 法案》。

不遵守这些法律会导致巨额罚款和重大法律处罚。AI 风险管理可以帮助组织实现合规并保持良好的信誉，尤其是在 AI 相关法规的发展速度几乎与技术本身一样快的情况下。

AI 风险管理使组织能够利用 AI 系统实时处理潜在风险，从而帮助企业最大限度地减少中断，确保业务连续性。AI 风险管理还能使各组织为 AI 的使用制定明确的管理做法和方法，从而鼓励加强问责制和长期可持续性。

AI风险管理通过优先考虑信任和透明度，鼓励对 AI 系统采取更加道德的方法。

大多数 AI 风险管理流程都涉及广泛的利益相关者，包括高管、AI 开发人员、数据科学家、用户、决策者甚至伦理学家。这种包容性的方法有助于确保 AI 系统以负责任的方式开发和使用，并考虑到每一个利益相关者。

通过定期测试和监控流程，组织可以更好地跟踪AI系统的性能，并更快地发现新出现的威胁。这种监控有助于组织保持持续的合规性，并尽早补救 AI 风险，减少威胁的潜在影响。

尽管 AI 技术具有简化和优化工作方式的潜力，但也并非没有风险。几乎所有的企业 IT 设备都可能成为落入坏人手中的武器。

组织不必回避生成式 AI。他们只需像对待其他技术工具一样对待它。这意味着要了解风险并采取积极措施，将攻击成功的几率降到最低。

使用 IBM watsonx.governance，各组织可在一个集成平台上轻松指导、管理和监控AI活动。IBM watsonx.governance 可以管理来自任何供应商的生成式 AI 模型，评估模型的健康状况和准确性，并自动执行关键的合规工作流。