什么是 AI 管理？

人工智能系统的行为与传统软件不同。传统软件程序遵循明确的指令，产生确定性的输出：在相同情况下向传统程序提供相同的输入，总会产生相同的输出。而 AI 驱动系统则产生由机器学习算法驱动的概率性输出：即使输入和环境保持不变，其输出也可能变化。

这种动态逻辑具有独特的强大之处，但其带来的不可预测性也伴随着潜在风险。例如，组织面临因偏见或有毒输出而导致的声誉风险。不受控制或被忽视的 AI 幻觉本身会带来广泛的风险，从让用户感到烦恼或困惑，到在任务关键型场景中产生不准确信息并引发重大后果。人工智能驱动的对抗性攻击或遭篡改的数据集会带来网络安全风险。在快速变化的环境中未能遵守 AI 法规，会带来财务和法律风险。

AI 管理系统 (AIMS) 旨在预见并应对这些风险。用更具体的术语来说，AIMS 可以理解为将健全的人工智能治理嵌入到与组织使用 AI 工具和产品相关的所有工作流中的政策和协议。这包括标准化主动风险评估、报告机制、例行审计等措施，以及对模型输出和性能的实时监控。

执行良好的 AI 管理系统不仅能降低风险，还能优化运营效率，并在开发者、最终用户以及其他对有效采用 AI 至关重要的利益相关方之间建立信任。

一个全面的人工智能管理系统应解决以下问题：

公平性和偏见问题可能会影响谁？他们如何受到影响？您的 AI 项目是否可能无意中导致歧视？除了法规要求之外，您在数据隐私和准确传达系统能力与局限性方面的道德责任是什么？对此类伦理问题坦诚透明，能够维持利益相关者的信心，并改善后续的决策。

您的 AI 应用程序的开发或部署中存在哪些特定的固有威胁？例如，在医疗或法律领域使用 AI 工具必须考虑到监管后果；在客户服务环境中 AI 出错则可能带来声誉风险。鉴于缓解这些威胁是 AIMS 的主要目的之一，识别您的用例所伴随的具体 AI 风险应成为该过程中最早也是最重要的步骤之一。

适当的数据治理对于维持用于训练 AI 模型的数据（以及由 AI 模型生成的数据）的持续质量和安全至关重要。这在需要遵守监管框架的领域中尤为重要。例如，如果用户主张其源于 GDPR 的“被遗忘权”，您的系统必须能够轻松定位并删除该个人的数据。在医疗环境下运行的系统必须保护敏感信息，遵守 HIPAA 的要求。

应对这些考量的协议和政策不仅必须嵌入 AI 系统的开发和初始部署中，还必须嵌入其持续维护中。适当的 AI 生命周期管理对于发现和抑制模型漂移或其他可能随时间出现的问题所带来的风险是必要的。

对 AI 系统运行状况进行主动深度审视的策略，是维护 AI 管理系统旨在帮助实现的目标的最重要手段之一。例行审计的具体结构和节奏是 AI 管理中最关键的操作考量之一。

由谁负责实施和监督这一切？明确划分个人角色和职责，对于将 AI 管理策略从纸面上听起来不错的东西，转变为在组织内积极守护 AI 创新的实际行动是必要的。

在 AI 开发过程的早期建立这些原则和流程，有助于后续优化和简化决策。

有许多方法可以实现有效的 AI 管理，一些组织可能会选择对其 AI 管理举措采用完全定制的方法。但许多组织将受益于遵循（或至少借鉴）既定框架，例如 ISO 42001、NIST AI 风险管理框架或《欧盟 AI 法案》规定的原则。

ISO 42001（全称 ISO/IEC 42001:2023）是世界上第一个关于建立、实施、维护和持续改进 AIMS 的国际标准。ISO 42001 制定于 2023 年，其既定目标是为组织提供“他们负责任且有效地使用 AI 所需的全面指导，即使该技术正在快速发展。”组织可以申请正式的 ISO 42001 认证，这需要第三方对系统和流程进行审计，以评估其对 ISO 42001 规定的 AI 实践的遵守情况。

更具体地说，ISO 42001 使用计划-执行-检查-处理方法，规定了用于健全的组织 AI 治理的管理体系标准 (MSS)。

计划阶段是 AIMS 定义 AI 系统运行规则的地方。

• 背景与范围：明确定义您的 AI 工具做什么和不做什么。例如，您可以指定客户支持聊天机器人可以回答支持查询或将问题升级给人工，但不能直接授权退款。 

• 风险评估：列出该背景和范围所伴随的具体威胁。例如，客户支持机器人可能会幻觉出一项公司政策，导致混乱或误导性的期望。IBM 的 AI 风险图谱可以帮助您入门。

• 目标设定：定义衡量“成功”的具体指标。这通常取决于您试图通过实施 AI 工具来解决的问题。例如，如果您的 AI 项目目标是释放员工精力以处理更复杂的查询，您可以将成功定义为一定比例的案例无需进一步人工干预即可解决。 

在执行阶段，前一个阶段定义的原则和目标在实际的 AI 开发工作流中得以实施。

• 潜在威胁应在数据治理政策中予以考虑。

• 组织应建立防护措施和冗余机制，以防范已知风险。

• 在可能的情况下，自动化系统性能评估，以最小化客观衡量成功及随后改进系统所需的手工程序。

AI 系统应受到主动监督。系统采取的每一个行动都应被记录，以促进系统的可解释性。如果 AI 系统的某个结果令人不安或在某些方面不令人满意，只有能够准确识别过程中哪个环节出错，才能加以改进。

例行审计应确保团队遵循 AIMS 的协议——并且是真正有意义地遵循，而非仅仅名义上。

当事件发生时，应有相应的机制来停止工作并进行必要的改进。如果审计发现防护措施不足、未预见的问题或新出现的安全漏洞，则应采取新措施加以解决。

美国国家标准与技术研究院 (NIST) 是美国商务部下属的一个机构。NIST 的 AI 风险管理框架 (AI RMF) 是一套用于负责任使用 AI 的适应性手册，并辅以大量支持材料，包括：

• AI RMF 运行手册，提供为实现 AI RMF 本身所列出的结果而建议采取的行动。

• AI RMF 路线图，旨在“帮助填补知识、实践或指导方面的空白”，目标是确定加强 AI RMF 本身以及 NIST 协助公共和私营部门组织实施该框架的能力的方法。

• AI RMF 对照表，旨在帮助组织将现有实践映射到多种 AI 管理框架（包括但不限于 ISO 42001）中的概念和术语。

• 政府、行业和学术界的用例。

AI RMF 运行手册采用治理、映射、衡量、管理的方法。

成立“AI 风险委员会”。该委员会定义组织的“风险承受能力”，并制定一份由高管签署的 AI 风险政策文件，明确指定谁对任何 AI 故障负责。

发现阶段识别与 AI 工具以及人们使用它们的方式相关的具体风险。此过程最终产生风险档案，逐项列出每一个已识别的威胁。

每个被映射的威胁都根据其可能对公司或其客户产生的影响进行量化。这通常需要红队测试和压力测试，产生一份 TEVV 报告（测试、评估、验证和确认），作为系统准确性和可信度的“记分卡”。

在衡量阶段发现的问题和潜在漏洞得到处理和说明。

ISO 42001 和 NIST AI 风险管理框架是自愿性框架，而《欧盟 AI 法案》的规定对于任何参与在欧盟市场内开发和部署 AI 系统的组织都是强制性的。

《欧盟 AI 法案》的规定包括：

• 用于模型训练、测试和评估的强制性技术文档。

• 向将使用相关 AI 模型的任何下游提供商提供有关该模型能力和局限性的信息。

• 遵守欧盟版权指令

• 训练数据的公开摘要

如果某个 AI 模型在训练中超过 1025 次浮点运算 (FLOP)，则被认为存在系统性风险，并需接受额外的安全保障措施。

欧盟提供了工具和资源来帮助企业遵守 AI 法案，包括一个交互式合规性检查器（用于明确哪些规定适用于您的业务）、一份面向中小企业 (SMES) 的小企业指南，以及一系列针对特定问题的文章。