什么是 AI 审计？

AI 审计是指对人工智能 (AI) 系统的设计、训练和部署进行结构化、基于证据的检查。

AI 审计可视为对 AI 系统的全面“运行状况检查”。传统审计侧重于财务报表或 IT 控制措施，而 AI 审计则会深入探讨整个 AI 生命周期的基础知识。其中包括数据收集和质量、模型架构与可解释性，以及系统上线后的决策流程。

该审计流程会评估组织对 AI 的使用是否符合其治理框架、风险管理框架和道德标准。它会提出诸如以下的问题：

• 个人数据和训练数据是否以合法方式收集并安全存储？
• 算法是否会引入偏见或产生新的漏洞？
• 是否已有访问控制措施和指标以长期降低风险？

AI 审计清晰地描绘了 AI 系统的内部运作，从而可建立可信度。对于利益相关者和监管机构，这可为该新兴技术被负责任地使用提供切实证据。

AI 系统每天都会影响着高风险决策，例如审批抵押贷款、对患者进行分类以及审核社交媒体内容。虽然这些系统会提供速度和自动化，但也可能带来潜在的危害。有缺陷的模型会加剧偏见；薄弱的安全状况可能会引发数据泄露；错误的决策会削弱利益相关者的信心。

监管机构正对此做出反应。《欧盟 AI 法案》定义了多个风险级别（有限及最低风险、高风险以及不可接受的风险），并要求遵循严格的审计标准。

同样，美国国家标准与科技研究所 (NIST) 的“人工智能风险管理框架”也对 AI 透明度和问责制设定了期望。内部审计师和信息安全团队应证明合规性，并证明其 AI 系统从设计到部署均值得信赖。

因此，AI 审计既是一种防御性工具，也是一种战略性工具。它可帮助组织在漏洞升级之前加以识别，从而加强数据治理实践和举措。通过促进清晰的文档和可重复的工作流程，AI 审计可帮助组织满足监管合规要求并在客户和投资者之间建立信任。

全面的 AI 审计会检查三个相互依存的领域，而每个领域均有各自的一系列测试和指标：

• 数据
• 模式
• 部署

审计师评估数据的收集、标记和管理方式。他们会审查数据集准确性和质量，并测试可能导致输出偏差的隐藏偏见或“过时”数据。隐私和数据保护控制措施十分关键：个人数据必须符合《通用数据保护条例》(GDPR) 或类似标准，而元数据则应在整个 AI 生命周期中始终可追踪。

典型的检查包括数据质量评分和公平性评估审查，以便确保保留期、访问控制措施和权限均得以记录和执行。

审计师随后会对算法本身进行深入调查。关键问题包括：使用了哪些机器学习技术？决策逻辑有多合理？是否有定义指标和阈值来监控漂移或意外行为？

他们常对人口群体进行错误率分析，进行压力测试或开展红队测试活动以揭示漏洞。可靠性测试还有助于在部署之前识别潜在危害。

最后，审计师还会检查运营环境。他们会验证治理结构和监控工作流在推出后是否仍然存在。

常见评估包括监管合规性评估（例如，《欧盟 AI 法案》）、持续的实时性能监控和事件响应模拟，以帮助确保组织能检测并遏制新出现的威胁。审计师还可能会确认输出在必要时会经过人工介入审查。

全球越来越多的法律和标准正在逐步塑造 AI 审计的面貌。其中有些已经生效，而还有很多正在迅速投入实施。值得注意的法规包括：

• 欧盟 AI 法案：在欧盟，《欧盟 AI 法案》自 2024 年 8 月起便已生效，并按风险级别对 AI 系统进行分类，并要求针对高风险应用程序开展大量文档记录、测试和人工监督工作。

• AI 风险管理框架：该自愿框架由 NIST 于 2023 年制定，它可指导组织在整个生命周期中识别、评估和管理 AI 风险。虽然指示联邦机构将该框架制度化的行政命令现已撤销，但该标准本身仍会继续起到指导作用。

• 自动决策指令：自 2020 年起生效的该加拿大联邦指令要求各部门完成算法影响评估，并公开报告针对高影响力 AI 系统的结果。

• 人工智能治理示范框架：新加坡于 2019 年首次发布并于 2024 年更新该框架，其中提供了有关透明度、利益相关者参与和人工监督的详细指导。眼下，众多私营部门组织正在使用它。

• 人工智能治理指南：日本的这一指导方针于 2023 年进行更新，其中要求进行风险评估、提供可解释性和独立第三方审计，从而强调覆盖整个 AI 生命周期的问责制。

• AI 原则：自 2019 年以来，这些非约束性原则已被经济合作与发展组织（经合组织）的 40 多个成员国采用，以便促进公平性、透明度和出色的安全性。这些标准可作为新兴国家法规的全球参考依据。

巴西、阿拉伯联合酋长国和韩国等国家或地区也在制定若干国家框架。这些举措可推动人工智能治理法案的制定，并发布详细的指导方针，而这些指导方针强调了合乎道德的使用、隐私保护和利益相关者问责制。

行业层面的法规增添了一层问责制。在美国，医疗保健组织必须遵守《健康保险流通和责任法案》(HIPAA)（包括其《隐私和安全规则》），其中要求严格保护 AI 系统中使用的任何患者数据。

金融机构则需遵循模型风险管理标准，例如美联储的 SR 11-7 指南以及货币审计长办公室的模型验证要求，而这两者均要求对 AI 模型进行独立测试和持续监控。

这些框架可将监管要求转化为实用的审计标准。组织通常会融合多个框架中的要素，以创建适合其行业和监管环境的审计方法。

常见框架包括：

• COBIT：信息及相关科技控制目标 (COBIT) 框架提供了一种以控制为导向的方法，它可将 AI 审计整合到企业 IT 治理与信息安全计划中。此举有助于确保跨部门监督的一致性。

• COSO ERM：特雷德韦委员会企业风险管理框架 (COSO ERM) 的赞助组织委员会帮助组织将 AI 风险嵌入更广泛的风险管理战略和董事会层面的监督中，以将新兴科技与企业目标联系起来。

• GAO AI 责任框架：美国政府问责办公室 (GAO) 的人工智能责任框架为评估治理、数据质量和性能监控提供了指导，从而使其对公共与私营部门的审计都非常有用。

• IIA AI 审计框架：内部审计师协会 (IIA) 的人工智能审计框架可适应 AI 系统的特有特征，从而强调道德标准和决策透明度。

• PDPC 模范 AI 治理框架：新加坡个人数据保护委员会(PDPC) 的模范人工智能治理框架为跨多个司法管辖区运营的组织提供了有关利益相关者参与和负责任数据处理的详细指导。

有效的 AI 审计可将最佳实践与严格、分步的路线图相结合。虽然审计 AI 的战略多种多样，但有一种方法可遵循以下步骤：

创建治理结构，以便定义审计小组、内部审计师、数据科学家和业务利益相关者的角色。一旦提出 AI 项目，就应立即启用内部审计职能，以便从一开始就内置风险评估与数据治理措施。

对所有正在使用或开发中的 AI 模型进行编目，其中包括生成式 AI 模型、聊天机器人和自动化工具。记录训练数据源和数据质量指标，以便为风险评估和未来监控奠定基础。

进行正式的风险评估，以便考虑潜在危害，如偏见、数据泄露或个人数据滥用。验证数据收集方法、验证隐私保护，并确保数据集符合针对保留率和准确性等指标的监管标准。

选择与您的行业和监管环境相适应的审计框架。例如，某些组织将 COBIT 的控制重点与 COSO 的企业风险观点融合在一起，然后添加 GAO 或 IIA 要素以实现问责制，同时还添加 PDPC 以实现利益相关者透明度。使用支持可解释性测试、算法审计和实时指标的审计工具。

制定用于证据收集、访问控制和报告的模板。定义模型性能指标和缓解战略。确保审计工作流包含针对内部审计签核和利益相关者审查的检查点。

执行审计，记录结果，并根据需要与高管和监管机构分享结果。建立持续监控，以跟踪数据质量和运营风险。指标和仪表板可让审计团队实时了解漏洞，并快速采取缓解措施。

审计学科正与 AI 技术同步发展。展望未来，组织有望见证：

无论未来如何发展，审计都不再是一次性的合规活动。它正成为一个持续、智能的流程，并可帮助企业安全、自信地部署 AI 技术。