什么是 AI 安全性？

由于人工智能 (AI) 的普及率和影响力日益增大，构建安全的 AI 系统成为了企业和社会需要考虑的一个关键问题。AI 安全性有助于确保尽可能负责任地使用 AI 系统，而且 AI 的未来发展考虑到人类价值观。

开发和维护安全的 AI 涉及识别潜在的 AI 风险（例如偏差、数据安全性以及抵御外部威胁时的脆弱性），并创建能够避免和缓解这些风险的流程。例如，偏差缓解措施、稳健性测试、符合道德规范的 AI 框架等 AI 安全措施都可以帮助企业在组织内负责任地开发和使用 AI 工具。

随着 AI 系统变得日益复杂，它们越来越深入地融入到人们的生活以及基础设施、金融和国家安全等关键现实领域中。对于使用它们的组织和整个社会，这些技术既发挥积极的作用，也造成消极的影响。

人们对 AI 负面影响的担忧在日益加剧。2023 年的一项调查发现，52% 的美国人对人工智能使用量增加的担忧多于兴奋。¹ 另一项调查发现，83% 的受访者担心 AI 可能会意外导致灾难性事件。²

其他研究表明，这些担忧并非毫无根据：2024 年的一份报告发现，44% 的受访者表示，他们的组织由于使用 AI 遭受了负面影响（例如不准确或网络安全问题）。³ 安全工作往往被视为亡羊补牢：根据 AI 安全中心的《2023 年影响报告》，只有 3% 的技术研究侧重于如何提高 AI 的安全性。⁴

对整个社会来说，AI 安全措施是保护公共安全、隐私和基本权利的必要措施。出现偏差、不透明或不符合人类价值观的 AI 系统可能会延续或加剧社会不平等。

专家们还担心，一些高级 AI 系统可能变得像人类一样智能甚至比人类更聪明。通用人工智能 (AGI) 是指能够像人类那样理解、学习和执行思考任务的潜在 AI 系统。超人工智能 (ASI) 是指智力范围和认知功能比任何人类都更先进的假想 AI 系统。AGI 和 ASI 的发展让人们担忧，如果不符合人类价值观或接受人类监督，这些系统将是危险的。批评者认为，由于自主权过大，这些系统将对人类构成生存威胁。

从商业角度来看，安全的 AI 有助于建立消费者信任、规避法律责任以及避免糟糕的决策。各个组织应当采取措施，以确保 AI 的使用符合他们的价值观，这样可以避免对自己和客户产生负面影响。

AI 风险可以分为几种类型，每种类型都需要不同的 AI 安全措施和风险管理工作。

• 偏见与公平
• 隐私
• 失去控制
• 生存风险
• 恶意滥用
• 网络安全

AI 系统可以延续或放大社会偏见。当使用不完整或误导性的数据和输入对 AI 进行训练时，就会产生算法偏差结果。这样可能做出不公平的决策。例如，使用歧视性数据训练的 AI 工具不太可能为具有某些背景的申请人批准抵押贷款，或者更有可能建议雇用男性求职者而不是女性求职者。

AI 系统有可能以不恰当的方式访问、泄露或滥用个人数据，从而导致隐私问题。敏感数据一旦泄露，AI 系统的创建者或用户就可能被追究责任。

AI 系统（尤其是作为自主代理运行的 AI 系统）的结果可能是不可预测的。它们的行为也可能有害。如果它们能够独立做出决定，可能变得难以阻止。如果不进行人为控制，可能无法干预或关闭行为不当的 AI 系统。

如果管理不当，AGI、ASI 和其他极其先进的 AI 系统的行为方式可能会危及人类或者破坏全球系统。AI 竞赛类似于军备竞赛，它的危险性会对地缘政治的稳定性带来威胁。

AI 还可能被滥用于大规模社会操纵或网络战。2023 年，非营利组织 AI 安全中心 (CAIS) 发布了一份简短的声明，得到了多名 AI 研究人员和领导者的支持。这份声明中写道：“降低因 AI 导致的灭绝风险，此举应与流行病和核战争等社会层面的其他风险一起成为全球的优先事项。”⁵

尽管 AI 风险可能造成意想不到的后果和错误，但不良行为者也可能故意使用这项技术造成伤害。AI 可以用作网络攻击、误导信息活动、非法监控甚至人身伤害的武器。这些威胁同时存在于个人层面和社会层面。

AI 系统可能容易受到安全问题的影响。它们有可能面临着对抗性攻击，即恶意行为者操纵数据输入以欺骗模型并产生错误的输出。

例如，AI 越狱是指黑客借助提示注入以及其他技术利用 AI 系统的漏洞，并执行受限制的操作。当遭到入侵的训练数据扭曲 AI 行为时，就会发生数据投毒。未经授权的访问以及其他漏洞或安全风险可能导致 AI 系统及其数据被滥用。

AI 安全性和 AI 安全措施是人工智能的两个相关但又不同的方面。AI 安全性旨在解决固有的问题和意外的后果，而 AI 安全措施侧重于保护 AI 系统免受外部威胁。

AI 安全性试图将 AI 与人类价值观联系起来，并降低 AI 系统对企业和社会产生负面影响的可能性。它强调 AI 协调，也就是将人类价值观和目标编码到 AI 模型中的过程。

AI 安全措施是指保护 AI 系统免受网络攻击和数据泄露等外部威胁。它涉及保护 AI 模型的机密性和完整性。AI 安全措施也可能是指利用人工智能增强组织的安全状况。根据这一定义，它包括使用 AI 和机器学习 (ML) 预测和应对潜在威胁。

AI 领导者和企业正在实施各种实践，以帮助负责任地开发和使用 AI 技术。AI 安全措施包括：

• 算法偏差检测和缓解
• 稳健性测试和验证
• 可解释的 AI (XAI)
• 道德 AI 框架
• 人工监督
• 安全协议
• 全行业协作

算法可以延续或放大对它们进行训练的数据中存在的偏差。为了解决这个问题，各个企业正在斥资解决算法偏差。多样化数据集收集、算法公平性评估和去偏差方法等技术有助于识别潜在问题。

严格的测试和验证流程可以帮助 AI 系统抵御危害，并能够识别技术风险。对抗性测试、压力测试和形式验证等技术有助于确保 AI 工具和模型正常运行且不会出现不良行为。

很多 AI 模型，尤其是大型语言模型 (LLM)，都是“黑匣”，人类很难解读它们做出的决策。如果决策过程不透明，用户就不太可能相信它们的结果和建议。可解释的 AI (XAI) 旨在阐明复杂的 AI 系统背后的不透明过程，并侧重于可解释性以展示它们是如何得出结果的。

很多组织都拥有道德 AI 框架，以指导 AI 系统的开发和使用。这些框架及其相关基准通常包括透明度、公平性、问责制和隐私等原则。它们为使用和开发 AI 工具提供了防护措施。

虽然自动化是 AI 对很多企业的一个吸引力，但出于安全原因，维持人工控制也很重要。这意味着要让人类操作员监控 AI 系统的性能，在必要时进行干预，并在关键情况下做出最终决策。人机回圈方法有助于确保真人对 AI 系统的行为负责。

实施加密、访问控制和异常检测等强大的安全措施有助于保护 AI 系统免遭滥用或未经授权的访问。企业还可以投资于网络安全措施，以防止可能损害他们的 AI 系统完整性的网络攻击和网络威胁。

AI 安全性是一个复杂且不断变化的领域，需要研究人员、行业领导者和政策制定者进行协作。很多企业参与了行业联盟、研究计划和标准化工作，以分享知识、最佳实践和经验教训。通过协作，AI 社区可以开发出更强大、更可靠的安全措施。

AI 安全性研究需要很多利益相关者的共同努力。

AI 安全性始于负责设计、构建和测试 AI 系统的开发人员和工程师。他们可能侧重于基础问题，例如如何使 AI 的目标与人类价值观保持一致，以及如何创建透明且可解释的模型。他们还负责测试和验证模型和工具，以帮助确保它们正常运行。

IBM、OpenAI、Google DeepMind、Microsoft、Anthropic 等领先的 AI 开发公司在 AI 安全工作方面走在了时代的前列。他们投资于专门的 AI 安全团队、制定道德准则并遵守负责任的 AI 原则，以防止产生有害的结果。

有些公司还创建了框架和协议，以解决研究和部署阶段的风险，例如偏差检测工具和允许进行人工监督的系统。很多公司还参与了行业联盟，并分享知识以便为 AI 安全性制定全行业标准。

更广泛的 AI 治理工作是全球 AI 安全措施的重要组成部分。联合国、世界经济论坛以及经济合作与发展组织 (OECD) 等国际组织牵头发起了以 AI 伦理和安全性为重点的倡议。世界各地的各国政府也在制定 AI 安全规则和法规：

在美国，隶属于美国国家标准与技术研究院 (NIST) 的人工智能安全研究所 (AISI) 致力于解决安全问题。他们将工作重点放在推动研究和开发风险缓解措施等优先事项上。

在欧盟，《欧盟 AI 法案》包含多种安全标准和指南以及不合规处罚。此外，英国还成立了 AI 安全性研究所，以推动安全的 AI 开发工作。包括新加坡、日本和加拿大在内的其他几个国家或地区也在成立 AI 安全机构，以开展研究并为重点关注公共安全的开发和监管提供信息。

非政府组织 (NGO)、智库和其他团体的决策者和研究人员在努力解决安全问题。他们会考虑国家安全、人权和立法政策问题，并建议如何帮助 AI 开发工作与社会价值观和利益保持一致。他们会提高风险意识、制定道德准则、提高透明度并鼓励进行负责任的研究。

一些主要的 AI 安全性非营利组织和倡导团体包括：

• AI 安全中心：CAIS 是一家位于旧金山的非营利组织，致力于研究和编写学习材料（例如教科书），以降低与 AI 相关的社会层面的风险。
  
  
• 人类兼容 AI 中心：CHAI 是加州大学伯克利分校的一个研究中心，致力于开展 AI 安全性方面的研究，包括强化学习和价值学习方面的工作。
  
  
• 斯坦福大学以人为本的人工智能研究所：这家总部位于斯坦福大学的组织致力于研究和倡导以人为本的 AI 开发工作以及安全性、信任和责任的价值观。
  
  
• 机器智能研究所：MIRI 是一个研究小组，专注于研究值得信赖的 AI 和 AI 协调方面的技术挑战。
  
  
• AI 合作：学术组织和行业组织进行的合作，通过研究、公共信息和其他工作推动负责任的 AI 实践。
  
  
• 未来生活研究所：这个非营利组织旨在通过研究和倡议减少与高级 AI 开发工作相关的存在风险。
  
  
• 云安全联盟的 AI 安全倡议：CSA 的联盟致力于创建指南和工具，以使各个组织能够部署安全、负责任和合乎道德的 AI 解决方案。