什么是 AI 安全性？

由于人工智能 (AI) 的普及率和影响力日益增大，构建安全的 AI 系统成为了企业和社会需要考虑的一个关键问题。AI 安全性有助于确保尽可能负责任地使用 AI 系统，而且 AI 的未来发展考虑到人类价值观。

开发和维护安全的 AI 涉及识别潜在的 AI 风险（例如偏差、数据安全性以及抵御外部威胁时的脆弱性），并创建能够避免和缓解这些风险的流程。例如，偏差缓解措施、稳健性测试、符合道德规范的 AI 框架等 AI 安全措施都可以帮助企业在组织内负责任地开发和使用 AI 工具。

随着 AI 系统变得日益复杂，它们越来越深入地融入到人们的生活以及基础设施、金融和国家安全等关键现实领域中。对于使用它们的组织和整个社会，这些技术既发挥积极的作用，也造成消极的影响。

人们对 AI 负面影响的担忧在日益加剧。2023 年的一项调查发现，52% 的美国人对人工智能使用量增加的担忧多于兴奋。¹ 另一项调查发现，83% 的受访者担心 AI 可能会意外导致灾难性事件。²

其他研究表明，这些担忧并非毫无根据：2024 年的一份报告发现，44% 的受访者表示，他们的组织由于使用 AI 遭受了负面影响（例如不准确或网络安全问题）。³ 安全工作往往被视为亡羊补牢：根据 AI 安全中心的《2023 年影响报告》，只有 3% 的技术研究侧重于如何提高 AI 的安全性。⁴

对整个社会来说，AI 安全措施是保护公共安全、隐私和基本权利的必要措施。出现偏差、不透明或不符合人类价值观的 AI 系统可能会延续或加剧社会不平等。

专家们还担心，一些高级 AI 系统可能变得像人类一样智能甚至比人类更聪明。通用人工智能 (AGI) 是指能够像人类那样理解、学习和执行思考任务的潜在 AI 系统。超人工智能 (ASI) 是指智力范围和认知功能比任何人类都更先进的假想 AI 系统。AGI 和 ASI 的发展让人们担忧，如果不符合人类价值观或接受人类监督，这些系统将是危险的。批评者认为，由于自自主过大，这些系统将对人类构成生存威胁。

从商业角度来看，安全的 AI 有助于建立消费者信任、规避法律责任以及避免糟糕的决策。各个组织应当采取措施，以确保 AI 的使用符合他们的价值观，这样可以避免对自己和客户产生负面影响。

AI 风险可以分为几种类型，每种类型都需要不同的 AI 安全措施和风险管理工作。

• 偏见与公平
• 隐私
• 失去控制
• 生存风险
• 恶意滥用
• 网络安全

AI 系统可以延续或放大社会偏见。当使用不完整或误导性的数据和输入对 AI 进行训练时，就会产生算法偏差结果。这样可能做出不公平的决策。例如，使用歧视性数据训练的 AI 工具不太可能为具有某些背景的申请人批准抵押贷款，或者更有可能建议雇用男性求职者而不是女性求职者。

AI 系统有可能以不恰当的方式访问、泄露或滥用个人数据，从而导致隐私问题。敏感数据一旦泄露，AI 系统的创建者或用户就可能被追究责任。

AI 系统（尤其是作为自主代理运行的 AI 系统）的结果可能是不可预测的。它们的行为也可能有害。如果它们能够独立做出决定，可能变得难以阻止。如果不进行人为控制，可能无法干预或关闭行为不当的 AI 系统。

如果管理不当，AGI、ASI 和其他极其先进的 AI 系统的行为方式可能会危及人类或者破坏全球系统。AI 竞赛类似于军备竞赛，它的危险性会对地缘政治的稳定性带来威胁。

AI 还可能被滥用于大规模社会操纵或网络战。2023 年，非营利组织 AI 安全中心 (CAIS) 发布了一份简短的声明，得到了多名 AI 研究人员和领导者的支持。这份声明中写道：“降低因 AI 导致的灭绝风险，此举应与流行病和核战争等社会层面的其他风险一起成为全球的优先事项。”⁵

尽管 AI 风险可能造成意想不到的后果和错误，但不良行为者也可能故意使用这项技术造成伤害。AI 可以用作网络攻击、误导信息活动、非法监控甚至人身伤害的武器。这些威胁同时存在于个人层面和社会层面。

AI 系统可能容易受到安全问题的影响。它们有可能面临着对抗性攻击，即恶意行为者操纵数据输入以欺骗模型并产生错误的输出。

例如，AI 越狱是指黑客借助提示注入以及其他技术利用 AI 系统的漏洞，并执行受限制的操作。当遭到入侵的训练数据扭曲 AI 行为时，就会发生数据投毒。未经授权的访问以及其他漏洞或安全风险可能导致 AI 系统及其数据被滥用。

AI 安全性和 AI 安全措施是人工智能的两个相关但又不同的方面。AI 安全性旨在解决固有的问题和意外的后果，而 AI 安全措施侧重于保护 AI 系统免受外部威胁。

AI 安全性试图将 AI 与人类价值观联系起来，并降低 AI 系统对企业和社会产生负面影响的可能性。它强调 AI 协调，也就是将人类价值观和目标编码到 AI 模型中的过程。

AI 安全措施是指保护 AI 系统免受网络攻击和数据泄露等外部威胁。它涉及保护 AI 模型的机密性和完整性。AI 安全措施也可能是指利用人工智能增强组织的安全状况。根据这一定义，它包括使用 AI 和机器学习 (ML) 预测和应对潜在威胁。

AI 领导者和企业正在实施各种实践，以帮助负责任地开发和使用 AI 技术。AI 安全措施包括：

• 算法偏差检测和缓解
• 稳健性测试和验证
• 可解释的 AI (XAI)
• 道德 AI 框架
• 人工监督
• 安全协议
• 全行业协作

AI 安全性研究需要很多利益相关者的共同努力。

AI 安全性始于负责设计、构建和测试 AI 系统的开发人员和工程师。他们可能侧重于基础问题，例如如何使 AI 的目标与人类价值观保持一致，以及如何创建透明且可解释的模型。他们还负责测试和验证模型和工具，以帮助确保它们正常运行。

IBM、OpenAI、Google DeepMind、Microsoft、Anthropic 等领先的 AI 开发公司在 AI 安全工作方面走在了时代的前列。他们投资于专门的 AI 安全团队、制定道德准则并遵守负责任的 AI 原则，以防止产生有害的结果。

有些公司还创建了框架和协议，以解决研究和部署阶段的风险，例如偏差检测工具和允许进行人工监督的系统。很多公司还参与了行业联盟，并分享知识以便为 AI 安全性制定全行业标准。

更广泛的 AI 治理工作是全球 AI 安全措施的重要组成部分。联合国、世界经济论坛以及经济合作与发展组织 (OECD) 等国际组织牵头发起了以 AI 伦理和安全性为重点的倡议。世界各地的各国政府也在制定 AI 安全规则和法规：

在美国，隶属于美国国家标准与技术研究院 (NIST) 的人工智能安全研究所 (AISI) 致力于解决安全问题。他们将工作重点放在推动研究和开发风险缓解措施等优先事项上。

在欧盟，《欧盟 AI 法案》包含多种安全标准和指南以及不合规处罚。此外，英国还成立了 AI 安全性研究所，以推动安全的 AI 开发工作。包括新加坡、日本和加拿大在内的其他几个国家或地区也在成立 AI 安全机构，以开展研究并为重点关注公共安全的开发和监管提供信息。

非政府组织 (NGO)、智库和其他团体的决策者和研究人员在努力解决安全问题。他们会考虑国家安全、人权和立法政策问题，并建议如何帮助 AI 开发工作与社会价值观和利益保持一致。他们会提高风险意识、制定道德准则、提高透明度并鼓励进行负责任的研究。

一些主要的 AI 安全性非营利组织和倡导团体包括：

• AI 安全中心：CAIS 是一家位于旧金山的非营利组织，致力于研究和编写学习材料（例如教科书），以降低与 AI 相关的社会层面的风险。
  
  
• 人类兼容 AI 中心：CHAI 是加州大学伯克利分校的一个研究中心，致力于开展 AI 安全性方面的研究，包括强化学习和价值学习方面的工作。
  
  
• 斯坦福大学以人为本的人工智能研究所：这家总部位于斯坦福大学的组织致力于研究和倡导以人为本的 AI 开发工作以及安全性、信任和责任的价值观。
  
  
• 机器智能研究所：MIRI 是一个研究小组，专注于研究值得信赖的 AI 和 AI 协调方面的技术挑战。
  
  
• AI 合作：学术组织和行业组织进行的合作，通过研究、公共信息和其他工作推动负责任的 AI 实践。
  
  
• 未来生活研究所：这个非营利组织旨在通过研究和倡议减少与高级 AI 开发工作相关的存在风险。
  
  
• 云安全联盟的 AI 安全倡议：CSA 的联盟致力于创建指南和工具，以使各个组织能够部署安全、负责任和合乎道德的 AI 解决方案。

近期研究指出，现代 AI 系统迭代速度过快，已经超出传统 AI 风险管理与安全防护手段的适配能力。生成式 AI 系统的这一问题尤为突出，它能够生成高度逼真、可批量产出的内容，极易遭到滥用、滋生虚假信息，或是造成自动化伤害行为。

在题为《Safety Pretraining: Toward the Next Generation of Safe AI》的论文⁶中，卡内基梅隆大学研究人员证实，业内普遍采用的训练后对齐方案稳定性偏弱。简单来讲，模型在常规安全测试中表现合规，但运行环境出现细微变动时就会出现安全失效问题。

除此之外，模型在训练阶段习得的不安全行为，后续很难彻底清除。该论文提出，安全防护必须前置嵌入开发流程，将防护逻辑直接融入预训练数据与模型架构设计，而非仅依靠上线后的版本更新修补漏洞。

与之相似，《International AI Safety Report 2026》⁷由一百余名 AI 专家联合编制，报告表明 AI 能力升级在各行各业催生了复杂系统性风险，同时放大了原有各类隐患。

另一篇近期论文《ForesightSafety Bench: A Frontier Risk Evaluation and Governance Framework toward Safe AI》⁸围绕 AI 安全评估体系展开研究。论文点明，现有基准体系与测试手段往往无法完整捕捉前沿 AI 在真实场景下的风险与社会影响，也不能稳定识别对抗环境下的不安全行为。研究人员呼吁搭建更全面、可动态调整的评估方式。

综合多篇研究结论来看，AI 安全属于贯穿全生命周期的持续性工作，不能只当作模型开发完成后的单一收尾环节。因此，当下主流 AI 治理思路着重强调，要把分层防护机制深度嵌入整体 AI 生态系统。这类分层防护体系一般覆盖数据采集、模型架构、部署环境三大环节。

行业内逐渐形成统一认知，完善的 AI 安全防护需要结合技术干预、预训练管控、优化评估框架多重手段。上述研究进展说明，AI 安全不再只是计算机单一学科的问题，而是多学科协同推进的工作，需要跟随技术迭代持续调整防护策略。