什么是 AI 透明度?

在软件开发和设计师办公室工作的公司员工

作者

Alexandra Jonker

Staff Editor

IBM Think

Alice Gomstyn

Staff Writer

IBM Think

Amanda McGrath

Staff Writer

IBM Think

什么是 AI 透明度?

AI 透明度可帮助人们访问信息,以更好地了解人工智能 (AI) 系统的创建方式以及它如何做出决策。

研究人员有时将人工智能描述为一个“黑匣”,因为随着该技术日益复杂,解释、管理和监管 AI 结果仍然很困难。AI 透明度有助于打开这个黑匣 ,让我们更好地了解 AI 结果以及模型如何做出决策。

越来越多的高风险行业(包括金融、医疗保健人力资源 (HR) 和执法)依赖 AI 模型进行决策。提高人们对这些模型的训练方式以及确定结果方式的理解,可以建立对 AI 决策和使用这些模型的组织的信任。

AI 创造者可以通过披露实现透明、值得信赖的 AI。他们可以记录和分享底层 AI 算法的逻辑和推理、用于训练模型的数据输入、用于模型评估和验证的方法等等。这使利益相关者对模型预测准确性的评估能考虑到公平、漂移偏见

高水平的透明度对于负责任的 AI 至关重要。负责任的 AI 是一组原则,有助于指导 AI 的设计、开发、部署和使用。它考虑了 AI 系统对社会的更广泛的影响,以及使这些技术与利益相关者的价值观、法律标准和道德考虑保持一致所需的措施。

小球在轨道上滚动的三维设计

最新的 AI 新闻 + 洞察分析

在每周的 Think 时事通讯中,发现专家精选的有关 AI、云等的洞察分析和新闻。 

为什么 AI 透明度很重要?

现在,全球每天有数千万人使用生成式 AI聊天机器人虚拟代理 和推荐引擎等 AI 应用程序。这种低风险决策可能不关心这些 AI 工具工作原理的透明度:如果模型被证明不准确或有偏见,用户可能会损失一些时间或可支配收入ha

然而,越来越多的行业正在采用 AI 应用程序来为高风险决策提供信息。例如,AI 现在可以帮助企业和用户做出投资选择医疗诊断招聘决策刑事判决等。在这些情况下,具有偏见或不准确的 AI 输出的潜在后果要危险得多。人们可能会失去一生的积蓄、职业机会或数年的生命。

利益相关者要相信 AI 正在代表他们做出有效和公平的决策,他们需要了解模型的运行方式、算法的逻辑以及如何评估模型的准确性和公平性。他们还需要更多地了解用于训练和调整模型的数据,包括数据源以及数据的处理、加权和标记方式。

除了建立信任外,AI 透明度还可以促进整个 AI 生态系统的知识共享与协作,从而推动 AI 发展。 通过默认情况下的透明化,企业可以更加专注于使用 AI 技术来实现业务目标,而不必担心 AI 的可靠性。

AI 学院

AI 领域的信任、透明度和治理

AI 信任可以说是 AI 领域最重要的话题。这个话题会让人不知所措,也是情理之中的事情。我们将解析幻觉、偏见和风险等问题,并分享以合乎道德、负责且公平的方式采用 AI 的步骤。

AI 透明度法规和框架

围绕 AI 使用的监管要求网络在不断延展。透明的模型流程对于遵守这些法规以及满足模型验证者、审计者和监管者的要求至关重要。《欧盟 AI 法案》被视为全球首个全面的 AI 监管框架。

欧盟 AI 法案

欧盟人工智能法案 (EU) 采取基于风险的监管方式,根据 AI 带来的风险应用不同的规则。它完全禁止某些 AI 的使用,并对其他 AI 实施严格的治理、风险管理和透明度要求。对于特定类型的 AI,还有额外的透明度义务。例如:

  • 旨在直接与个人交互的 AI 系统应该被设计为告知用户他们正在与 AI 系统交互,除非个人从环境中可以明显看出这一点。例如,聊天机器人的设计应能够通知用户自己是聊天机器人。

  • 生成文本、图像或其他某些内容的 AI 系统必须使用机器可读的格式,将输出标记为由 AI 生成或操作。例如,这包括生成深度伪造的 AI - 即图像或视频经过修改,以显示某人在做其没做过的事,或说其没有说过的话。

欧盟 《通用数据保护条例》(GDPR) 的实施导致其他国家/地区采用个人数据隐私法规。同样,专家预测《欧盟 AI 法案》将刺激全球 人工智能治理 和 道德 标准的发展。

AI 透明度指导框架

大多数国家和地区尚未颁布有关使用 AI 的全面立法或法规;不过,目前已有一些广泛的框架。虽然并不总是可执行,但它们的存在是为了指导未来的监管以及负责任地开发和使用 AI。值得注意的例子包括:

  • 白宫关于安全、可靠、可信地开发和使用人工智能的行政令:该命令于 2023 年 10 月 30 日发布(并于 2025 年 1 月 20 日撤销),其中多个章节涉及透明度问题。第 8 条特别强调保护消费者、患者、乘客和学生。它鼓励独立监管机构考虑利用其权力保护美国消费者免受 AI 风险的影响,包括“强调或阐明与 AI 模型的透明度以及受监管实体解释其对 AI 模型的使用的能力相关的要求和期望”。1

  • AI 权利法案蓝图:该蓝图包括一套五项原则和相关实践,可帮助指导 AI 系统的设计、使用和部署。第四项原则“通知和解释”直接涉及透明度:“自动化系统的设计人员、开发人员和部署人员应提供易于访问的通俗易懂的文档,其中包含对整体系统功能和自动化所发挥作用的清晰描述,且说明正在使用此等系统、负责系统的个人或组织,和对结果清晰、及时且可访问的解释。”2

  • 广岛 AI 进程综合政策框架:广岛 AI 进程是在七国集团广岛峰会上制定的,于 2023 年启动,是全球先进 AI 系统发展的一套指导原则,旨在促进安全、可靠和可信的 AI。该框架呼吁组织遵守 11 项原则,其中几项原则鼓励“发布透明度报告”和“负责任地共享信息”。3

AI 可解释性、AI 可解读性与 AI 透明度

AI 透明度与 AI 可解释性和 AI 可解读性密切相关。这些概念提供的洞察分析有助于解决长期存在的“黑匣”问题,即 AI 系统非常复杂,人类无法解释的实际和伦理问题。但是,它们具有不同的定义和用例:

  • AI 可解释性:模型是如何得出这个结果的?

  • AI 可解释性:模型如何做出决策?

  • AI 透明度:模型是如何创建的、使用哪些数据对其进行训练以及它如何做出决策?

AI 可解释性:模型是如何得出这个结果的?

AI 可解释性,或 可解释的 AI (XAI) 是一组允许人类用户理解和信任机器学习模型创建的结果和输出的过程和方法。模型可解释性着眼于 AI 系统如何获得特定结果,并有助于描述模型透明度。

AI 可解读性:模型如何做出决策?

AI 可解读性是指使整个 AI 过程可为人类理解。AI 可解读性提供了有关 AI 系统的底层逻辑、意义和预期结果的有意义的信息。这是人类对 AI 输出结果进行预测的成功率,而可解释性则更进一步,着眼于 AI 模型如何得出结果。

AI 透明度:模型是如何创建的、使用哪些数据对其进行训练以及它如何做出决策?

AI 透明度不仅仅是对 AI 决策过程进行解释。它包括与 AI 系统开发及其部署相关的因素,例如 AI 训练数据以及谁有权访问这些数据。

如何提供 AI 透明度

虽然 AI 透明度因用例、组织和行业而异,但企业在构建 AI 系统时可牢记一些策略。从较高的层面来看,这些战略包括制定明确的信任和透明度原则,将这些原则付诸实践,并将其嵌入整个 AI 生命周期中。

AI 透明度的一个更具体的策略是在 AI 生命周期的每个阶段执行彻底披露。为了实现披露,组织需要确定分享哪些信息以及如何分享。

AI 透明度文件中需要的信息

模型用例、行业、受众和其他因素将有助于确定哪些信息需要披露。例如,AI 的高风险用途(如抵押贷款评估)可能需要比风险较低的应用(如虚拟助理的音频分类)更全面的披露。

披露内容可包括以下有关模型的全部或部分信息:

  • 模型名称
  • 用途
  • 风险级别
  • 模型策略
  • 模型生成
  • 目标领域
  • 训练数据
  • 训练和测试准确性
  • 偏见
  • 对抗式健壮性指标
  • 公平性指标
  • 可解释性指标
  • 联系信息

AI 生命周期中的每个角色都可以贡献信息,将责任分配给整个生态系统,而不是某个人。有一些软件平台和工具可以帮助自动化信息收集和其他人工智能治理活动。

如何共享 AI 透明度信息

各组织可以以各种格式呈现信息,例如打印文档或视频,从而实现 AI 透明度。格式取决于受众和用例。信息是否面向消费者,因此需要易于消化?或者它是否适用于数据科学家或监管机构,因此需要高水平的技术细节?

格式可能包括:

  • 以供应商符合性声明 (SDoC) 为蓝本的活文档,SDoC 是许多行业用于证明产品符合特定标准或技术法规的文件

  • 公司网站上的官方政策页面,详细介绍组织如何将透明的 AI 倡议付诸行动

  • 教育资源,例如文档和视频,帮助用户了解 AI 在产品和服务中的应用方式,以及 AI 如何影响客户体验

  • 通过官方公共关系活动、事件、社交媒体和其他交流方式向公众阐明组织的道德 AI 观点。

  • 研究论文、数据集和其他数据驱动的通信,以提供有关 AI 在组织行业或用例中的使用、发展和优点的见解。

AI 透明度挑战

透明的 AI 做法有很多好处,但它们也引发了安全和隐私问题。例如,关于 AI 项目内部工作原理的信息越多,黑客就越容易发现和利用漏洞。OpenAI 在其 GPT-4 技术报告中解决了这一挑战,并指出:

“考虑到竞争格局和 GPT-4 等大规模模型的安全影响,本报告没有包含有关架构(包括模型大小)、硬件、训练计算、数据集构建、训练方法或类似内容的更多细节。”4

这段引文还揭示了 AI 透明度的另一项挑战:透明度与保护知识产权之间的权衡。其他障碍可能包括向非专家清楚地解释错综复杂的程序和机器学习算法(例如神经网络),以及缺乏 AI 的全球透明度标准。

相关解决方案
IBM watsonx.governance™

借助 IBM watsonx.governance 随时随地治理生成式 AI 模型,并在云端或本地进行部署。

了解 watsonx.governance
人工智能治理解决方案

了解人工智能治理如何能帮助增强员工对 AI 的信心、加速采用和创新并提高客户信任。

探索人工智能治理解决方案
人工智能治理咨询服务

借助 IBM Consulting,为《欧盟 AI 法案》做好准备并制定负责任的人工智能治理方法。

了解 AI 治理服务
采取下一步行动

借助单一组合来指导、管理和监控您的 AI,以加速负责任、透明且可解释的 AI。

深入了解 watsonx.governance 预约实时演示
脚注

1.  关于安全、可靠和值得信赖的人工智能开发和使用的行政命令”,白宫,2023 年 10 月 30 日。

2. 通知和解释”,白宫。

3. “ 针对开发先进 AI 系统之组织的广岛进程国际指导原则”,日本外务省,2023 年。

4.  GPT-4 技术报告”,arXiv,2023 年 3 月 15 日。