什么是可解释 AI?
订阅 IBM 时事通讯
两名工作人员坐在共用办公桌前,都在看着电脑屏幕

可解释人工智能 (XAI) 是一组流程和方法,让人类用户可以理解并信任机器学习算法创建的结果和输出。

可解释 AI 用于说明 AI 模型、其预期影响和潜在偏见。它可帮助描述模型的准确性、公平性、透明度以及人工智能驱动型决策的结果。可解释 AI 至关重要,可在组织将 AI 模型投入生产时帮助组织建立信任和信心。AI 可解释性还有助于组织采用负责任的 AI 开发方法。

AI 的先进程度越来越高,人类已经很难去理解和追溯算法是如何得出结果的。整个计算过程变成了通常所说的无法解释的“黑匣”。这些黑匣模型是直接从数据创建的。而且,即使是创建算法的工程师或数据科学家也无法理解或解释这些算法内部到底发生了什么,或者 AI 算法是如何得出特定结果的。

了解启用 AI 的系统如何产生特定输出会带来诸多好处。可解释性可帮助开发人员确保系统按预期运行,满足监管标准可能也需要可解释性,或者如果要允许受决策影响的人质疑或更改结果,那么可解释性也十分重要。¹

如何大规模构建负责任的人工智能

为什么可解释 AI 很重要

对于一家组织来说,充分了解 AI 决策过程并实现 AI 的模型监控和问责制,而不是盲目信任 AI,这一点至关重要。可解释 AI 可以帮助人类理解和解释机器学习 (ML) 算法、深度学习和神经网络。

ML 模型通常被认为是无法解释的黑匣。²深度学习中使用的神经网络是人类最难理解的神经网络之一。偏见(通常是基于种族的偏见)、性别、年龄或地点,这些一直是训练 AI 模型的过程中长期面临的风险。此外,因为生产数据与训练数据不同,AI 模型性能可能会出现漂移或降级。因此,企业需要持续监控和管理模型以提升 AI 可解释性,同时衡量使用此类算法所造成的业务影响,这一点至关重要。可解释 AI 还有助于提高最终用户的信任度和模型的可审计性,并促进 AI 的有效使用。它还缓解了生产 AI 带来的合规性、法律、安全和声誉风险。

可解释 AI 是实施负责任 AI 的关键要求之一,借助可解释 AI,现实中的各个组织可以大规模实施 AI 方法,并实现公平性、模型可解释性和问责制。³为了以负责任的方式采用 AI,组织需要基于信任和透明度构建 AI 系统,以将伦理原则嵌入到 AI 应用程序和流程中。

了解关于 AI 伦理的更多信息
可解释 AI 的运作方式

通过可解释 AI 以及可解释的机器学习,组织可以访问 AI 技术的底层决策,并有权做出调整。可解释 AI 可以让最终用户相信 AI 正在制定明智的决策,从而改善产品或服务的用户体验。AI 系统何时会对决策有十足的把握,让您可以信任决策,以及 AI 系统如何纠正出现的错误?⁴

AI 的先进程度越来越高,但仍然需要理解并管控 ML 流程,以确保 AI 模型结果的准确性。我们来看看 AI 和 XAI 之间的区别,用于将 AI 转换为 XAI 的方法和技术,以及阐释和解释 AI 过程之间的区别。

比较 AI 和 XAI
“常规”AI 和可解释 AI 之间究竟有什么区别?XAI 采用了特定的技术和方法,以确保可以跟踪和解释在 ML 过程中所做出的每个决策。另一方面,AI 通常利用 ML 算法得出结果,但 AI 系统的架构师并不完全了解算法是如何得出该结果的。这样就很难检查结果的准确性,同时也会丧失可控性、问责制和可审计性。

可解释 AI 技术
XAI 技术的设置要用到三种主要方法。预测准确性和可跟踪性可满足技术方面的需求,而决策理解可满足人类需求。如果未来的作战人员要理解、适度信任并有效管理新一代人工智能机器合作伙伴,那么可解释 AI,尤其是可解释的机器学习,将至关重要。

预测准确性
准确性是在日常运营中成功使用 AI 的关键因素。通过运行模拟并将 XAI 输出与训练数据集中的结果进行比较,可以确定预测准确性。在这方面,最主流的技术是模型无关的局部解释 (LIME),它解释了 ML 算法对分类器的预测。

可跟踪性
可跟踪性是实现 XAI 的另一关键技术。可通过多种方法实现可跟踪性,比如通过限制决策的制定方式,以及为 ML 规则和功能设置更小的范围。可跟踪性 XAI 技术的一个例子是 DeepLIFT(深度学习重要特征),该算法将每个神经元的激活与其参考神经元进行比较,并显示每个已激活神经元之间的可跟踪链路,甚至显示它们之间的依赖关系。

决策理解
这是人为因素。许多人对 AI 并不信任,然而,要高效利用 AI,就需要学会信任 AI。通过教导团队使用 AI,可以建立对 AI 的信任,这样他们就能理解 AI 如何决策以及为何做出此等决策。

AI 中的可解释性与可阐释性

可阐释性是观察者对于决策原因的理解程度。这是人类对 AI 输出结果进行预测的成功率,而可解释性则更进一步,着眼于 AI 如何得出结果。

可解释 AI 与负责任 AI 有何关联?

可解释 AI 和负责任 AI 目标相似,但采用的方法不同。以下是可解释 AI 和负责任 AI 之间的主要区别:

  • 可解释 AI 是在计算出结果后审视 AI 结果。
  • 负责任 AI 则是在规划阶段审视 AI,使 AI 算法在计算出结果之前始终以负责任的方式运行。
  • 可解释 AI 和负责任 AI 可以协同工作,从而打造出更出色的 AI。
持续模型评估

借助可解释 AI,企业可以排除故障,提高模型性能,同时帮助利益相关者了解 AI 模型的行为。通过跟踪模型,对模型行为展开调查,深入了解模型部署状态、公平性、质量和漂移,这对于扩展 AI 至关重要。

通过持续模型评估,企业能够比较模型预测结果、量化模型风险并优化模型性能。显示模型行为中的正值和负值以及用于生成解释的数据可加速模型评估。数据和 AI 平台可以生成模型预测的特征归因,并支持团队通过交互式图表和可导出文档直观调查模型行为。

可解释 AI 的优势
充满信任、从容自信地有效运行 AI

建立对生产 AI 的信任。快速将 AI 模型投入生产。确保 AI 模型的可阐释性和可解释性。简化模型评估流程,同时提高模型透明度和可跟踪性。

加快获得 AI 结果

系统化地监控和管理模型以优化业务成果。持续评估和改进模型性能。通过持续评估对模型开发工作进行调整。

降低模型治理的风险和成本

保持 AI 模型的可解释性和透明度。管理监管、合规、风险和其他要求。最大程度减少人工检查的开销和代价高昂的错误。降低意外偏见造成的风险。

可解释 AI 的五个注意事项

要通过可解释 AI 达成理想结果,请考虑以下事项。

公平性和去偏:管理并监督公平性。扫描部署以查找潜在偏见。

减少模型漂移:分析您的模型并根据最合乎逻辑的结果提出建议。当模型偏离预期结果时发出警报。

模型风险管理:量化并降低模型风险。当模型表现不佳时收到警报。了解偏差持续存在时会发生什么。

生命周期自动化:将模型作为集成数据和 AI 服务的一部分进行构建、运行和管理。统一平台上的工具和流程,以监控模型并共享结果。解释机器学习模型的依赖关系。

多云就绪:跨混合云(包括公有云、私有云和本地部署)部署 AI 项目。利用可解释 AI,增强信任感和自信心。

可解释 AI 的用例
  • 医疗:加速诊断、影像分析、资源优化和医疗诊断。提高患者护理决策的透明度和可跟踪性。通过可解释 AI 简化药品审批流程。
  • 金融服务:通过透明的贷款和信贷审批流程改善客户体验。加快信贷风险、财富管理和金融犯罪风险评估。加快解决潜在投诉和问题。增强对定价、产品推荐和投资服务的信心。
  • 刑事司法:优化预测和风险评估流程。使用可解释 AI 进行 DNA 分析、监狱人口分析和犯罪预测,加速解决问题。检测训练数据和算法中的潜在偏见。
相关解决方案
IBM Cloud Pak® for Data

进行现代化改造,实现 AI 生命周期自动化。几乎可以在任何地方加强对数据和 AI 服务的治理和安全保护。

了解更多信息
IBM Watson® Studio

以信任和透明的方式构建和扩展 AI。通过持续监控可解释 AI 来构建、运行和管理 AI 模型。

了解更多信息
IBM Watson Knowledge Catalog

以活动元数据和策略管理为支撑,利用端到端数据目录来治理数据和 AI 模型。

了解更多信息
资源 AI 治理的迫切性

阅读有关 AI 治理的三步法。深入了解如何构建监控伦理 AI 的治理系统。

准备监控模型

了解如何设置和启用模型监视器。使用信用风险示例模型选择部署并设置有效内容日志记录的数据类型。

深入了解可解释 AI 的价值

Forrester Consulting 研究了部署可解释 AI 和模型监控的企业预期的投资回报。

以信任和透明的方式扩展 AI

汉莎航空通过 AI 生命周期自动化以及漂移和偏见缓解来改善客户体验,提升航空公司效率。

采取后续步骤

IBM Cloud Pak for Data 平台在统一环境中提供数据和 AI 服务,因此您的企业可以评估数据和模型的影响和关系,从而提高 AI 可解释性。它还可以帮助您获得有关模型的部署、公平性、质量和风险方面见解。该解决方案使用对比解释和模型无关的局部解释 (LIME) 等工具帮助解释 AI 事务、分类模型、图像模型和非结构化文本模型。

试用 IBM Cloud Pak for Data as a Service 学习如何解释事务
脚注

¹ “Explainable AI”,英国皇家学会,2019 年 11 月 28 日。(链接位于 ibm.com 外部)

²” Explainable Artificial Intelligence”,Jaime Zornoza,2020 年 4 月 15 日。(链接位于 ibm.com 外部)

³ “Explainable Artificial Intelligence (XAI): Concepts, Taxonomies, Opportunities and Challenges toward Responsible AI”,ScienceDirect,2020 年 6 月。(链接位于 ibm.com 外部)

⁴ “Understanding Explainable AI”,福布斯撰稿人 Ron Schmelzer,2019 年 7 月 23 日。(链接位于 ibm.com 外部)

⁵ ” Explainable Artificial Intelligence (XAI)”,Matt Turek 博士,美国国防高级研究计划局 (DARPA)。(链接位于 ibm.com 外部)