什么是可解释 AI？

可解释 AI 用于说明 AI 模型、其预期影响和潜在偏见。它可帮助描述模型的准确性、公平性、透明度以及人工智能驱动型决策的结果。可解释 AI 至关重要，可在组织将 AI 模型投入生产时帮助组织建立信任和信心。AI 可解释性还有助于组织采用负责任的 AI 开发方法。

AI 的先进程度越来越高，人类已经很难去理解和追溯算法是如何得出结果的。整个计算过程变成了通常所说的无法解释的“黑匣”。这些黑匣模型是直接从数据创建的。而且，即使是创建算法的工程师或数据科学家也无法理解或解释这些算法内部到底发生了什么，或者 AI 算法是如何得出特定结果的。

了解启用 AI 的系统如何产生特定输出会带来诸多好处。可解释性可帮助开发人员确保系统按预期运行，满足监管标准可能也需要可解释性，或者如果要允许受决策影响的人质疑或更改结果，那么可解释性也十分重要。¹

对于一家组织来说，充分了解 AI 决策过程并实现 AI 的模型监控和问责制，而不是盲目信任 AI，这一点至关重要。可解释 AI 可以帮助人类理解和解释机器学习 (ML) 算法、深度学习和神经网络。

ML 模型通常被认为是无法解释的黑匣。²深度学习中使用的神经网络是人类最难理解的神经网络之一。偏见（通常是基于种族的偏见）、性别、年龄或地点，这些一直是训练 AI 模型的过程中长期面临的风险。此外，因为生产数据与训练数据不同，AI 模型性能可能会出现漂移或降级。因此，企业需要持续监控和管理模型以提升 AI 可解释性，同时衡量使用此类算法所造成的业务影响，这一点至关重要。可解释 AI 还有助于提高最终用户的信任度和模型的可审计性，并促进 AI 的有效使用。它还缓解了生产 AI 带来的合规性、法律、安全和声誉风险。

可解释 AI 是实施负责任 AI 的关键要求之一，借助可解释 AI，现实中的各个组织可以大规模实施 AI 方法，并实现公平性、模型可解释性和问责制。³为了以负责任的方式采用 AI，组织需要基于信任和透明度构建 AI 系统，以将伦理原则嵌入到 AI 应用程序和流程中。

通过可解释 AI 以及可解释的机器学习，组织可以访问 AI 技术的底层决策，并能够进行调整。可解释 AI 可以让最终用户相信 AI 正在制定明智的决策，从而改善产品或服务的用户体验。AI 系统何时会对决策有十足的把握，让您可以信任决策，以及 AI 系统如何纠正出现的错误？⁴

AI 的先进程度越来越高，但仍然需要理解并管控 ML 流程，以确保 AI 模型结果的准确性。我们来看看 AI 和 XAI 之间的区别，用于将 AI 转换为 XAI 的方法和技术，以及阐释和解释 AI 过程之间的区别。

“常规”AI 和可解释 AI 之间究竟有什么区别？XAI 采用特定的技术和方法，确保可以跟踪和解释机器学习过程中所做出的每个决策。另一方面，AI 通常利用机器学习算法得出结果，但 AI 系统的架构师并不完全了解算法是如何得出该结果的。这样就很难检查结果的准确性，同时也会丧失可控性、问责制和可审计性。

设置 XAI 技术包括三种主要方法。预测准确性和可跟踪性可满足技术方面的需求，而决策理解可满足人类需求。如果未来的作战人员要理解、适度信任并有效管理新一代的人工智能机器合作伙伴，那么可解释 AI，尤其是可解释的机器学习，将至关重要。

准确性是在日常运营中成功使用 AI 的关键因素。通过运行模拟并将 XAI 输出与训练数据集中的结果进行比较，可以确定预测准确性。在这方面，最主流的技术是模型无关的局部解释 (LIME)，它解释了 ML 算法对分类器的预测。

可跟踪性是实现 XAI 的另一关键技术。可通过多种方法实现可跟踪性，比如通过限制决策的制定方式，以及为机器学习规则和功能设置更小的范围。可跟踪性 XAI 技术的一个例子是 DeepLIFT（深度学习重要特征），该算法将每个神经元的激活与其参考神经元进行比较，并显示每个已激活神经元之间的可跟踪链路，甚至显示它们之间的依赖关系。

这是指人为因素。许多人对 AI 并不信任，然而，要高效利用 AI，就需要学会信任 AI。通过教导团队使用 AI，可以建立对 AI 的信任，这样他们就能理解 AI 如何决策以及为何做出此等决策。

可阐释性是观察者对于决策原因的理解程度。这是人类对 AI 输出结果进行预测的成功率，而可解释性则更进一步，着眼于 AI 如何得出结果。

可解释 AI 和负责任 AI 目标相似，但采用的方法不同。以下是可解释 AI 和负责任 AI 之间的主要区别：

• 可解释 AI 是在计算出结果后审视 AI 结果。
• 负责任 AI 则是在规划阶段审视 AI，使 AI 算法在计算出结果之前始终以负责任的方式运行。
• 可解释 AI 和负责任 AI 可以协同工作，从而打造出更出色的 AI。

借助可解释 AI，企业可以排除故障，提高模型性能，同时帮助利益相关者了解 AI 模型的行为。通过跟踪模型，对模型行为展开调查，深入了解模型部署状态、公平性、质量和漂移，这对于扩展 AI 至关重要。

通过持续模型评估，企业能够比较模型预测结果、量化模型风险并优化模型性能。显示模型行为中的正值和负值以及用于生成解释的数据可加速模型评估。数据和 AI 平台可以生成模型预测的特征归因，并支持团队通过交互式图表和可导出文档直观调查模型行为。

要通过可解释 AI 达成理想结果，请考虑以下事项。

公平性和去偏：管理并监督公平性。通查部署以找出可能的偏见。

减少模型漂移：分析您的模型并根据最合乎逻辑的结果提出建议。当模型偏离预期结果时发出警报。

模型风险管理：量化并降低模型风险。当模型表现不佳时收到警报。了解偏差持续存在时会发生什么。

生命周期自动化：将模型作为集成数据和 AI 服务的一部分进行构建、运行和管理。统一平台上的工具和流程，以监控模型并共享结果。解释机器学习模型的依赖关系。

多云就绪：跨混合云（包括公有云、私有云和本地部署）部署 AI 项目。利用可解释 AI，增强信任感和自信心。

• 医疗：加速诊断、影像分析、资源优化和医疗诊断。提高患者护理决策的透明度和可跟踪性。通过可解释 AI 简化药品审批流程。

• 金融服务：通过透明的贷款和信贷审批流程改善客户体验。加快信贷风险、财富管理和金融犯罪风险评估。加快解决潜在投诉和问题。增强对定价、产品推荐和投资服务的信心。

• 刑事司法：优化预测和风险评估流程。使用可解释 AI 进行 DNA 分析、监狱人口分析和犯罪预测，加速解决问题。检测训练数据和算法中的潜在偏见。