主页
topics
可解释的人工智能
可解释人工智能 (XAI) 是一组流程和方法,让人类用户可以理解并信任机器学习算法创建的结果和输出。
可解释 AI 用于说明 AI 模型、其预期影响和潜在偏见。它可帮助描述模型的准确性、公平性、透明度以及人工智能驱动型决策的结果。可解释 AI 至关重要,可在组织将 AI 模型投入生产时帮助组织建立信任和信心。AI 可解释性还有助于组织采用负责任的 AI 开发方法。
AI 的先进程度越来越高,人类已经很难去理解和追溯算法是如何得出结果的。整个计算过程变成了通常所说的无法解释的“黑匣”。这些黑匣模型是直接从数据创建的。而且,即使是创建算法的工程师或数据科学家也无法理解或解释这些算法内部到底发生了什么,或者 AI 算法是如何得出特定结果的。
了解启用 AI 的系统如何产生特定输出会带来诸多好处。可解释性可帮助开发人员确保系统按预期运行,满足监管标准可能也需要可解释性,或者如果要允许受决策影响的人质疑或更改结果,那么可解释性也十分重要。¹
了解采用 AI 的障碍,特别是缺乏 AI 治理和风险管理解决方案。
对于一家组织来说,充分了解 AI 决策过程并实现 AI 的模型监控和问责制,而不是盲目信任 AI,这一点至关重要。可解释 AI 可以帮助人类理解和解释机器学习 (ML) 算法、深度学习和神经网络。
ML 模型通常被认为是无法解释的黑匣。²深度学习中使用的神经网络是人类最难理解的神经网络之一。偏见(通常是基于种族的偏见)、性别、年龄或地点,这些一直是训练 AI 模型的过程中长期面临的风险。此外,因为生产数据与训练数据不同,AI 模型性能可能会出现漂移或降级。因此,企业需要持续监控和管理模型以提升 AI 可解释性,同时衡量使用此类算法所造成的业务影响,这一点至关重要。可解释 AI 还有助于提高最终用户的信任度和模型的可审计性,并促进 AI 的有效使用。它还缓解了生产 AI 带来的合规性、法律、安全和声誉风险。
可解释 AI 是实施负责任 AI 的关键要求之一,借助可解释 AI,现实中的各个组织可以大规模实施 AI 方法,并实现公平性、模型可解释性和问责制。³为了以负责任的方式采用 AI,组织需要基于信任和透明度构建 AI 系统,以将伦理原则嵌入到 AI 应用程序和流程中。
加速在第三方平台上构建的生成式 AI 的负责任、透明且可解释的工作流程
通过可解释 AI 以及可解释的机器学习,组织可以访问 AI 技术的底层决策,并有权做出调整。可解释 AI 可以让最终用户相信 AI 正在制定明智的决策,从而改善产品或服务的用户体验。AI 系统何时会对决策有十足的把握,让您可以信任决策,以及 AI 系统如何纠正出现的错误?⁴
AI 的先进程度越来越高,但仍然需要理解并管控 ML 流程,以确保 AI 模型结果的准确性。我们来看看 AI 和 XAI 之间的区别,用于将 AI 转换为 XAI 的方法和技术,以及阐释和解释 AI 过程之间的区别。
比较 AI 和 XAI
“常规”AI 和可解释 AI 之间究竟有什么区别?XAI 采用了特定的技术和方法,以确保可以跟踪和解释在 ML 过程中所做出的每个决策。另一方面,AI 通常利用 ML 算法得出结果,但 AI 系统的架构师并不完全了解算法是如何得出该结果的。这样就很难检查结果的准确性,同时也会丧失可控性、问责制和可审计性。
可解释 AI 技术
XAI 技术的设置要用到三种主要方法。预测准确性和可跟踪性可满足技术方面的需求,而决策理解可满足人类需求。如果未来的作战人员要理解、适度信任并有效管理新一代人工智能机器合作伙伴,那么可解释 AI,尤其是可解释的机器学习,将至关重要。
预测准确性
准确性是在日常运营中成功使用 AI 的关键因素。通过运行模拟并将 XAI 输出与训练数据集中的结果进行比较,可以确定预测准确性。在这方面,最主流的技术是模型无关的局部解释 (LIME),它解释了 ML 算法对分类器的预测。
可跟踪性
可跟踪性是实现 XAI 的另一关键技术。可通过多种方法实现可跟踪性,比如通过限制决策的制定方式,以及为 ML 规则和功能设置更小的范围。可跟踪性 XAI 技术的一个例子是 DeepLIFT(深度学习重要特征),该算法将每个神经元的激活与其参考神经元进行比较,并显示每个已激活神经元之间的可跟踪链路,甚至显示它们之间的依赖关系。
决策理解
这是人为因素。许多人对 AI 并不信任,然而,要高效利用 AI,就需要学会信任 AI。通过教导团队使用 AI,可以建立对 AI 的信任,这样他们就能理解 AI 如何决策以及为何做出此等决策。
可阐释性是观察者对于决策原因的理解程度。这是人类对 AI 输出结果进行预测的成功率,而可解释性则更进一步,着眼于 AI 如何得出结果。
可解释 AI 和负责任 AI 目标相似,但采用的方法不同。以下是可解释 AI 和负责任 AI 之间的主要区别:
借助可解释 AI,企业可以排除故障,提高模型性能,同时帮助利益相关者了解 AI 模型的行为。通过跟踪模型,对模型行为展开调查,深入了解模型部署状态、公平性、质量和漂移,这对于扩展 AI 至关重要。
通过持续模型评估,企业能够比较模型预测结果、量化模型风险并优化模型性能。显示模型行为中的正值和负值以及用于生成解释的数据可加速模型评估。数据和 AI 平台可以生成模型预测的特征归因,并支持团队通过交互式图表和可导出文档直观调查模型行为。
要通过可解释 AI 达成理想结果,请考虑以下事项。
公平性和去偏:管理并监督公平性。扫描部署以查找潜在偏见。
减少模型漂移:分析您的模型并根据最合乎逻辑的结果提出建议。当模型偏离预期结果时发出警报。
模型风险管理:量化并降低模型风险。当模型表现不佳时收到警报。了解偏差持续存在时会发生什么。
生命周期自动化:将模型作为集成数据和 AI 服务的一部分进行构建、运行和管理。统一平台上的工具和流程,以监控模型并共享结果。解释机器学习模型的依赖关系。
多云就绪:跨混合云(包括公有云、私有云和本地部署)部署 AI 项目。利用可解释 AI,增强信任感和自信心。
IBM® watsonx.governance™ 工具包用于 AI 治理,令组织可以指导、管理和监控 AI 活动,并利用软件自动化来提升降低风险、管理法规需求以及解决生成式 AI 和机器学习模型道德问题的能力。
进行现代化改造,实现 AI 生命周期自动化。几乎可以在任何地方加强对数据和 AI 服务的治理和安全保护。
以信任和透明的方式构建和扩展 AI。通过持续监控可解释 AI 来构建、运行和管理 AI 模型。
以活动元数据和策略管理为支撑,利用端到端数据目录来治理数据和 AI 模型。
¹ “可解释 AI”(ibm.com 外部链接),英国皇家学会,2019 年 11 月 28 日。
² “可解释的人工智能”(ibm.com 外部链接),Jaime Zornoza,2020 年 4 月 15 日。
³ “可解释的人工智能 (XAI):负责任 AI 的概念、分类法、机遇和挑战”(ibm.com 外部链接),ScienceDirect,2020 年 6 月。
⁴ “理解可解释 AI”(ibm.com 外部链接),Ron Schmelzer,Forbes 撰稿人,2019 年 7 月 23 日。
⁵ “可解释的人工智能 (XAI)”(ibm.com 外部链接),Matt Turek 博士,美国国防部高级研究计划局 (DARPA)。