自动化艺术：第 3 章 – 智能文档处理

• AI 在文档处理中的崛起
• 智能文档处理旨在提取业务关键数据，从而实现更高效、更快速的决策，并提升业务绩效。
• 智能文档处理三大应用实例
• IBM 和智能文档处理

《自动化艺术》：目录

数字内容的爆炸式增长导致文档格式与版式呈现高度多样化，同时输入渠道的质量与可识别性也参差不齐。例如，用户可能身处网约车后座，为申请有时效性的停车许可而拍摄水电帐单。或者，您可能与患者进行电子邮件通信，试图在远程居家工作时处理医疗保健索赔。2018 年，福布斯指出，此前两年生成的数据量占全球数据总量的 90%。可以想象，在远程办公、远程医疗、数字社交等活动助推下，2020 年这一增长趋势更为迅猛。

除数字内容和输入渠道激增外，现有采集技术也已无法满足扩展需求。例如，指纹识别功能虽可用于指定识别区域和位置信息，以提取特定文档格式或类似匹配所需数据，但随着新社会或经济项目或新 B2B 关系带来的独特文档格式激增，配置这些功能会挤占本应用于达成交易、改善经济或推进社会福利的时间。此外，当输入来源涵盖移动端、邮件和在线表单等多渠道时，采用页眉或条形码等分隔页来识别申请组件的方法也已失效。

其结果是组织不得不投入越来越多时间进行文档人工处理，这已不能简单归咎于传真机图像质量不佳。Levvel Research 2019 年调查显示，57% 的发票数据需人工录入，49% 的发票审批需要两到三名审批人。

虽然人工智能 (AI) 并非新技术，但组织要成功处理半结构化和非结构化文档仍面临困难。使用 AI 需要深厚的数据科学技能和大量样本文档进行模型训练，这导致实现业务价值前需经历漫长的文档和数据收集周期。

然而，AI 技术的进步和简易化工具正加速文档处理应用。首先，模拟人脑思维的深度学习算法已经成熟。这些算法可以识别有效的上下文模式，以理解非结构化信息（例如文档的内容），并将这种学习能力迁移至未见过的场景，即迁移学习。这有助于减少文档收集过程和较长的训练周期。其次，配备分步指南的无代码工具让业务用户能轻松训练 AI 模型、格式化数据输出并自定义业务风险容限。

虽然各厂商的智能文档处理和 AI 模型实施方案有所不同，但核心环节保持一致：

1. 文档分类
2. 数据提取
3. 数据输出

首先，文档分类是识别发票或税单等文档类型的任务。使用一组样本文档，可以根据不同的文档类型以及与这些文档类型相对应的字段和值训练 AI 分类模型。此环节不仅可以为下一个数据提取活动提供信息，还可以支持其他类似文档类型的迁移学习，有利于更好地在内容存储库中搜索文档。

其次，智能数据提取是将重要的相关信息从页面中提取出来的核心环节。这包括识别键值对（例如账号或欠款金额），定义数据形态以及页面位置，以及针对不同文档类型训练 AI 模型提取相关信息。在这一步骤中，还可能提取元数据并将其与文件关联起来，以方便后续搜索。

最后，数据输出包含数据丰富化和生成下游可用最终输出文件。基于 AI 的模型可自动校正常见拼写错误、将数据转换为标准输出格式（如电话号码）、统一数据格式（如金额保留两位小数）。最后一步是创建输出 —— 通常是 JSON 文件 —— 然后可以将该文件提供给工作流或推送到内容存储库以供后续使用。

智能文档处理的一个主要受益点是流程自动化，经过验证的结构化数据可馈入业务系统，实现加速处理和可扩展运营。例如，以前人工设置工作流、数据录入和验证可能耗时数小时，而智能文档处理与工作流的集成可消除这些人工步骤，实现数据输出自动注入业务流程。同样，输入到机器人流程自动化 (RPA) 机器人的错误数据会导致下一步操作出现故障，引发业务流程瓶颈或错误。利用智能文档处理的持续输出，RPA 机器人能在组织内更轻松地扩展。最后，可视化仪表板可帮助业务用户发现数据提取模式、业务流程瓶颈等洞察分析，支撑更明智的决策。

了解更多 RPA 在自动化中的作用，请参阅《自动化艺术：第二章——机器人流程自动化 (RPA)》。

大量证据表明，市场对文档处理自动化需求旺盛，人工智能 (AI) 与低代码工具的结合将帮助组织提高员工生产力并提升业务绩效。

事实上，在与 IBM 客户的合作中，我们发现了许多可以应用智能文档处理的案例。下面我们将介绍三个使用案例，以及企业可能实现的潜在效益。

• 保险业：账户开立与服务，个人与商业理赔
• 政府机构：社会服务登记与资格认证，养老金与退休计划，许可证与执照
• 银行业：账户开立与服务，抵押贷款/贷款申请

商业保险报价与审批流程应用程序

商业保险的报价与审批流程竞争极为激烈，通常率先回应报价的公司能够赢得业务。许多保险公司面临的挑战在于，此流程需要人工审核、申请数据录入和支持文件解读，导致难以参与竞争或实现规模扩展。这也使得代理人将注意力从维系和拓展现有业务所需的咨询服务上转移。智能文档处理可利用基于深度学习的 AI 技术，自动读取和分类各类文档，并从不同格式中提取相应数据，从而实现流程自动化。提取的数据随后可连接至工作流，加速业务处理，生成报价并批准申请。

应用智能文档处理技术有以下三个潜在优势：

1. 无需增员即可通过更多成交业务提升营收。
   
2. 提升处理速度，客户体验得到改善。
3. 增强现有客户账户的维系与拓展

社会服务登记处理应用程序

数十项地方政府项目（如食品援助或住房补贴）的登记工作，因 IT 团队缺乏构建所需解决方案的资源，而依赖低效的人工表格处理。通过低代码工具与智能文档处理，业务用户可构建简洁而实用的处理应用程序，并训练系统识别登记表中的关键字段。此外，易于配置的验证器可确保准确识别日期字段和货币字段，并且还可以创建简单的自定义验证器来处理社会保障编号等独特字段。

应用智能文档处理技术有以下三个潜在优势：

1. 由于审批速度加快，登记人数有所增加。
2. 通过基于角色的个人身份信息查看机制，实现成本效益化的定制自动化解决方案部署。
3. 由业务用户构建，IT 部门极少或无需参与。

个人银行账户服务

银行网站通常提供超过 20 种账户服务表格供客户下载。账户持有人使用这些表格办理账户变更或销户业务。目前，这需要配备相当规模的客服团队来阅读这些表格、验证数据并将数据录入账户管理系统。然而，借助低代码工具和智能文档处理，银行可快速构建解决方案来处理各类账户服务表格，并通过智能文档处理训练系统识别每个表格——不仅能识别客户地址和账号等通用字段，还能识别各表格特有的字段。

结合 RPA 技术，银行还可将提取的数据自动同步至后台系统。此外，利用智能文档分类功能，销户表格可被快速标记，并向客服发出潜在流失风险客户的预警。

应用智能文档处理技术有以下三个潜在优势：

1. 通过更快的响应时间改善客户体验。
2. 智能流失风险识别，改善客户维系。
3. 降低零售银行业务单账户成本。

IBM 的智能文档处理方案体现于我们的   IBM Cloud Pak for Business Automation 中。作为云原生解决方案， 自动化文档处理 是一套由人工智能驱动的服务，可自动读取并修正文档中的数据。文档处理设计器提供易于使用的无代码界面，用于训练文档分类、数据提取及数据增强模型。

此外，IBM 提供文档处理应用模板，可用于处理单页文档或批量文档。应用设计器中的工具包还可用于定制最终用户应用程序，使其外观与组织内其他应用保持一致。最后，IBM 提供简易部署工具，并与其内容服务 IBM FileNet Content Manager 实现开箱即用集成，用于存储文档及数据输出文件。

尽管本章概述了文档处理如何迎来变革契机及 AI 在推动文档处理进步中的重要作用，该领域仍将持续创新。有两个关键领域尤其值得关注：首先，随着半结构化和非结构化文档的格式与结构持续激增，AI 模型需持续跟进。从读取复杂表格结构到处理带有全息图或水印的政府签发身份证件，AI 模型将面临保持准确性的挑战。

其次，虽然该领域被命名为智能文档处理，但视频和音频文件类型正日益增多。这些文件类型进入保险理赔处理或警方事件报告申报等关键路径仅时间问题。

敬请持续关注，这场变革必将激动人心。

欢迎收听《自动化艺术》播客，尤其是第七集，我和 Jerry Cuomo 共同讨论智能文档处理。