摘要是将长文档精炼成简洁摘要的能力，捕捉大型任务的关键点。从技术角度来看，摘要具有挑战性，因为它需要广泛的能力：理解长篇文本、识别关键点和主题，以及生成能够捕捉更长文本主旨的新文本。幸运的是，大语言模型 (LLM) 非常适合这些任务。使用 LLM，架构师可以创建解决方案，帮助用户最大程度地减少详细阅读长文档的负担，从而提高生产力并带来更积极的用户体验。

架构

文档摘要解决方案的主要组件及其相互连接的示意图。

生成式 AI 架构模式

上图展示了摘要模式的两种形式。该模式最简单的形式是直接填充变体。在此变体中：

读取文档内容并将其“填充”，即完整复制到 LLM 提示词中。
通常使用提示词模板，用指令和关键词“包装”内容，以引导目标模型生成摘要。
生成的提示词被提交给经过训练的 LLM，后者生成摘要作为响应。

直接填充方法适用于小型文档，但不适用于对于 LLM 上下文窗口来说过大或文档集合的情况。幸运的是，针对这些情况，我们有分治聚合变体。在该变体的映射 (Map) 阶段，使用直接填充方法将单个文档和/或文档的子部分填充到 LLM 提示词中。针对这些文档和/或片段返回的摘要由应用聚合，然后提交给 LLM (4) 以生成更长文档和/或文档集的整体摘要。可以对同一 LLM 同时用于映射和聚合阶段，但更常见的情况是，需要对聚合模型进行微调，以便在不丢失关键细节的情况下生成聚合摘要。

从概念上讲，摘要类似于机器翻译任务：我们希望 LLM 将长文档“翻译”成较短的摘要。因此，像 BART 和 T5 这样的编码器-解码器模型非常适合摘要解决方案。大多数适用于摘要的 LLM 都是使用一个或多个公开可用的训练集进行训练的，这些训练集来自新闻、维基百科、立法和科学出版物等来源，但通常需要经过微调，才能针对特定的业务流程和输入数据生成可接受的摘要。

复杂的业务流程通常需要多个微调模型来为不同的用户组生成摘要。例如，保险理赔流程可能需要经过微调的 LLM ，用于理赔摘要和分派、欺诈检测和调查，以及总结服务提供商（如医疗或工程顾问）的报告。

用例

摘要模式适用于任何用户必须例行阅读和理解大型文档，但在业务流程后期才需要深入了解文档内容的业务场景。

候选用途包括：

保险理赔裁定。 保险理赔，尤其是复杂的商业和团体健康险理赔，在提交和裁定过程中通常需要多次阅读。通常，最初阅读理赔是为了确定处理理赔的适当部门和/或理赔员。需要进一步阅读以理解独立评估报告并采取行动，确定承保范围，并评估潜在欺诈。从文本中提取相关要点的摘要解决方案有可能显著改进这些流程。
合同。 商业合同通常复杂且难以理解，即使是相对直接的交易也是如此。能够用通俗语言概括合同关键条款和条件的摘要解决方案，对多个行业的商务人士、律师和律师助理来说可能是一个巨大的福音。
病历摘要。 从患者记录中汇编病历摘要是一项艰巨的任务，需要丰富的专业知识才能正确完成。若能提供一种摘要方案，可以提取庞杂病历中的关键信息，并协助进行记录编码（使用 ICD-10 或其他诊断编码方案），则将提升病历摘要工作的效率和一致性。
产品和服务支持。 客户支持人员经常被要求接手或介入问题解决工作，这些工作可能跨越客户与支持团队之间的多次交互。准确总结支持案例的摘要解决方案可以减少支持人员了解案例所需的时间，并有望缩短解决问题所需的时间。