什么是自然语言生成 (NLG)？

NLG 系统已广泛用于企业级和消费级产品，例如商业智能 (BI) 工具和聊天机器人。语音助手通过 NLG 与用户沟通。

企业领导者使用 NLG 将复杂数据转换为生成文本，以提取关键洞察分析。每当 AI 模型以人类语言生成输出时，这就是 NLG 在发挥作用。

NLG 的两种主要类型是提取式和抽象式：

• 提取式 NLG 直接从源文本中提取精确的单词和短语。它用于特定措辞至关重要的情况，例如法律文件。与抽象式 NLG 相比，提取式 NLG 更简单，因为它从源文档进行复制，而不是输出新内容。

• 抽象式 NLG 根据源文档创建新颖的输出，解释并生成新内容。这是一个较复杂的过程，需要更高级的模型，例如转换器。提取式 NLG 在技术环境中更受欢迎，而抽象式 NLG 在更具创意的应用程序中表现出色。

NLG 通过一个多阶段的过程来处理结构化和非结构化数据输入，并生成自然语言输出。正如计算机科学家Ehud Reiter所描述的， ¹典型的 NLG 过程包含以下阶段：

• 信号分析：NLG 系统确定最终输出所需的输入数据。在信号或数据分析阶段，模式识别可识别内容的主题以及主题之间的关系。输入数据包括用户提示、数据库内容和非结构化语言内容，例如 PDF、文档和口语录音。实体识别有助于 NLP 系统理解正在讨论的内容。

• 数据解读：NLP 模型从数据分析阶段的结果中生成洞察分析。如果已使用可用的洞察分析预处理数据，则可以省略此步骤。NLP 系统会识别词性，并使用 NLU 评估句法和语义，从而理解其含义。

• 文档规划：这一阶段确定要传达哪些信息以及如何设置其格式。 NLG 系统根据可用的数据和用户提示来确定其最终输出的方法。

• 微观规划：确定沟通的内容和格式后，NLG 系统会规划最终输出的句子和段落结构。

• 表层实现：NLG 系统将计划付诸实施，根据前面步骤的结果生成自然语言输出。

NLG 是自然语言处理 (NLP) 计算机科学学科的一部分：使用机器学习 (ML) 模型理解和处理人类语言。

NLG 是 NLP 中与内容生成有关的部分，具体来说，其涉及输出新颖的书面或口头语言。例如，会话式 AI 聊天机器人利用 NLG 来实时响应用户输入。

NLP 将自然语言输入转换为数据，NLG 使用数据生成自然语言输出。

NLP 是计算语言学领域的一部分：研究计算机如何分析和理解人类语言。NLP 是计算语言学的实践。

深度学习和大型语言模型 (LLM) 的发展使得 NLP 的进步能够为处理内容创作的许多生成式 AI 应用程序提供支持。

自然语言理解 (NLU) 是 NLP 的另一个部分。NLU 并不关注语法和语言意义，而是试图全面掌握人类语言。NLU 使用语义和句法分析，并根据上下文全面理解自然语言输入，包括情绪、情感和意图。

NLU 使计算机能够以更接近人类的方式理解自然语言输入。当人们相互交谈时，他们处理的信息不仅仅局限于所用词汇的定义。他们能够自然地理解说话者字面意思背后的深层含义。

当软件应用程序提供预测文本选项时，它会利用 NLU 来理解用户的意图，然后应用 NLG 来完成句子。NLP、NLU 和 NLG 协同工作，帮助计算机与用户进行交流。

许多 NLG 系统使用转换器等先进 AI 模型，从训练数据和用户输入中创建新颖的文本。

然而，在开发这些模型之前，NLG 是通过其他方式实现的。NLG 模型和技术包括：

• 模板

• 基于规则的系统 

• 统计机器学习算法

• 深度学习模型

• 转换器

基于模板的系统使用预定义句子模板，并将变量作为输入数据。模板是最早且最简单的 NLG 类型之一，适用于句子和文档结构一致的上下文。但是，基于模板的系统无法适应预定义用例之外的情况。

例如，模板可能是： 在[年份][月份]，我们位于[地点]的店铺售出了[数量]单位的[商品]。 。

虽然该模板在报告基于位置的销售情况方面表现出色，但无法将其应用于生成烹饪食谱。

基于规则的系统根据一系列预先定义的规则和逻辑来生成文本。早期的基于规则的系统是为了模仿领域专家说话或写作的方式而创建的。程序员会采访专家，然后为文本生成创建相应的规则。

“if-then”系统是基于规则的编程的一个常见示例。例如，用于天气预报的 NLG 软件可能会被设定为，如果温度低于 32 华氏度或 0 摄氏度，就将天气描述为“冰点以下”。

隐马尔可夫链等统计机器学习算法可识别大型数据集中的模式，以利用新数据进行预测和决策。

它们会根据当前实例生成新的实例。对于 NLG，Markov 链和其他统计模型会生成可能相互跟随的词汇。

统计模型比模板和基于规则的系统更灵活，但需要大量的训练数据。

深度学习模型相较于统计算法而言，是 AI 技术的一大进步，能够生成看起来更为自然的文本。循环神经网络 (RNN) 是将深度学习模型应用于 NLG 的一个例子。

RNN 处理顺序数据，例如句子中的单词，并且可以传递知识，例如通过机器翻译。

转换器模型架构为一些最有效的 NLG 技术提供支持。GPT 和 BERT 等基于转换器的模型使用自注意力机制来捕获输入序列中的长程依赖关系，从而更好地理解上下文。

ChatGPT、Claude 和其他由 Transformer 驱动的聊天机器人可以生成逼真的人类语言输出。

NLG 在生成式 AI 领域无处不在，只要 AI 被用于以自然语言直接与人类交流，就能看到 NLG 的身影。从 Siri 到情感分析，NLG 的用例包括：

• 语音助手： Siri、Alexa 和其他语音助手使用 NLG 通过口语响应用户请求。其还借助 NLP 和 NLU 进行语音识别，以了解用户的意图。

• 虚拟助理： 聊天机器人和虚拟助理使用 NLG 来自动与客户交互。许多组织在必要时会先使用虚拟助手来处理初步的客户服务咨询，然后再将问题升级给人工客服代表。虚拟代理也通过 NLG 与用户进行沟通。

• 机器翻译： 机器翻译是指利用机器学习模型在不同语言之间进行自动翻译的过程。 NLG 系统负责处理输出生成，并简化耗时的翻译流程。随后，人工翻译和本地化专家可以根据需要对翻译结进行验证和编辑。

• 数据摘要和报告： NLG 系统将复杂的数据转换为易于理解的摘要和概述。通过简化文章和报告的聚合与总结过程，使预测工作更加高效。企业领导者使用基于 NLG 的 BI 工具来进行数据驱动型决策。其他企业则利用 AI 和 NLG 来为其客户创建此类内容。

• 内容生成：每当生成式 AI 模型输出自然语言内容时，都是NLG在发挥作用。企业可以选择使用 NLG 来自动执行产品描述、电子邮件营销活动、社交媒体帖子和其他类型的短篇内容。

• 情感分析：NLG 系统根据受众反馈和交流创建文本摘要和报告。企业可以从产品评论、社交媒体平台、论坛帖子和其他在线位置提取用户生成的内容，然后使用 NLP 和 NLG 来识别用户的感受。