自然语言处理系统可以快速有效地工作：在对 NLP 模型进行适当训练后，它可以承担管理任务，让员工腾出时间从事更富有成效的工作。优势包括：

更快的洞察发现：组织可以发现不同内容之间隐藏的模式、趋势和关系。文本数据检索可支持更深入的洞察和分析，从而做出更明智的决策并提出新的业务想法。

节省更多预算：借助大量可用的非结构化文本数据，NLP 可用于自动收集、处理和组织信息而几乎无需手动操作。

快速访问企业数据： 企业可以建立组织信息知识库，以便通过 AI 搜索高效访问。对于销售代表而言，NLP 可以帮助快速返回相关信息，改善客户服务并帮助完成销售。

NLP 模型并不完美，而且可能永远不会完美，就像人类语音容易出错一样。风险可能包括：

有偏见的训练：与任何 AI 功能一样，训练中使用的有偏见的数据会使答案产生偏差。NLP 功能的用户越多样化，这种风险就越大，例如在政府服务、医疗保健和人力资源互动中。例如，从网络上获取的训练数据集很容易带有偏见。

曲解：与编程一样，存在“垃圾进，垃圾出”(GIGO) 的风险。如果语音输入是晦涩的方言、含糊不清、充满俚语、同音异义词、语法不正确、习语、片段、发音错误、缩写或在背景噪音太强的情况下录制，NLP 解决方案可能会困惑。

新词汇：新词不断被发明或引进。语法习惯可能会演变，也可能被故意打破。在这些情况下，NLP 要么尽力去猜测，要么承认自己不确定 - 无论哪种方式，都会造成复杂化。

语调：当人们说话时，他们语言要表达的意思或肢体语言所表达的含义可能与字面的言辞完全不同。为了表达效果而夸大其词、为了强调重要性而强调单词或讽刺可能会被 NLP 混淆，从而使语义分析变得更加困难且不太可靠。

人类语言充满了许多歧义，这使得程序员很难编写能够准确确定文本或语音数据预期含义的软件。人类学习语言可能需要数年时间，而且许多人从未停止过学习。但是，程序员必须教会自然语言驱动的应用程序识别和理解不规则语法现象，这样他们的应用程序才能准确和有用。

NLP 将计算语言学的强大功能与机器学习算法和深度学习相结合。计算语言学是一门使用数据科学来分析语言和语音的语言学学科。它包括两种主要类型的分析：句法分析和语义分析。句法分析通过解析单词的语法并应用预先编程的语法规则来确定单词、短语或句子的含义。语义分析使用句法输出从单词中提取含义，并在句子结构中解释它们的含义。

单词的解析可以采用两种形式之一。依赖关系解析着眼于单词之间的关系，例如识别名词和动词，然后成分分析会生成解析树（或语法树）：句子或单词串的句法结构的寻根和有序表示。生成的解析树是语言翻译器和语音识别功能的基础。理想情况下，这种分析使输出（文本或语音）可为 NLP 模型和人所理解。

自监督学习 (SSL) 对于支持 NLP 特别有用，因为 NLP 需要大量标记数据来训练最先进的人工智能 (AI) 模型。由于这些标记的数据集需要耗时的注释（该过程涉及人工标记），因此收集足够的数据可能非常困难。自监督方法可以更省时，更具成本效益，因为它们替代了部分或全部需要手动标记的训练数据。

三种不同的 NLP 方法包括：

基于规则的 NLP：最早的 NLP 应用是简单的“if-then”决策树，需要预编程规则。他们只能根据特定提示提供答案，例如 Moviefone 的原始版本。由于基于规则的 NLP 没有机器学习或 AI 功能，因此该功能非常有限且不可扩展。

统计 NLP：统计 NLP 是较晚发展起来的，它能自动提取、分类和标记文本和语音数据中的元素，然后为这些元素的每种可能含义分配统计可能性。这依赖于机器学习，能够进行复杂的语言学细分，如语音部分标记。

统计 NLP 引入了将语言元素（例如单词和语法规则）映射到向量表示的基本技术，以便可以使用数学（统计）方法（包括回归或马尔可夫模型）对语言进行建模。这为早期的 NLP 开发提供了信息，例如拼写检查器和 T9 短信（使用 9 个键的文本，用于按键式电话）。

深度学习 NLP：最近，深度学习模型已成为 NLP 的主导模式，通过使用大量原始、非结构化数据（文本和语音）来变得更加准确。深度学习可以看作是统计 NLP 的进一步发展，不同之处在于它使用神经网络模型。模型有几个子类别：

• 序列到序列 (seq2seq) 模型：基于循环神经网络 (RNN)，主要用于机器翻译通过将一个领域（例如德语）的短语转换为另一个领域的短语（例如英语）。
  
  
• 转换器模型：它们使用语言的标记化（每个标记的位置 - 单词或子单词）和自我注意力（捕获依赖程度和关系）来计算不同语言部分之间的关系。转换器模型通过在海量文本数据库上使用自监督学习，可以有效地进行训练。转换器模型的一个里程碑是 Google 的转换器双向编码器表示 (BERT)，它成为并仍然是 Google 搜索引擎工作方式的基础。
  
  
• 自回归模型：这种类型的转换器模型经过专门训练，可以预测序列中的下一个单词，这代表了生成文本能力的巨大飞跃。自回归 LLM 的示例包括 GPT、Llama、Claude 和开源 Mistral。
  
  
• 基础模型：预先建立和整理的基础模型可以加快 NLP 工作的启动速度，并提高对其运作的信任度。例如，IBM® Granite 基础模型广泛应用于各个行业。它们支持 NLP 任务，包括内容生成和洞察提取。此外，它们还促进了检索增强生成，这是一个通过将模型与外部知识源联系起来来提高响应质量的框架。这些模型还执行命名实体识别，包括识别和提取文本中的关键信息。
  

要更深入地了解这些技术及其学习方法之间的细微差别，请参阅“人工智能 vs. 机器学习 vs. 深度学习 vs. 神经网络：有什么区别？”

一些 NLP 任务通常有助于处理人类文本和语音数据，从而帮助计算机理解它所摄取的内容。其中一些任务包括：

语言任务

• 共指消解用于确定两个词是否以及何时指代同一实体。最常见的例子是确定某个代词所指的人或物体（例如，“她”=“Mary”），但是，它也可能识别文本中的隐喻或习语（例如，“熊”并不是一种动物，而是一个身材高大、毛发旺盛的人）。
  
  
• 命名实体识别 (NEM) 用于将单词或短语识别为有意义的实体。NER 将“London”识别为地点，或将“Maria”识别为人名。
  
  
• 词性标注，也称为语法标注，是根据特定单词或文本的用法和上下文确定其词性的过程。例如，词性标注将“I can make a paper plane”中的“make”识别为动词，将“What make of car do you own?”中的“make”识别为名词。
  
  
• 词义消歧是为一个有多种可能含义的词选择一个词义。其使用语义分析过程来检查上下文中的单词。例如，词义消歧有助于区分动词“make”在“make the grade”（达到）和“make a bet”（做出）中的含义。要理解“I will be merry when I marry Mary”的意义，需要一套复杂的 NLP 系统。

用户支持任务

• 语音识别，也称为语音转文本，是将语音数据可靠地转换为文本数据的任务。任何遵循语音命令或回答口头问题的应用程序都带有语音识别功能。使语音识别特别具有挑战性的是人们说话的方式 - 语速快、单词连读、重音和语调各不相同。
  
  
• 自然语言生成 (NLG) 可以被描述为语音识别或语音转文本的对立面：NLG 是将结构化信息转换为会话式人类语言的任务。如果没有 NLG，计算机就几乎没有机会通过图灵测试（计算机试图模仿人类的对话）。Amazon 的 Alexa 和 Apple 的 Siri 等对话式代理已经在这方面做得很好，可以实时为客户提供帮助。
  
  
• 自然语言理解 (NLU) 是 NLP 的一个子集，侧重于分析句子背后的含义。NLU 使软件能够在不同的句子中找到相似的含义或处理具有不同含义的单词。
  
  
• 情感分析尝试从文本中提取主观特质 - 态度、情感、讽刺、困惑、怀疑等。这通常用于将通信路由到系统或最有可能做出下一个响应的人员。

请参阅博客文章“NLP、NLU 与 NLG：三种自然语言处理概念之间的差异”，以更深入地了解这些概念之间的关系。

组织可以使用 NLP 来处理电子邮件、短信、音频、视频、新闻源和社交媒体等通信。在许多现代现实世界应用中，NLP 是 AI 背后的推动力。以下是几个示例：

• 客户协助：企业可以部署聊天机器人或虚拟助理来快速响应自定义问题和请求。当聊天机器人或虚拟助理的问题变得过于困难时，NLP 系统会将客户移交给人工客户服务代理。
  
  虚拟代理，包括 IBM watsonx Assistant、Apple 的 Siri 和 Amazon 的 Alexa，使用语音识别来识别语音命令和自然语言生成中的模式，并以适当的操作或有用的评论做出回应。聊天机器人会回复键入的文本条目。其中的佼佼者还能学会识别人类请求的语境线索，并随着时间的推移利用这些线索提供更好的响应或选项。
  
  这些应用程序的下一项增强是回答问题的功能，即它们可以使用自己的话语，针对问题（无论它们是否预测到这些问题）提供有帮助的相关答案。这些自动化有助于降低成本，节省代理在冗余查询上花费的时间，并提高客户满意度。
  
  并非所有的聊天机器人都由 AI 提供支持，但是最先进的聊天机器人越来越多地使用会话式 AI 技术（包括 NLP）来理解用户的问题并自动回复这些问题。
  
  
• 常见问题：不是每个人都想通过阅读来找到答案。幸运的是，NLP 可以改进常见问题：当用户提问时，NLP 功能会从可用答案中寻找最佳匹配答案，并将其显示在用户屏幕上。许多客户的问题都是关于谁/什么/何时/何地之类的信息，因此此功能可以使员工免于重复回答相同的常规问题。
  
  
• 语法纠正：语法规则可以应用于文字处理或其他程序其中，NLP 功能经过训练可以发现不正确的语法并建议更正后的措辞。
  
  
• 机器翻译：Google Translate 就是 NLP 技术得到广泛应用的一个例子。真正有用的机器翻译不仅仅是将一种语言的单词替换成另一种语言。有效的翻译必须准确捕捉输入语言的含义和语气，并将其翻译为在输出语言中具有相同含义和预期效果的文本。
  
  机器翻译工具变得越来越准确。测试任何机器翻译工具的一个好方法是，先将文本翻译成另一种语言，然后再翻译回原始语言。一个经常被引用的经典例子是：将“The spirit is willing, but the flesh is weak”从英语翻译成俄语，然后再翻译回去，“The vodka is good, but the meat is rotten”。最近，一个比较接近的结果是“The spirit desires, but the flesh is weak”。现在，Google Translate 可以将英语翻译成俄语，并翻回原文：“The spirit is willing, but the flesh is weak。”

• 编辑个人身份信息 (PII)：NLP 模型可以在训练后，快速定位文档中可能识别个人身份的个人信息。处理大量敏感信息的行业 - 金融、医疗保健、保险和法律公司 - 可以快速创建删除 PII 后的数据版本。
  
  
• 情感分析：在接受了行业特定或业务特定语言的培训后，NLP 模型可以快速扫描传入文本中的关键字和短语，以实时评估客户的情绪是积极的、中立的还是消极的。传入通信的情绪可以帮助确定如何处理。传入的通信不一定是实时的：NLP 还可用于分析客户反馈或呼叫中心录音。
  
  另一个选择是 NLP API，它可以实现事后文本分析。NLP 可以从社交媒体帖子、回复或评论中发现可操作的数据洞察，以提取对产品、促销和活动的态度和情绪。信息公司可以在产品设计、广告活动等中使用情感分析。
  
  
• 垃圾邮件检测：很多人可能不认为垃圾邮件检测是一种 NLP 解决方案，但最好的垃圾邮件检测技术会使用 NLP 的文本分类功能来扫描电子邮件，查找表明垃圾邮件或网络钓鱼的语言。这些迹象可能包括过度使用金融术语、典型的语法错误、威胁性语言、不恰当的紧迫感、公司名称拼写错误等。
  
  
• 文本生成：NLP 有助于将“生成”引入生成式 AI。NLP 使计算机能够生成听起来自然逼真的文本或语音，足以被误认为是人类交流。生成的语言可用于创建博客、计算机代码、信件、备忘录或推文的初始草稿。如果采用企业级系统，生成语言的质量可能足以实时用于自动完成功能、聊天机器人或虚拟助理。
  
  NLP 的进步正在为生成式 AI 系统背后的推理引擎提供动力，从而带来更多机遇。Microsoft® Copilot 是一款 AI 助手，旨在提高员工日常任务的工作效率和创造力，并且已经在日常使用的工作工具中得到应用。 
  
  
• 文本摘要：文本摘要利用 NLP 技术采集大量数字文本，为索引、研究数据库或没有时间阅读全文的繁忙读者创建摘要和概要。最好的文本摘要应用程序会使用语义推理和自然语言生成 (NLG) 为摘要添加有用的上下文和结论。
  

• 金融：在金融交易中，访问数据、进行交易或买卖时，数纳秒足以决定成败。NLP 可以加快从财务报表、年度报告和监管报告、新闻稿甚至社交媒体中挖掘信息的速度。
  

• 医疗保健：新的医学见解和突破可能比许多医疗保健专业人员能获知的速度更快。基于 NLP 和 AI 的工具可以帮助加快对健康记录和医学研究论文的分析，从而做出更明智的医疗决策，或协助检测甚至预防疾病。
  

• 保险：NLP 可以分析理赔，以寻找能够识别关注领域的模式，并发现理赔处理中的低效问题，从而进一步优化处理和员工工作。
  
  
• 法律：几乎所有法律案件都需要查阅大量文件、背景资料和法律先例。NLP 可以帮助实现法律取证自动化、协助组织信息、加快审查速度并帮助确保捕获所有相关细节以供考虑。

Python 和 Natural Language Toolkit (NLTK)

Python 编程语言为执行特定的 NLP 任务提供了广泛的工具和库。这些 NLP 工具中有许多位于自然语言工具包 (NLTK) 中，这是一个用于构建 NLP 程序的库、程序和教育资源的开源集合。

NLTK 包含用于完成许多 NLP 任务和子任务的库，这些任务和子任务包括句法分析、分词、词干提取和词形还原（提取单词词根的方法）和分词（将短语、句子、段落和篇章分解为有助于计算机更好地理解文本的符号）。它还包括用于实现语义推理等功能（即根据从文本中提取的事实得出逻辑结论的能力）的库。

使用 NLTK，组织可以看到词性标注的产物。标注单词可能看起来并不复杂，但是单词会因使用位置而具有不同含义，因此该过程实际很复杂。

生成式 AI 平台

企业可以利用用户友好的生成式 AI 平台将 NLP 的强大功能注入其数字解决方案中，此类平台包括 IBM® Watson NLP Library for Embed，这是一个旨在为 IBM 合作伙伴提供更强大 AI 功能的容器化库。开发人员可以在自己选择的环境中访问该解决方案，并将其集成到应用程序中，从而创建具有强大 AI 模型、广泛语言覆盖范围和可扩展容器编排的企业级解决方案。

更多选项包括 IBM^® watsonx.ai AI Studio，它支持多种选项来制作模型配置，支持一系列 NLP 任务，包括问答、内容生成和摘要、文本分类和提取。集成还可以实现更多的 NLP 功能。例如，借助 watsonx 和 Hugging Face，AI 构建器可以使用预训练模型来支持一系列 NLP 任务。