AI 不实信息：以下是降低公司的风险的方法

准确的信息是现代企业的命脉。企业依靠它来做出从供应链管理到产品营销等各个方面的关键业务决策。

虽然人工智能 (AI) 可以改善这种数据驱动的决策，但它也可以阻碍决策。AI 生成的内容可能充满了错误，从虚假新闻头条和糟糕的法律建议到以 Elmer’s 胶水为关键成分的披萨食谱。¹

我们是否能让这种棘手的情况成为过去？尽管 AI 拥护者们不愿意相信，但答案可能是否定的。

IBM 的 Matt Candy 解释说，生成式 AI 模型总是容易无意中产生一些不实信息。IBM® Consulting 生成式 AI 全球管理合伙人 Candy 说：“由于这些东西本质上是预测性的，它们是在预测和猜测下一个词是什么，因此你总会面临一定的风险。”

Candy 补充说，传统的机器学习 (ML) 模型也无法避免产生不实信息。他说：“这些模型是统计类的机器，实际上是在试图预测某种结果。因此，归根结底，这些模型仍然会预测出错误的答案或结果。”

然而，好消息是，公司可以采取多种措施来减少自己的 AI 系统产生和传播不实信息的机会。

如果这些措施不能防止 AI 生成的所有不实信息，那么公司还可以实施防护措施，在不实信息造成危害之前将其检测出来。

在我们研究公司如何保护自己免受 AI 生成的不实信息的侵害之前，有必要仔细研究不实信息和相关概念。这些概念很大程度上早于当今 AI 在信息生态系统中的广泛应用，但 AI 对这些现象的影响是巨大的。

不实信息就是不真实的信息。一些定义还指出，不实信息不是为了欺骗他人而故意创造，而是由错误导致的。

在人工智能生成不实信息的情况下，例子可能包括产生不准确或无意义输出的大型语言模型 (LLM)，以及具有不切实际或不准确描述（例如手臂太多的“真人”）的 AI 生成图像。

AI 幻觉是 AI 生成不实信息的常见原因。当 AI 算法产生并非基于训练数据的输出结果，被转换器错误解码或不遵循任何可识别的模式时，就会发生 AI 幻觉。

IBM® Research 的 IBM 院士 Kush Varshney 解释道：“幻觉的产生方式是，AI 模型试图确保语言流畅，但同时也试图将不同来源的信息拼凑在一起。即使是人类，当我们试图同时做多件事时，也可能会弄得一团糟。AI 模型也出现了同样的情况，它在试图使语言流畅时失去了对信息的追踪，反之亦然。”

虚假信息有时被认为是一种不实信息，但它的不同之处在于它是为了欺骗受众而创建的虚假内容。例子包括阴谋论，以及最近的伪造音频和视频材料。

2024 年美国总统大选前夕，发生了多起利用机器人和其他 AI 工具传播虚假信息的突出案例。其中包括冒充时任总统和民主党候选人乔·拜登声音的自动语音电话，以及表示共和党总统唐纳德·特朗普虚假名人代言的图像散播。^2,3

用于检测 AI 生成的深度伪造内容和其他欺骗性虚假信息内容的工具取得的成果喜忧参半，尽管最新一代的 AI 文本检测器已被证明比以前的版本更加有效。^4,5与此同时，TikTok 和 Facebook 等社交媒体平台已经开始为 AI 生成的内容贴上标签。⁶

与不实信息和虚假信息不同，恶意信息是基于现实和事实的潜在有害信息。恶意信息具有破坏性，因为它的传播是为了伤害他人，例如个人或公司。

例如，未经许可共享机密信息属于恶意信息的范畴，而 AI 则放大了这种做法的影响。诈骗者可以使用生成式 AI 工具来制作复杂而有效的网络钓鱼电子邮件，以帮助他们获取和传播机密信息。

虽然不可能确保所有 AI 输出都完全没有错误，但公司可以采取一些措施来大大降低其 AI 系统产生不准确或彻底捏造的信息的可能性。

• 确保数据质量
• 部署检索增强生成 (RAG)
• 使用更小的生成式 AI 模型

高质量数据对 AI 模型的性能至关重要。模型应该在多样化、平衡且结构良好的数据上进行训练，以最大限度地减少出现偏见和幻觉的可能性。科技公司和 AI 开发人员可以使用数据准备和数据过滤工具来删除低质量数据和仇恨内容（包括恶意信息），从而提高训练数据的质量。

降低 AI 幻觉可能性的最流行的工具之一是检索增强生成 (RAG)。RAG 是一种将生成式 AI 模型与外部数据源（例如公司的组织数据、学术期刊和专业数据集）连接起来的架构。通过访问此类信息，AI 聊天机器人和其他工具可以生成更准确的特定领域的内容。

虽然 OpenAI 的 ChatGPT 中面向消费者的 LLM 应用程序引起了公众的关注，但企业往往会寻找更小、更专门化的 AI 模型来更好地满足他们的需求，同时也不容易受到幻觉的影响。

“你已经让这些大型前沿模型在尽可能多的数据上进行了训练，”Candy 说。“但是，大多数企业用例并不需要一个在莎士比亚的全部作品、Reddit 和所有其他公开可用数据上训练过的模型。”

由于较小的模型具有较窄的上下文窗口并使用较少的参数，因此其产生幻觉的风险会下降。“事情变得混乱的可能性降低了。”Varshney 补充道。

在避免 AI 产生的不实信息造成伤害时，确定减轻幻觉的措施只是解决方案的一方面。公司还应确定战略和工具，以检测任何可能漏掉的幻觉和不准确输出。

领先的人工智能治理平台和基础模型现在包括检测幻觉的功能。IBM® watsonx.governance 以及 IBM 最新发布的 Granite Guardian 版本（IBM® Granite Guardian 3.1，IBM 专为企业设计的 Granite 语言模型系列工具的一部分），都根据答案相关性和“忠实度”等指标评估生成式 AI 模型的性能。

“他们称之为'忠实'，这是幻觉的反面，”Varshney 解释说。"当回应忠实于原始文件时，它就不是幻觉。”Granite Guardian 3.1 还具有检测效果不佳的 AI 使用过程和输出结果的功能，例如越狱、脏话和社交偏见。

尽管存在 AI 治理工具，但人类在防止 AI 生成不实信息的传播方面仍然可以发挥关键作用。Candy 说，当公司实施 AI 系统时，他们应该考虑在哪里建立允许人工监督的控制点。“我们需要有目的地设计流程中需要人工交互、人工核对和平衡以及人工决策的点。”

他指出，随着能够处理日益复杂任务的强大 AI 智能体的出现，这种人类决策尤为重要。

例如，虽然一家生命科学公司可能会使用多个 AI 智能体来研究和撰写有关新药开发的合规报告，但该公司仍会指派一名人类员工在向政府提交报告之前对其进行审阅和事实核查。

“最终，你仍然会有一个人参与这个过程，进行检查和验证，”Candy 说。“我不会低估人类因素的重要性。”