生成式 AI 集成：需要考虑的因素

如今，许多企业在生成式 AI 的试验方面已经取得了巨大进展。他们发现了它如何自动化重复性任务，并确定了人工智能如何融入他们的工作流程。但从探索转向生产需要应对常见的 AI 集成挑战——并考虑一些不常见的因素。

作为一家软件开发初创公司，您可能已经尝试过像 GitHub Copilot 这样的人工智能驱动的代码生成工具。或者，作为一家内容创作机构，您可能已经试用过像 OpenAI 的 ChatGPT 这样的聊天机器人来编写播客和视频脚本，以及制作社交媒体帖子。但您已准备好更进一步，将生成式 AI 集成到您的业务中。

您已概述了您的目标和预期成果，制定了 AI 集成策略，甚至研究了生成式 AI 集成服务。无论是单干还是借助团队的协助，请查看这些微小但重要的因素，它们可能影响您的集成之旅。您或许能从中领悟一两种技巧，为您一路提供帮助。

高质量的数据可以带来高性能的生成式 AI 模型。虽然数据审计、数据集成和数据准备是生成式 AI 集成过程中的典型环节，但添加相关上下文可以进一步提升数据质量，并产生更具上下文感知能力的输出。

包含上下文的一种方法是在特定于您的领域或实际任务及用例的较小数据集上微调预训练模型。这有助于节省与从头训练模型相关的大量时间、精力和成本。

同时，检索增强生成 (RAG) 和模型上下文协议 (MCP) 都能实时融入上下文。RAG 系统从外部知识库检索数据，用检索到的数据增强提示的上下文，然后生成响应。MCP 的工作方式类似，但不同于 RAG 在生成之前添加上下文，MCP 在生成过程中融合上下文。它作为 AI 应用程序连接到外部数据源、服务和工具的标准层，利用实时数据。

如果不确定生成式 AI 解决方案与您现有系统的兼容性，集成过程就不完整。例如，您的 AI 开发团队可能已经在设计连接器（如中间件），将您选择的大语言模型 (LLM) 与您的 CRM 和 ERP 软件连接起来。

但有时，单个 LLM 并不足够，尤其是在业务流程自动化或工作流自动化中的复杂步骤中。例如，人力资源部门可能会考虑利用语言模型的自然语言处理 (NLP) 功能来分析定期员工调查中的反馈。小语言模型 (SLM) 可以处理直接的任务，例如对调查进行匿名化处理以去除识别信息，以及总结关键主题。更强大的 LLM 可以处理更复杂、更精细的任务，如情感分析和生成可操作的见解以辅助决策。

在此类场景中，LLM 编排可以简化多个语言模型的管理。LLM 编排框架将任务分配给正确的模型，并协调它们之间的交互，从而帮助提高效率和效果。

选择模型、测试其行为并评估其性能是集成生成式 AI 解决方案的关键部分。但如何托管或访问模型也很重要，您有多个选项可供选择：

• 自托管：如果您有预算、资源和团队，您可以在本地或私有云上托管生成式 AI 模型。您将完全控制您的数据，并可以根据需要自定义模型。自托管适用于具有严格数据隐私和数据安全要求的行业，例如金融和医疗保健。

• 模型即服务 (MaaS)：机器学习 (ML) 模型托管在云上，可通过 API 进行访问。尤其是 LLM，可通过 LLM API 来使用。MaaS 允许快速集成，无需管理您自己的 AI 基础设施，同时其按需付费的定价方式提供了灵活性。

• 订阅计划：通过基于云的平台上的订阅计划访问生成式 AI 工具和应用程序。一些提供商为企业定制计划，提供高级功能、专属客户支持、增强的服务水平协议以及企业级的安全与合规功能。

模型部署是模型选择和模型评估之后自然而然的一步。然而，生成式 AI 驱动的工作负载可能需要比 DevOps 所提供的更具体的方法。

这时 MLOps 和 LLMOps 便派上用场，从而带来更顺畅的生成式 AI 集成过程。MLOps 以 DevOps 原则为基础，将机器学习流水线纳入现有的 CI/CD 流水线中，从而允许模型的持续集成、部署、监控与可观测性、改进和治理。LLMOps 属于 MLOps 的范畴，但更适应 LLM 的生命周期和需求，例如使用 LLM 基准进行微调和评估。

用户体验 (UX) 是生成式 AI 集成的重要组成部分。周到、直观且用户友好的界面有助于在您的组织内扩大生成式 AI 的采用。

请考虑以下以用户体验为中心的提示：

• 在 AI 实施过程开始时就让 UX 设计师参与进来，尤其是在构建生成式 AI 原型时。

• 对于多模态 AI 模型，不要局限于聊天窗口或提示栏，为除文本之外的输入类型（如音频和图像）留出空间。

• 使用指示器向用户更新任务进度，特别是对于多步骤工作流或处理时间较长的任务。

• 实施引导式提示或模板，适应不同专业水平的用户。

• 提供保留用户偏好和先前上下文的机制。

• 创建交互式指南或教程，引导用户了解生成式 AI 应用程序的特性和功能。

评估您当前的 IT 生态系统对集成过程至关重要。但评估不仅要以当下为考量，更要以未来为优先。企业必须确保其基础设施能够扩展，满足生成式 AI 系统的计算需求以及自身不断变化的业务需求。

如果您正在考虑自托管模型，请考虑通过投资 AI 加速器和其他高性能计算资源来优化您的硬件以适配生成式 AI。升级您的网络能力以处理高速、低延迟的数据传输也是一个好主意。但如果您走的是基于云或 API 的路线，请检查您所使用的平台是否足够强大以处理生成式 AI 工作负载，以及是否跟上了生成式 AI 的最新进展。