通过灵活的模型选择扩展生成式 AI

一名男子坐在现代图书馆的大窗边,用笔记本电脑工作。

本博文系列将为商业与科技领导者揭开企业生成式 AI 的神秘面纱。它为变革性人工智能 (AI) 之旅提供了简单框架和指导原则。在上一篇博文中,我们讨论了 IBM 在提供企业级模型方面采用的差异化方法。在本博文中,我们将深入探讨为什么基础模型选择很重要,以及这些模型将如何帮助企业自信地扩展生成式 AI。

为什么模型选择很重要?

在生成式 AI 的动态发展领域,“一刀切”的通用方案已难以满足需求。随着企业致力于充分挖掘 AI 的潜力,拥有多样化的模型选择至关重要,这有助于实现以下目标:

  • 促进创新:多样化的模型不仅可以通过发挥独特的优势来解决各种广泛的问题,促进创新,而且还能使团队适应不断变化的业务需求和客户期望。
  • 定制化竞争优势:一系列模型使企业能够根据特定需求定制 AI 应用程序,从而提供竞争优势。生成式 AI 能可针对特定任务进行微调优化,无论是问答式聊天应用开发,还是编写代码生成快速摘要等场景均适用。
  • 缩短上市时间:在当今快节奏的商业环境中,时间至关重要。多样化的组合可以加快开发流程,推动企业快速引入人工智能驱动的产品。这一点在生成式 AI 领域尤为关键,掌握最新技术创新成果,能为企业构建核心竞争优势。
  • 面对变化保持灵活性:市场条件和业务战略不断变化。多种模型选择可支持企业快速有效地进行调整。拥有多种选择能够使企业在出现新趋势或战略转变时迅速适应,从而保持敏捷性和弹性。
  • 优化各用例的成本:不同模型带来的成本影响各不相同。通过获取多样化的模型选择,企业可为每个应用场景挑选性价比最优的方案。部分任务可能需要高成本模型提供的精准性能,而其他任务则可在不牺牲质量的前提下,采用更经济的替代模型来完成。例如,在客户服务领域,吞吐量和延迟可能比准确性更关键,而在资源和开发领域,准确性更重要。
  • 降低风险:依赖单一模型或有限的选择可能会有风险。多样化的组合有助于降低集中风险,确保企业能够抵御单一特定方法的缺陷或失败。这种战略支持风险分配,并在出现挑战时提供替代解决方案。
  • 遵守法规:AI 的监管框架仍在持续演进,而伦理考量始终处于核心位置。不同的模型可能对公平性、隐私和合规产生不同的影响。广泛的选择使企业能够驾驭这种复杂的环境,并选择符合法律和道德标准的模式。

选择正确的 AI 模型

既然我们已经了解了模型选择的重要性,那么在为特定用例选择合适的模型时,我们如何处理选择过多的问题呢?我们可以将这个复杂的问题分解成一系列立即可启动的简单步骤:

  1. 确定明确的用例:确定业务应用程序的特定需求和要求。具体工作包括制定详细的提示词,考虑行业和业务中的细微差别,确保模型与目标紧密相符。
  2. 列出所有模型选项:根据规模、准确性、延迟和相关风险评估各种模型。具体工作包括了解每个模型的优缺点,例如准确性、延迟和吞吐量之间的权衡。
  3. 评估模型属性:需结合模型规模对性能的潜在影响及相关风险,评估模型体量与业务需求的适配性。此步骤核心在于根据具体用例实现模型的最优体量匹配,并非模型越大越好。在特定领域与用例中,小型模型的表现完全可能优于大型模型。
  4. 测试模型选项:需在模拟真实业务场景的环境下开展测试,验证模型是否达到预期性能。测试过程应结合学术基准指标与领域专属数据集,评估模型输出质量;同时可通过提示工程、模型调优等方式对模型进行优化调整,以提升其性能表现。
  5. 根据成本和部署需求优化组织的选择:测试完成后,需结合投资回报率、性价比及模型在现有系统与基础设施中的部署可行性等因素,进一步优化模型选型决策。根据其他优势(例如更低的延迟或更高的透明度)调整选择。
  6. 选择提供最大价值的模型:根据用例的特定需求,最终选择在性能、成本和相关风险之间取得最佳平衡的 AI 模型。

IBM® watsonx 模型库

通过采用多模型战略,IBM watsonx 模型库提供专有、开源和第三方模型,如图所示:

截至 2024 年 5 月 8 日的 watsonx 基础模型列表。 截至 2024 年 5 月 8 日的 watsonx 基础模型列表。

这为客户提供了多样化的选择空间,使其能够挑选最契合自身独特业务需求、区域合规要求及风险偏好的模型。

此外,watsonx 平台支持客户在自选基础设施上部署模型,提供混合云、多云及本地部署等多种选项,助力客户规避供应商锁定风险,降低总体拥有成本。

IBM® Granite:IBM 的企业级基础模型

基础模型的特征可分为 3 个主要属性。组织必须认识到,过度侧重某一项属性可能会影响其他属性的表现。平衡这些属性是根据组织特定需求定制模型的核心,具体需关注以下方面:

  1. 可信:模型清晰、可解释且无害。
  2. 高性能:适用于目标业务领域和用例的性能水平。
  3. 经济高效:以更低的总体拥有成本和风险提供生成式 AI 的模型。

IBM Granite 是 IBM Research 开发的企业级旗舰级系列模型。这些模型以信任和可靠性为重点,以这些属性的最佳组合为特色,使企业能够在其生成式 AI 计划中取得成功。请记住,企业无法使用自己不信任的基础模型来扩展生成式 AI。

IBM watsonx 提供经严格优化流程打磨而成的企业级 AI 模型。该流程以 IBM Research 主导的模型创新为起点,融合开放式协作模式,并在《IBM AI 伦理准则》框架下,基于企业相关场景数据开展训练,旨在提升数据透明度。

IBM Research 开发了一种指令微调技术,可以增强 IBM 开发的模型和开源模型,并提供企业使用所需的功能。除了学术基准之外,我们的 ‘FM_EVAL’ 数据集模拟了现实世界的企业 AI 应用程序。该管道中最强大的模型可在 IBM® watsonx.ai 上获得,从而为客户提供可靠的企业级生成式 AI 基础模型,如图所示:

企业级生成式 AI 基础模型

最新模型发布:

  • Granite 代码模型:以 116 种编程语言训练的模型系列,参数规模从 3 亿到 340 亿不等,既有基本模型,也有指令跟踪模型变体。
  • Granite-7b-lab:支持通用任务,并通过 IBM 大规模聊天机器人对齐 (LAB) 方法论进行调优,以整合新增技能与知识。

通过我们的全新 watsonx.ai 聊天演示,在 watsonx 上试用我们的企业级基础模型。通过简单直观的聊天界面发现这些模型在摘要、内容生成和文档处理方面的能力。