基础模型和数据存储如何释放生成式 AI 的商业潜力

鸟瞰智能仓库中的传送带和箱子

作者

IBM Data and AI Team

顾名思义,生成式 AI 模型会根据用户的提示生成文本、图像、代码或其他响应。正确利用它们的组织可以获得诸多益处,从提高运营效率和改善决策到快速创建营销内容。但是,是什么让这些模型的生成功能 - 以及它们最终为组织带来的益处 - 成为可能的呢?

这就是基础模型发挥作用的地方。基础模型是底层引擎,为生成式模型提供传统机器学习模型所缺乏的增强推理和深度学习能力。基础模型与数据存储相结合,可以为各行业中希望优化客户服务、营销、人力资源(包括人才获取)和 IT 功能的组织创建和定制生成式 AI 工具。

基础模型:生成式 AI 背后的驱动力

基础模型也称为转换器,是一种使用形式丰富的大量数据训练过的 AI 算法。“基础模型”一词由斯坦福大学“以人为本人工智能研究所”于 2021 年创造。

基础模型建立在神经网络模型架构上,以类似人脑的方式处理信息。基础模型经过训练,可以高精度执行数据分类、图像中的对象识别(计算机视觉)和自然语言处理 (NLP)(理解和生成文本)等任务。它们还可以进行自监督学习,以泛化所学知识并将之应用于新任务。

数据科学家无需花费时间和精力从头开始训练模型,而是可以使用预训练的基础模型作为起点,为具体用例创建或定制生成式 AI 模型。例如,基础模型可以用作生成式 AI 模型的基础,然后利用其他制造数据集进行微调,协助发现更安全、更快速的产品制造方法。

有一种称为大型语言模型 (LLM) 的特定基础模型是为了 NLP 任务而使用大量文本数据进行训练的。BERT(来自转换器的双向编码器表示)是最早开发的 LLM 基础模型之一。作为一种开源模型,Google 于 2018 年创建了 BERT。它通过自监督学习在大量英语数据语料库上进行了预训练,可用于各种任务,例如:

  • 分析客户/受众情绪
  • 回答客户服务问题
  • 根据输入数据预测文本
  • 根据用户提示生成文本
  • 总结大型复杂文件

基础模型与传统机器学习模型的对比

用于生成式 AI 的基础模型与传统机器学习模型不同,它可以通过大量未标记数据进行训练,以支持生成内容或执行任务的应用。

而传统的机器学习模型通常使用标记数据进行训练,以执行单个任务,例如,使用汽车的标记图像来训练模型,然后识别未标记图像中的汽车。

注重企业价值的基础模式

IBM 的 watsonx.ai 开发平台一套语言和代码基础模型,每个模型都有以地质学为主题的代号,可以针对一系列企业任务进行自定义。所有 watsonx.ai 模型均使用 IBM 整理的、以企业为中心的数据湖完成训练。

现已上市:Slate

Slate 是一系列仅编码器模型,这些模型虽然不是生成式的,但对于许多企业 NLP 任务来说非常快速有效。

即将推出:Granite

Granite 模型基于仅解码器、类似 GPT 的架构,用于生成式任务。

即将推出:Sandstone

Sandstone 模型使用编码器-解码器架构,非常适合对特定任务进行微调。

即将推出:Obsidian

Obsidian 模型利用 IBM Research 开发的新模块化架构,提供高推理效率和各种任务的性能水平。

将基础模型与数据存储相连接,以实现生成式 AI 的成功

如果无法安全地访问可信和特定领域的知识,基础模型的可靠性和对企业 AI 应用的益处就会大大降低。幸运的是,数据存储可作为安全的数据存储库,并使基础模型能够在大小和训练数据方面进行扩展。

适合专注业务的生成式 AI 的数据存储建立在开放的湖仓一体架构上,结合了数据湖和数据仓库的特点。这种架构可以通过低成本的对象存储方式节省成本,并通过 Apache Iceberg 等开放表格式共享大量数据,专为高性能分析和大规模数据处理而构建。

基础模型可以在一个可扩展、经济高效的容器中查询大量特定领域的数据。由于这些类型的数据存储与云技术相结合,几乎具有无限的可扩展性,因此随着时间的推移,基础模型的知识差距会随着更多数据的增加而缩小甚至消除。弥合的差距越多,基础模型就越可靠,其范围也就越大。

数据存储为数据科学家提供了一个存储库,他们可以使用它来收集和清理用于训练和微调基础模型的数据。利用第三方提供商的云和混合云基础设施来处理大量数据的数据存储对于生成式 AI 的成本效益至关重要。

基础模型和数据存储的业务优势

当基础模型访问跨数据存储的信息,并就如何使用这些信息执行不同的任务和生成响应进行微调后,由此产生的生成式 AI 工具可以为组织带来益处,如:

提高效率和生产力

数据科学

数据科学家可以使用预先训练的模型在各种任务关键型情形中有效地部署 AI 工具。

开发

开发人员可以使用生成自定义代码片段的 AI 工具更快地编写、测试和记录。

内部沟通

高管可以接收 AI 生成的长篇报告摘要,而新员工可以收到入职材料和其他资料的简明版本。

运营

组织可以使用生成式 AI 工具来自动完成各种任务,包括:

  • 对数据进行分类
  • 与客户沟通
  • 将信息转发给相关部门,加快响应速度
  • 生成报告
  • 预订会议和安排预约

更快生成内容

营销团队可以使用生成式 AI 工具来帮助创建有关各种主题的内容。他们还可以快速准确地将营销宣传材料翻译成多种语言。

更准确的分析

企业领导者和其他利益相关者可以执行 AI 辅助分析来解读大量非结构化数据,从而更好地了解市场、声誉情绪等。

IBM、基础模型和数据存储

为了帮助组织扩大 AI 在整个业务中的影响,IBM 提供了 AI 产品组合 watsonx。该产品组合包含三款功能强大的产品:

  • 面向新的基础模型、生成式 AI 和机器学习的 watsonx.ai 开发平台
  • watsonx.data 适用的数据存储,基于开放式湖仓一体架构构建
  • watsonx.governance 工具包,用于加速以责任性、透明度和可解释性构建的 AI 工作流程。
 
相关解决方案
IBM watsonx.ai

使用面向 AI 构建器的新一代企业级开发平台 IBM watsonx.ai,可以训练、验证、调整和部署生成式 AI、基础模型和机器学习功能。使用一小部分数据,即可在很短的时间内构建 AI 应用程序。

了解 watsonx.ai
人工智能 (AI) 解决方案

借助 IBM 业界领先的人工智能专业知识和解决方案组合,让人工智能在您的业务中发挥作用。

深入了解 AI 解决方案
人工智能服务

通过增加 AI 重塑关键工作流程和运营,最大限度提升体验、实时决策和商业价值。

深入了解人工智能服务
采取后续步骤

一站式访问跨越 AI 开发生命周期的功能。利用用户友好型界面、工作流并访问行业标准 API 和 SDK,生成功能强大的 AI 解决方案。

深入了解 watsonx.ai 预约实时演示