IBM Cloud Pak® for Data 4.8 版本将于 2025 年 7 月 31 日结束支持（EOS）。 如需了解更多信息，请参阅 IBM Cloud Pak for Data 版本 4.X 的停止服务公告。
在 版本支持结束之前，升级到 版本。 IBM Cloud Pak for Data 4.8 IBM Software Hub 5.1 有关更多信息，请参阅从 IBM Cloud Pak for Data 版本 4.8 升级到 IBM Software Hub 版本 5.1。
部署定制基础模型
"自带模型" 功能使您能够上载和部署定制基础模型，以便与 watsonx.ai 推断功能配合使用。
服务 缺省情况下，必需的 watsonx.ai 服务和其他补充服务不可用。 管理员必须在 IBM Cloud Pak for Data 平台上安装这些服务。 要确定是否安装了服务，请打开 服务目录 并检查是否已启用该服务。
部署定制基础模型可从 Cloud Pak for Data 4.8.4开始使用。
除了使用由 IBM组织的基础模型外，您现在还可以上载和部署自己的基础模型。 部署模型并在 watsonx.ai 注册后，创建提示，从 Prompt Lab 推理自定义模型。
通过部署定制基础模型，您可以灵活地实施适合您用例的 AI 解决方案。 根据定制基础模型的来源，部署过程略有不同。
最好直接从模型构建器获取模型。 寻找新模型的一个地方是 Hugging Face ，这是一个开放源基础模型库，许多模型制作者都在使用。
部署概述
部署基础模型并使其可用于推断的过程包括由 Cloud Pak for Data 管理员执行的任务以及由 watsonx.ai 用户执行的任务。
管理任务
这些任务必须由 Cloud Pak for Data 管理员完成:
Watsonx.ai 用户任务
这些任务可以由 watsonx.ai 用户完成，例如模型操作工程师或提示工程师。
定制基础模型的需求和使用说明
可部署的定制模型必须满足以下需求:
- 模型的文件列表必须包含 config.json 文件。 请参阅 规划部署定制基础模型 ，以了解有关如何检查文件的步骤。
- 该模型必须与文本生成推论 (TGI) 标准兼容，并且必须使用 受支持的模型体系结构类型进行构建。 模型类型在模型的
config.json file中列出。 - 模型必须为
safetensors格式，并包含用于认证的记号化器。 如果模型以其他方式兼容，那么在 准备上载模型的过程中，转换实用程序会提供这些需求。
在向 watsonx.ai: 部署和注册定制基础模型之后，请注意使用这些模型的以下限制:
- 无法调整定制基础模型。
- 不能使用 watsonx.governance 来评估或跟踪定制基础模型的提示模板。
后续步骤
观看此视频以了解如何部署定制基础模型。
此视频提供了一种可视方法来学习本文档中的概念和任务。
了解更多
使用基础模型开发生成 AI 解决方案 (watsonx.ai)
父主题: 部署基础模型资产