部署自定义基础模型

您可以上传和部署自定义基础模型，以便与 watsonx.ai 推断功能配合使用。

除了使用IBM策划的基础模型外，您现在还可以部署自己的基础模型。 部署模型后，创建提示，从 Prompt Lab 中推断自定义模型。

部署自定义基础模型可让您灵活地实施适合您使用情况的人工智能解决方案。

如果您使用的是第三方供应商提供的模型，最好直接从模型生成器获取模型。 寻找新模型的一个地方是 Hugging Face ，这是一个开放源基础模型库，许多模型制作者都在使用。

观看本视频，了解如何部署自定义基础模型。 视频开始时，用户从 Hugging Face 资源库中选择一个模型。 用户可在 watsonx 文档的 " 规划部署自定义基础模型 "部分查看支持的模型架构。 然后，他们导航到 IBM Cloud > 实例 > Cloud Object Storage 上传存储实例，并完成 watsonx 中的其余步骤。

本视频提供了学习本文档中的概念和任务的直观方法。

将自定义基础模型导入部署空间

部署基础模型并使其可用于推理的过程包括由 ModelOps 工程师和 Prompt 工程师执行的任务。

ModelOps 工程师必须首先将模型上传到云存储（内部或外部）。 要部署自定义基础模型， ModelOps 工程师必须在部署项目或空间上下文中创建或推广基础模型资产。

模型部署到生产环境后，Prompt 工程师可通过 Prompt Lab 或 watsonx.ai API 提示自定义基础模型。

下图表示 ModelOps 工程师和 Prompt 工程师通常执行的任务流程：

部署自定义基础模型的流程概览

准备模型

要准备模型，ModelOps 工程师必须执行以下任务：

  1. 回顾部署自定义基础模型的注意事项和要求。
  2. 在云对象存储中存储模型文件。
  3. 创建模型资产。

部署自定义基础模型

准备好模型后，ModelOps 工程师必须执行以下任务：

  1. 为自定义基础模型创建部署。
  2. 管理或更新部署。

提示自定义基础模型

模型部署完成后，Prompt 工程师就可以开始从 Prompt Lab 或 watsonx.ai API 提示自定义基础模型。 请参阅使用自定义基础模型生成提示输出。

注意： 只有部署自定义基础模型的项目或空间的成员才能提示。 其他项目或空间的用户无法使用该模型。

后续步骤

了解更多