在支持 MIG 的群集上创建自定义基础模型的要求

查看在支持 MIG 的集群上部署自定义基础模型的硬件和软件要求。

硬件要求

查看在支持 GPU 的集群上部署自定义基础模型的硬件要求。

您可以在支持 MIG 的集群上部署自定义基础模型，以满足以下 NVIDIA GPU 硬件规格的要求：

以下硬件配置不能用于在启用 MIG 的群集中部署自定义基础模型：

您必须创建自定义硬件规范，才能在支持 MIG 的群集上部署自定义基础模型。预定义硬件规格（WX-S, WX-M, WX-L 和 WX-XL）仅可用于专用GPU节点（ NVIDIAA100 或 H100 配备80 GB GPU内存）。不能使用预定义的硬件规格进行部署。

您可以在启用 MIG 的集群上部署自定义基础模型，但仅限于 "vLLM模型运行时。使用软件规范 "watsonx-cfm-caikit-1.1进行部署。

您可以在启用 MIG 的群集上部署以下自定义基础模型：

支持在支持 MIG 的集群上部署自定义 foundatio 模型的基础模型
模型系列	模型
`llama`	`meta-llama/Meta-Llama-3-8B`
`databricks`	`databricks/dolly-v2-12b`
`granite`	`granite-3b-code-instruct`
`gpt_neox`	`rinna/japanese-gpt-neox-small`
`gpt_bigcode`	`bigcode/gpt_bigcode-santacoder`
`phi`	`microsoft/phi-1_5, microsoft/phi-2`
`falcon`	`tiiuae/falcon-7b`
`mixtral`	`TheBloke/Mixtral-8x7B-v0.1-GPTQ`

在启用了 "vLLM运行时的 MIG 集群上部署自定义基础模型时，不支持以下基础模型。

要进一步了解这些架构各自支持的基础模型，请参阅 vLLMruntime 支持的基础模型。