Requisitos para criar um modelo de fundação personalizado em um cluster habilitado para MIG

Analise os requisitos de hardware e software para implementar modelos de fundação personalizados em clusters habilitados para MIG.

Requisitos de hardware

Analise esses requisitos de hardware para implantar seus modelos de base personalizados em um cluster habilitado para GPU.

Requisitos de hardware da GPU

Você pode implementar modelos de base personalizados em clusters habilitados para MIG para as seguintes especificações de hardware de GPU NVIDIA :

  • NVIDIA A100 com 80 GB de memória de GPU
  • NVIDIA H100 com 80 GB de memória de GPU

A configuração de hardware a seguir não pode ser usada para implementar um modelo de fundação personalizado em um cluster habilitado para MIG:

  • NVIDIA L40S com 48 GB de memória de GPU

Especificações de hardware

Você deve criar uma especificação de hardware personalizada para implementar seu modelo de fundação personalizado em um cluster habilitado para MIG. As especificações de hardware predefinidas (WX-S, WX-M, WX-L e WX-XL) podem ser usadas apenas com nós de GPU dedicados ( NVIDIAA100 ou H100 com 80 GB de memória GPU). Não é possível usar as especificações de hardware predefinidas para a implementação.

Requisitos de software

Você pode implementar modelos de base personalizados em clusters habilitados para MIG somente para o tempo de execução do modelo ' vLLM. Use a especificação de software " watsonx-cfm-caikit-1.1 para a implementação.

Modelos de fundação com suporte

Você pode implementar os seguintes modelos de fundação personalizados em um cluster habilitado para MIG:

Modelos de fundação compatíveis para a implementação de modelos de fundação personalizados em clusters habilitados para MIG
Família de modelos Modelo
llama meta-llama/Meta-Llama-3-8B
databricks databricks/dolly-v2-12b
granite granite-3b-code-instruct
gpt_neox rinna/japanese-gpt-neox-small
gpt_bigcode bigcode/gpt_bigcode-santacoder
phi microsoft/phi-1_5, microsoft/phi-2
falcon tiiuae/falcon-7b
mixtral TheBloke/Mixtral-8x7B-v0.1-GPTQ

Os seguintes modelos de fundação não são compatíveis com a implantação de modelos de fundação personalizados em clusters habilitados para MIG com tempo de execução " vLLM.

Modelos de fundação que não são compatíveis com a implementação em clusters habilitados para MIG
Família de modelos Modelo
llama llama-2-70b-chat -hf
mixtral TheBloke/Mixtral-8x7B-v0.1-GPTQ
gptj nomic-ai/gpt4all-j
mistral mistralai/Mistral-7B-v0.3

Para saber mais sobre os modelos de base compatíveis com cada uma dessas arquiteturas, consulte Modelos de base compatíveis com o tempo de execução vLLM.

Saiba mais