Mise à l'échelle manuelle des ressources pour les modèles de fondation

Faire évoluer le déploiement d'un modèle de fondation en augmentant le nombre de répliques du modèle afin d'améliorer le débit et d'augmenter la capacité de traitement pendant les périodes d'utilisation maximale.

Avant de commencer

  • Pour effectuer cette tâche pour la première fois, vous devez être administrateur d'instance de l' IBM watsonx.ai.
  • Examinez la configuration requise pour les modèles de base que vous souhaitez mettre à l'échelle afin de vous assurer que vous disposez des ressources nécessaires pour prendre en charge un plus grand nombre de copies des modèles de base. Consultez la configuration système requise pour les modèles de base dans IBM watsonx.ai. Notez les identifiants des modèles de fondation.

Procédure

Pour augmenter les ressources du modèle de la fondation :

Utilisez la commande suivante pour modifier le nombre de répliques du modèle de fondation :
oc patch watsonxaiifm watsonxaiifm-cr \
--namespace=${PROJECT_CPD_INST_OPERANDS} \
--type=merge \
--patch '{"spec": { "<model_id_with_underscores>_replicas": "2"}}'
Lorsque vous faites référence au modèle de la fondation, modifiez l'ID du modèle pour inclure des traits de soulignement au lieu de traits d'union. Par exemple, utilisez la commande suivante pour modifier le nombre de répliques du modèle ibm/granite-3-8b-instruct :
oc patch watsonxaiifm watsonxaiifm-cr \
--namespace=${PROJECT_CPD_INST_OPERANDS} \
--type=merge \
--patch '{"spec": { "ibm_granite_3_8b_instruct_replicas": "2"}}'