Création de déploiements avec des spécifications matérielles GPU

Vous pouvez déployer des modèles d'apprentissage automatique et d'apprentissage profond sur des GPU en utilisant les spécifications logicielles CUDA et les spécifications matérielles des GPU.

Limites :

  • Pour déployer des modèles sur des GPU, la configuration du cluster doit être homogène :
    • Tous les nœuds GPU du cluster doivent être équipés du même type de GPU
    • Tous les nœuds MIG doivent avoir la même configuration MIG ou la même taille de partition
  • Vous ne pouvez pas utiliser de spécifications matérielles personnalisées pour les déploiements de GPU.
  • Les spécifications logicielles CUDA incluent les pilotes CUDA de NVIDIA; toutefois, aucun GPU ne sera affecté au déploiement tant que les spécifications matérielles GPUx n'auront pas été définies lors du déploiement.
  • Les partitions dédiées au GPU et au MIG ne peuvent pas être utilisées simultanément.
Important : si vous souhaitez que votre déploiement se voie attribuer des ressources GPU, vous devez indiquer à la fois une spécification logicielle CUDA et une spécification matérielle GPU lors de la création du déploiement.

Pour consulter la liste des spécifications logicielles CUDA, voir la section « Spécifications logicielles ». Pour consulter la liste des spécifications matérielles du GPU, voir « Spécifications matérielles du GPU ».

Vous pouvez également activer la prise en charge MIG pour les GPU lorsque vous souhaitez déployer une application qui ne nécessite pas toute la puissance d'un GPU. Si vous configurez MIG pour des charges de travail accélérées par GPU, tous les nœuds équipés d'un GPU doivent respecter une stratégie unique définie lors des étapes de configuration précédentes. Cela garantit un comportement homogène sur tous les nœuds équipés d'un GPU au sein du cluster. Pour configurer la prise en charge MIG, consultez le guide Nvidia sur la configuration de la prise en charge MIG.

Consultez l'exemple de code expliquant comment créer un déploiement utilisant une spécification matérielle GPU :

_from ibm_watsonx_ai import APIClient

wx_ai_client = APIClient(credentials)
meta_props = {
    client.deployments.ConfigurationMetaNames.NAME: f"GPU deployment",
    client.deployments.ConfigurationMetaNames.ONLINE: {},
    client.deployments.ConfigurationMetaNames.HARDWARE_SPEC:{"name": "GPUx2"}

}

deployment_details = wx_ai_client.deployments.create(<asset_id>, meta_props)_