Creazione di distribuzioni con specifiche hardware della GPU

È possibile implementare modelli di machine learning e deep learning sulle GPU utilizzando le specifiche software CUDA e le specifiche hardware delle GPU.

Limiti :

  • Per distribuire i modelli sulle GPU, la configurazione del cluster deve essere omogenea:
    • Tutti i nodi GPU del cluster devono essere dello stesso tipo di GPU
    • Tutti i nodi MIG devono avere la stessa configurazione MIG o la stessa dimensione della partizione
  • Non è possibile utilizzare specifiche hardware personalizzate per le distribuzioni GPU.
  • Le specifiche software CUDA includono i driver CUDA di NVIDIA; tuttavia, nessuna GPU verrà assegnata alla distribuzione a meno che non vengano specificate le specifiche hardware GPUx al momento della distribuzione.
  • Non è possibile utilizzare contemporaneamente le partizioni dedicate alla GPU e quelle MIG.
Importante: se desideri che alla tua distribuzione vengano assegnate risorse GPU, devi specificare sia le specifiche del software CUDA sia quelle dell'hardware GPU durante la creazione della distribuzione.

Per un elenco delle specifiche del software CUDA, consultare la sezione Specifiche del software. Per un elenco delle specifiche hardware della GPU, consultare la sezione "Specifiche hardware della GPU".

È inoltre possibile abilitare il supporto MIG per le GPU quando si desidera distribuire un'applicazione che non richiede tutta la potenza di una GPU intera. Se si sta configurando MIG per carichi di lavoro accelerati da GPU, tutti i nodi abilitati per la GPU devono seguire un'unica strategia definita nelle fasi di configurazione precedenti. Ciò garantisce un comportamento coerente su tutti i nodi del cluster dotati di GPU. Per configurare il supporto MIG, consultare la guida di Nvidia sulla configurazione del supporto MIG.

Ecco un esempio di codice che mostra come creare una distribuzione che utilizza una specifica hardware GPU:

_from ibm_watsonx_ai import APIClient

wx_ai_client = APIClient(credentials)
meta_props = {
    client.deployments.ConfigurationMetaNames.NAME: f"GPU deployment",
    client.deployments.ConfigurationMetaNames.ONLINE: {},
    client.deployments.ConfigurationMetaNames.HARDWARE_SPEC:{"name": "GPUx2"}

}

deployment_details = wx_ai_client.deployments.create(<asset_id>, meta_props)_