Erstellen von Bereitstellungen mit GPU-Hardwarespezifikationen

Sie können Modelle für maschinelles Lernen und Deep Learning auf GPUs bereitstellen, indem Sie die CUDA-Software-Spezifikationen und die GPU-Hardware-Spezifikationen nutzen.

Einschränkungen :

  • Um Modelle auf GPUs bereitzustellen, muss die Clusterkonfiguration homogen sein:
    • Alle GPU-Knoten im Cluster müssen denselben GPU-Typ aufweisen
    • Alle MIG-Knoten müssen dieselbe MIG-Konfiguration oder Partitionsgröße aufweisen
  • Für GPU-Bereitstellungen können keine benutzerdefinierten Hardware-Spezifikationen verwendet werden.
  • Die CUDA-Software-Spezifikationen umfassen Nvidia-CUDA-Treiber; es wird jedoch keine GPU für die Bereitstellung zugewiesen, sofern bei der Bereitstellung keine GPUx-Hardware-Spezifikation angegeben wird.
  • Spezielle GPU- und MIG-Partitionen können nicht gleichzeitig verwendet werden.
Wichtig: Wenn Sie möchten, dass Ihrer Bereitstellung GPU-Ressourcen zugewiesen werden, müssen Sie bei der Erstellung der Bereitstellung sowohl eine CUDA-Software-Spezifikation als auch eine GPU-Hardware-Spezifikation angeben.

Eine Liste der CUDA-Software-Spezifikationen finden Sie unter „Software-Spezifikationen “. Eine Liste der GPU-Hardware-Spezifikationen finden Sie unter „GPU-Hardware-Spezifikationen “.

Sie können die MIG-Unterstützung für GPUs auch aktivieren, wenn Sie eine Anwendung bereitstellen möchten, die nicht die volle Leistung einer gesamten GPU benötigt. Wenn Sie MIG für GPU-beschleunigte Workloads konfigurieren, sollten alle GPU-fähigen Knoten einer einzigen Strategie folgen, die in den vorherigen Konfigurationsschritten festgelegt wurde. Dadurch wird ein einheitliches Verhalten auf allen GPU-fähigen Knoten im Cluster gewährleistet. Informationen zur Konfiguration der MIG-Unterstützung finden Sie im Nvidia-Leitfaden zur Konfiguration der MIG-Unterstützung.

Im folgenden Code-Beispiel wird gezeigt, wie man eine Bereitstellung erstellt, die eine GPU-Hardwarespezifikation verwendet:

_from ibm_watsonx_ai import APIClient

wx_ai_client = APIClient(credentials)
meta_props = {
    client.deployments.ConfigurationMetaNames.NAME: f"GPU deployment",
    client.deployments.ConfigurationMetaNames.ONLINE: {},
    client.deployments.ConfigurationMetaNames.HARDWARE_SPEC:{"name": "GPUx2"}

}

deployment_details = wx_ai_client.deployments.create(<asset_id>, meta_props)_