GPU ハードウェア仕様を使用した デプロイメント の作成

CUDA ソフトウェア仕様と GPU ハードウェア仕様を使用して、機械学習モデルとディープ・ラーニング・モデルを GPU にデプロイできます。

制限:

• GPU にモデルをデプロイするには、クラスター・セットアップが以下のように同種でなければなりません。
  • クラスター上のすべての GPU ノードが同じ GPU タイプでなければなりません
  • すべての MIG ノードは、同じ MIG 構成または区画サイズでなければなりません。
• GPU デプロイメント にカスタム・ハードウェア仕様を使用することはできません。
• CUDA ソフトウェアの仕様には Nvidia cuda ドライバーが含まれますが、 GPUx ハードウェア仕様が デプロイメント で指定されていない限り、 デプロイメント に GPU は割り振られません。
• 専用 GPU 区画と MIG 区画を同時に使用することはできません。

CUDA ソフトウェア仕様のリストについては、 Software specifications を参照してください。 GPU ハードウェア仕様のリストについては、 GPU ハードウェア仕様 を参照してください。

GPU の全機能を必要としないアプリケーションをデプロイする場合にも、 GPU の MIG サポートを有効にすることができます。 Power GPU 加速ワークロード用に MIG を構成する場合は、すべての GPU 対応ノードが、前の構成ステップで決定された単一の戦略に従う必要があります。 これにより、クラスター内のすべての GPU 対応ノードで一貫性のある動作が確保されます。 MIG サポートを構成するには、 Nvidia Guide for configuring MIG support を参照してください。

GPU ハードウェア仕様を使用する デプロイメント を作成する方法のコード例を以下に示します。

_from ibm_watsonx_ai import APIClient

wx_ai_client = APIClient(credentials)
meta_props = {
    client.deployments.ConfigurationMetaNames.NAME: f"GPU deployment",
    client.deployments.ConfigurationMetaNames.ONLINE: {},
    client.deployments.ConfigurationMetaNames.HARDWARE_SPEC:{"name": "GPUx2"}

}

deployment_details = wx_ai_client.deployments.create(<asset_id>, meta_props)_