MIG対応クラスタへのカスタム基盤モデルの展開

前提条件

MIG対応クラスタにカスタム基盤モデルを展開するには、システム管理者がハードウェア要件を確認し、クラスタ上でMIGサポートを設定する必要があります。 詳しくは、 IBM Software Hub ドキュメントの カスタム基盤モデル MIG対応クラスタに展開するための要件 を参照。

システム管理者がMIGサポートを設定した後、MLOpsエンジニアとPromptエンジニアは、MIG対応クラスタにカスタム基盤モデルをデプロイできます。 配置を作成し、テストする前に、要件を確認してください。

カスタム基盤モデルをMIG対応クラスタに展開するためのタスク

MIG対応クラスタにカスタム基盤モデルを展開するには、以下のタスクに従う必要があります。

1. 要件のレビューMIG対応クラスタにカスタム基盤モデルを展開するためのハードウェアとソフトウェアの要件、およびサポートされるモデルアーキテクチャをレビューする。
2. カスタム基礎モデル資産の作成：Watson Machine Learning でカスタム基礎モデルのリポジトリ資産を作成します。
3. カスタムハードウェア仕様の作成カスタム・ハードウェア仕様を作成して、カスタム・基盤モデルを展開します。
4. カスタム基盤モデル資産のデプロイ： カスタム基盤モデル資産をオンラインまたはバッチデプロイとしてデプロイします。
5. カスタム基盤モデルのデプロイメントをテストします：オンライン推論またはバッチスコアリングのためにデプロイされたAIサービスをテストします。
6. カスタム基盤モデルのデプロイメントを管理します：配備の詳細にアクセスして更新します。 配置を拡大縮小したり、削除することもできます。