専用GPU上でカスタム基盤モデルのデプロイメントを作成する

スペースへのモデル資産のインポート

カスタム・基盤モデル資産をデプロイメント・スペースにインポートするには、以下のようにします。

1. デプロイメント・スペースから 「アセット」 タブを選択し、 「アセットのインポート」をクリックします。

2. 「資産のインポート」 カタログで、 「カスタム基盤モデル」 をクリックし、インポートするモデルを選択します。

   

3. モデルの詳細を入力し、 「追加」 をクリックしてください。

   注: カスタム・基盤モデル資産がプロジェクトに保存されている場合、モデル資産をインポートする代わりに、そのモデルをプロジェクトからスペースにプロモートできます。

デプロイメント・スペースからのカスタム・基盤モデルのデプロイ

デプロイメント・スペースからカスタム・基盤モデルのオンライン・デプロイメントを作成するには、以下の手順を実行します。

1. 「デプロイメントの詳細」ページで、 「新規デプロイメント」をクリックします。

2. デプロイメントの名前を入力し、オプションでサービス名、説明、およびタグを入力します。

   注。

   • 「 サービング名 」フィールドを使用して、デプロイメント ID の代わりにデプロイメントの名前を指定します。
   • サービス名は、名前空間内で一意である必要があります。
   • サーバー名には、[ a-z,0-9,_] の文字のみを含める必要があり、最大36文字までです。
   • カスタム基盤モデルを定期的に使用するワークフローでは、デプロイするたびにモデルに同じサービング名を割り当てることを検討してください。 こうすることで、モデルを削除して再デプロイした後も、コード内で同じエンドポイントを使い続けることができます。

3. ハードウェア仕様とソフトウェア仕様を選択してください。

   制約事項:

   デプロイメント・スペースのユーザー・インターフェースからカスタム・ハードウェア仕様を作成することはできません。 ハードウェア仕様を作成および選択する方法について詳しくは、 デプロイメントのためのハードウェア仕様の管理を参照してください。 カスタム・ハードウェア仕様を作成した後、それをプログラマチックに選択するか、カスタム・基盤モデルのユーザー・インターフェースから選択することができます。

4. （任意）： 基本モデルのパラメータの一部を上書きしたい場合は、新しいパラメータ値を入力してください。 利用可能なモデルパラメータの詳細については、 「カスタム基礎モデルのプロパティとパラメータ」 を参照してください。

5. 「Create」をクリックします。

デプロイ可能なカスタム・基盤モデルのリスト

以下のコードを実行し、 watsonx APIを使用して、使用可能なカスタム・基盤モデルのリストを表示します。

curl --location 'https://<cluster_url>/ml/v4/custom_foundation_models' \
--header 'Authorization: Bearer $TOKEN'

出力例:

{
    "first": {
        "href": "/ml/v4/custom_foundation_models?limit=100"
    },
    "limit": 100,
    "resources": [
        {
            "model_id": "example_model_13b",
            "parameters": [
               {
                    "default": 16,
                    "display_name": "Max Number of Sequences",
                    "max": 256,
                    "min": 1,
                    "name": "max_num_seqs",
                    "type": "number"
                },
                {
                    "default": 2048,
                    "display_name": "Max Model Length",
                    "max": 8192,
                    "min": 256,
                    "name": "max_model_length",
                    "type": "number"
                }
            ]
        },
        {
            "model_id": "example_model_70b",
            "parameters": [
                {
                    "default": 16,
                    "display_name": "Max Number of Sequences",
                    "max": 256,
                    "min": 1,
                    "name": "max_num_seqs",
                    "type": "number"
                },
                {
                    "default": 2048,
                    "display_name": "Max Model Length",
                    "max": 8192,
                    "min": 256,
                    "name": "max_model_length",
                    "type": "number"
                }
            ],
            "tags": [
                "example_model",
                "70b"
            ]
        }
    ],
    "total_count": 2
}

基盤モデル資産の作成

モデル資産は、プロジェクト・コンテキストとスペース・コンテキストの 2 つのコンテキストで作成できます。

• プロジェクト・コンテキストでモデル資産を作成する場合、そのモデルをプロジェクトにインポートし、Jupyter ノートブックでそのモデルを評価し、最後にそれをスペースにプロモートすることができます。
• スペース・コンテキストでモデル資産を作成する場合、そのモデルをインポートしてからオンラインでデプロイすることができます。 デプロイされたモデルには、Prompt Labからアクセスできます。

スペース・コンテキストでカスタム・基盤モデルのモデル資産を作成するには、以下のコードを実行します。

curl -X POST "https://<cluster_url>/ml/v4/models?version=2024-01-29" \
-H "Authorization: Bearer $TOKEN" \
-H "content-type: application/json" \
--data '{
            "name": "<a meaningful name>",
            "space_id": "<your space id>",
            "foundation_model": {
            "model_id": "<your model id>",
            "functions": ["text_generation", "text_chat", "image_chat", "audio_chat", "video_chat"],
            },
            "type": "custom foundation model 1.0",
            "software_spec": {
            "name": "<software specification>"
            }
        }'

プロジェクト・コンテキストでカスタム・基盤モデルのモデル資産を作成するには、以下のコードを使用します。

curl -X POST "https://<cluster_url>/ml/v4/models?version=2024-01-29" \
-H "Authorization: Bearer $TOKEN" \
-H "content-type: application/json" \
--data '{
            "name": "<a meaningful name>",
            "project_id": "<your project id>",
            "foundation_model": {
            "model_id": "<your model id>",
            "functions": ["text_generation", "text_chat", "image_chat", "audio_chat", "video_chat"],
            },
            "type": "custom foundation model 1.0",
            "software_spec": {
            "name": "<software specification>"
            }
        }'

オンライン・デプロイメントの作成

このサンプル・コードは、いくつかのパラメーターがオーバーライドされたサンプル・デプロイメントを示しています。

curl -X POST "https://<cluster_url>/ml/v4/deployments?version=2024-01-29" \
-H "Authorization: Bearer $TOKEN" \
-H "content-type: application/json" \
--data '{
  "asset":{
    "id":<your custom foundation model id>
  },
  "online":{
    "parameters":{
      "serving_name":"test_custom_fm",
      "foundation_model": {
            "max_model_length": 2048,
            "max_num_seqs": 16,
            "functions": [
            "text_generation",
            "text_chat",
            "image_chat",
            "embedding",
            "rerank"
        ],
      }
    }
  },
  "hardware_spec": {                        // Only one, of "id" or "name" must be set.
    "id": "<your custom hardware spec id>",
    "num_nodes": 1
  },
  "description": "Testing deployment using custom foundation model",
  "name":"custom_fm_deployment",
  "project_id":<your project id>
}'

デプロイメントのステータスを確認する

既存のデプロイメントの状態を確認するには、次のコマンドを使用してください：

curl -X GET "https://<cluster_url>/ml/v4/deployments/<your deployment ID>?version=2024-01-29&project_id=<your project ID>" \
-H "Authorization: Bearer $TOKEN"