为专用 GPU 上的自定义基础模型创建部署

将模型资产导入空间

要将定制基础模型资产导入到部署空间中，请执行以下操作:

1. 从部署空间中，选择 资产 选项卡，然后单击 导入资产。

2. 从 " 导入资产 " 目录中，单击 定制基础模型 ，然后选择要导入的模型。

   

3. 输入您的型号详细信息，然后点击添加。

   注: 如果定制基础模型资产已保存到项目，那么可以将模型从项目提升到空间，而不是导入模型资产。

从部署空间部署自定义基础模型

执行以下步骤以从部署空间为定制基础模型创建联机部署:

1. 在 "部署详细信息" 页面中，单击 新建部署。

2. 输入部署的名称，并 (可选) 输入服务名称，描述和标记。

   注：

   • 使用“服务名称 ”字段为部署指定名称，而非使用部署ID。
   • 服务名称在名称空间内必须是唯一的。
   • 服务名称必须只包含这些字符：a-z,0-9,_]，长度不得超过 36 个字符。
   • 在定期使用自定义基础模型的工作流中，考虑在每次部署时为模型分配相同的服务名称。 这样，在删除并重新部署模型后，就可以在代码中继续使用相同的端点。

3. 选择硬件规格和软件规格。

   限制：

   不能从部署空间中的用户界面创建定制硬件规范。 要进一步了解创建和选择硬件规格的方法，请参阅管理部署的硬件规格。 创建自定义硬件规格后，可通过编程或用户界面为自定义基础模型选择硬件规格。

4. 可选项： 如果要覆盖某些基本模型参数，请输入新的参数值。 有关可用模型参数的信息，请参阅自定义地基模型的属性和参数。

5. 单击创建。

列出可部署的自定义基础模型

运行以下代码以使用 watsonx API来查看可用定制基础模型的列表:

curl --location 'https://<cluster_url>/ml/v4/custom_foundation_models' \
--header 'Authorization: Bearer $TOKEN'

输出示例

{
    "first": {
        "href": "/ml/v4/custom_foundation_models?limit=100"
    },
    "limit": 100,
    "resources": [
        {
            "model_id": "example_model_13b",
            "parameters": [
               {
                    "default": 16,
                    "display_name": "Max Number of Sequences",
                    "max": 256,
                    "min": 1,
                    "name": "max_num_seqs",
                    "type": "number"
                },
                {
                    "default": 2048,
                    "display_name": "Max Model Length",
                    "max": 8192,
                    "min": 256,
                    "name": "max_model_length",
                    "type": "number"
                }
            ]
        },
        {
            "model_id": "example_model_70b",
            "parameters": [
                {
                    "default": 16,
                    "display_name": "Max Number of Sequences",
                    "max": 256,
                    "min": 1,
                    "name": "max_num_seqs",
                    "type": "number"
                },
                {
                    "default": 2048,
                    "display_name": "Max Model Length",
                    "max": 8192,
                    "min": 256,
                    "name": "max_model_length",
                    "type": "number"
                }
            ],
            "tags": [
                "example_model",
                "70b"
            ]
        }
    ],
    "total_count": 2
}

创建基础模型资产

您可以在两个上下文中创建模型资产: 项目上下文和空间上下文。

• 如果在项目上下文中创建模型资产，就可以将模型导入项目，然后在 Jupyter 笔记本中评估模型，最后将其推广到空间。
• 如果在空间上下文中创建了模型资产，则可以导入模型，然后在线部署。 已部署的模型可从 Prompt Lab 获取。

要在空间上下文中为自定义基础模型创建模型资产，请运行此代码：

curl -X POST "https://<cluster_url>/ml/v4/models?version=2024-01-29" \
-H "Authorization: Bearer $TOKEN" \
-H "content-type: application/json" \
--data '{
            "name": "<a meaningful name>",
            "space_id": "<your space id>",
            "foundation_model": {
            "model_id": "<your model id>"
            },
            "type": "custom foundation model 1.0",
            "software_spec": {
            "name": "<software specification>"
            }
        }'

要在项目上下文中为定制基础模型创建模型资产，请使用以下代码:

curl -X POST "https://<cluster_url>/ml/v4/models?version=2024-01-29" \
-H "Authorization: Bearer $TOKEN" \
-H "content-type: application/json" \
--data '{
            "name": "<a meaningful name>",
            "project_id": "<your project id>",
            "foundation_model": {
            "model_id": "<your model id>"
            },
            "type": "custom foundation model 1.0",
            "software_spec": {
            "name": "<software specification>"
            }
        }'

创建联机部署

本示例代码显示了一个重载了部分参数的部署示例。

curl -X POST "https://<cluster_url>/ml/v4/deployments?version=2024-01-29" \
-H "Authorization: Bearer $TOKEN" \
-H "content-type: application/json" \
--data '{
  "asset":{
    "id":<your custom foundation model id>
  },
  "online":{
    "parameters":{
      "serving_name":"test_custom_fm",
      "foundation_model": {
            "max_model_length": 2048,
            "max_num_seqs": 16,
            "functions": [
            "text_generation",
            "text_chat",
            "image_chat",
            "embedding",
            "rerank"
        ],
      }
    }
  },
  "hardware_spec": {                        // Only one, of "id" or "name" must be set.
    "id": "<your custom hardware spec id>",
    "num_nodes": 1
  },
  "description": "Testing deployment using custom foundation model",
  "name":"custom_fm_deployment",
  "project_id":<your project id>
}'

查看部署状态

要获取现有部署的状态，请使用此命令：

curl -X GET "https://<cluster_url>/ml/v4/deployments/<your deployment ID>?version=2024-01-29&project_id=<your project ID>" \
-H "Authorization: Bearer $TOKEN"