部署提示模板

部署提示模板，以便将其添加到业务工作流程中，或评估提示模板以衡量性能。

说明和限制

  • 您可以为基础模型或调整模型部署提示模板。
  • 不支持评估或跟踪已调整模型的提示模板。
  • 提示模板的部署仅支持 x860 平台。

将提示模板推广到部署空间

要将提示模板推广到部署空间，提示模板必须至少包含一个变量。

限制：

您无法将不包含任何变量的提示模板推广到部署空间。

要部署不带变量的提示模板，必须导出包含提示模板资产的项目，然后将项目导入部署空间。 有关详细信息，请参阅将提示模板导入部署空间。

部署提示模板时，请注意以下额外事项：

  • 您只能为引用模型部署的提示模板创建部署，且该模型部署必须位于您创建该提示模板的同一项目或空间中。 如果您将引用了已部署模型的模板推广到某个空间，该模型资产的副本会自动添加到该空间中。 在部署提示词模板之前，您必须先在该空间中部署模型。
  • 如果您导出一个引用了已部署模型的提示词模板，则相关的模型资源会随提示词模板自动导出。 将模板导入新容器时，模型也会一并导入。 在部署提示模板之前，必须先将模型部署到新容器中。

开始之前

  1. 将至少包含一个变量的提示模板保存为项目资产。 请参阅 " 创建可重复使用的提示"。

过程

要部署提示模板，请完成以下步骤：

  1. 打开包含提示模板的项目。
  2. 点击 “提升至空间”按钮，即可将该模板添加到空间中。

将提示模板推广到部署空间

  1. 在目标部署空间字段中，选择一个部署空间或创建一个新空间。 请注意以下几点：

    部署空间必须与机器学习实例相关联，该实例与创建提示模板的项目属于同一账户。

    如果没有部署空间，请选择创建新的部署空间 ，然后按照创建部署空间中的步骤操作。

    如果计划在空间中评估提示模板，建议空间的部署阶段类型为生产。 有关评估的更多信息，请参阅评估部署空间中的提示模板。

    注意： 创建空间后不能更改部署空间阶段。

  2. 提示 ： 创建后，选择部署空间中的“查看部署”。 否则，您就需要采取更多措施来找到您部署的资产。

  3. 从部署空间的 " 资产 "选项卡，单击 " 部署 "。 您可以创建一个在线部署，这意味着您可以向端点发送数据并实时接收响应。

    部署提示模板

  4. 可选：在部署服务名称字段中，为部署添加唯一标签。

    服务名称在 URL 中用于识别部署的 API 端点。 添加名称很有帮助，因为添加的人可读名称会取代系统生成的冗长唯一 ID。

    服务名称还将部署从其服务实例细节中抽象出来。 应用程序引用这个名称，这样就可以在不影响用户的情况下更改底层服务实例。

    名称最多可包含 36 个字符。 支持的字符有 [ a-z,0-9,_]。

    该名称在 IBM Cloud 区域内必须是唯一的。 如果您选择的名称已被使用，系统可能会提示您更改服务名称。

将提示模板导入部署空间

要部署不带变量的提示模板，必须导出包含提示模板资产的项目，然后将项目导入部署空间。

开始之前

将包含提示模板资产的项目导出为 ZIP 文件。

过程

要将提示模板资产导入部署空间，请按照以下步骤操作：

  1. 在部署空间工具栏中，选择 “导出/导入空间 导入/导出图标 ”下拉菜单，然后单击 “导入空间 ”。

  2. 上传包含从项目导出的提示模板资产的 ZIP 文件，然后单击 " 完成"。

    将提示模板导入部署空间

测试已部署的提示模板

部署成功完成后，单击部署名称查看部署情况。

部署提示模板

  • API 参考选项卡包括将此提示模板添加到应用程序所需的 API 端点和代码片段。
  • 测试选项卡支持测试提示模板。 以文本、流文本或 JSON 文件形式输入测试数据。
重要提示： 下载文件时请务必小心。 如果您从测试输入表单下载 CSV 文件，其中将包含您输入的所有内容。 当您在应用程序中打开 CSV 文件时，其中的一些内容可能会被执行。

如果启用了 watsonx.governance 服务，您还会看到这些选项卡：

  • 评估 " 为评估空间中的提示模板提供了工具。 单击激活 ，选择要评估的尺寸。 有关详情，请参阅评估提示模板。
  • AI Factsheets 显示为提示模板收集的所有元数据。 利用这些详细信息跟踪治理和合规目标的提示模板。 请参阅跟踪提示模板。

通过编程方式部署提示词模板

通过编程方式部署提示模板时，必须按照以下步骤操作：

  1. 将模型资源和提示词模板移动到部署空间中。 例如，如果您正在使用 watsonx.ai API ，请获取模板并解析存储在中的 model_id 内容 prompt.model_id。 如果您正在使用数据与人工智能通用核心 API ，请使用 entity.wx_prompt.prompt.model_id. ID 是由用 :. 分隔的键组成的字符串。 字符串中的最后一项是模型资源键，它指代与该模板关联的模型资源。
  2. 部署模型，使用第一步中获取的模型资源键来定位要部署到该模板的模型。 例如，如果您使用的是“数据与人工智能通用核心 API”，搜索请求会查找空间或项目 ID (XXX)、用户的令牌 (YYY) 以及与提示模板关联的模型资源键 (ZZZ)。
    curl --location '<Base API URL>/v2/asset_types/wml_model/search?space_id=XXX' \
--header 'Authorization: Bearer YYY' \
--header 'Content-Type: application/json' \
--data '{
    "query": "(asset.resource_key:ZZZ)",
    "include": "entity",
    "limit": 100
}'
  3. 模型部署成功后，请部署提示词模板

了解更多