评估部署空间中的提示模板
您可以使用 watsonx.governance 服务评估部署空间中的提示模板，以测量基础模型任务的性能并了解模型如何生成响应。
通过 watsonx.governance，您可以评估部署空间中的提示模板，以度量基础模型为以下任务类型生成响应的效率:
- 分类
- 汇总
- 代次
- 问题回答
- 实体抽取
- 检索增强生成
提示模板是针对基础模型保存的提示输入。 您可以评估预生产和生产空间中的提示模板部署。
您可以评估提示模板，以衡量自定义BringYourOwnModel）或调整后的基础模型的性能。
开始之前
所需权限您必须具备以下角色才能评估提示模板：部署空间中的管理员或编辑角色
在项目中，还必须创建并保存提示模板，并将提示模板推广到部署空间。 创建提示模板以启用评估时，必须至少指定一个变量。
使用自定义或调整后的模型评估即时模板
您可以评估在部署空间中使用自定义（常规和全局）或经过调整的基础模型部署的提示模板。 您还可以在不同空间之间移动这些模型，并进行管理和部署。 有关更多信息，请参阅以编程方式部署提示模板。
以下部分描述了如何评估部署空间中的提示模板并复审评估结果:
在预生产空间中评估提示模板
运行评估
要运行提示模板评估，您可以在打开部署以打开 " 评估提示模板 " 向导时，在 评估 选项卡上单击 评估 。 仅当为您分配了部署空间的 管理员 或 编辑者 角色时，才能运行评估。
如果您没有与部署空间相关联的 watsonx.governance 实例，那么必须在 " 关联服务实例 " 对话框中选择 关联服务实例 ，然后才能运行评估。 在 " 关联实例以进行评估 " 窗口中，必须选择要使用的 watsonx.governance 实例，然后选择 关联服务实例 以将实例与部署空间相关联。 必须为您分配部署空间的 管理员 角色，才能关联实例。
如果您没有与 watsonx.governance 实例关联的数据库，那么还必须先关联数据库，然后才能运行评估。 要关联数据库，还必须在 " 需要数据库 " 对话框中单击 关联数据库 以连接到数据库。 必须为您分配部署空间和 watsonx.governance 实例的 管理员 角色，才能关联数据库。
选择维度
" 评估提示模板 " 向导将显示可用于评估与提示关联的任务类型的维度。 您可以展开维度以查看用于评估所选维度的度量列表。
Watsonx.governance 使用缺省设置自动配置每个维度的评估。 要使用不同设置配置评估，您可以选择高级设置来设置样本大小，并选择要用于评估提示模板的指标：
您还可以为每个评估指标设置阈值：
选择测试数据
要选择测试数据，您可以浏览并上传一个 CSV 文件，或者从您的部署空间中选择一个资源。 您选择的测试数据必须包含参考列和每个提示变量的列。
映射变量
您必须将提示变量映射到测试数据中的相关列。
审查和评估
- 您可以查看提示任务类型，上载的测试数据以及运行的评估类型的选择。 您必须选择 评估 以运行评估。
- 选择启用任务凭证复选框。 所有需要授权才能安全运行评估作业的订阅都需要此设置。
审查评价结果
评估完成后，您可以在 watsonx.governance 中的 评估 选项卡上查看评估结果摘要，以获取有关模型性能的洞察。 摘要提供了针对提示模板评估的度量标准分数和缺省分数阈值违例的概述。
要分析结果，您可以点击提示模板评估旁边的箭头 
，查看随时间推移的结果数据可视化图表。 您还可以分析缺省情况下在提示模板评估期间运行的模型运行状况评估的结果，以了解模型处理数据的效率。
操作 菜单还提供了以下选项来帮助您分析结果:
- 立即评估: 使用其他测试数据集运行评估
- 所有评估: 显示评估历史记录，以了解结果如何随时间变化。
- 配置监视器: 配置评估阈值和样本大小。
- 查看模型信息: 查看有关模型的详细信息，以了解如何设置部署环境。
如果 跟踪提示模板，那么可以复审评估结果以获取有关整个 AI 生命周期中模型性能的洞察。
评估生产空间中的提示模板
激活评估
要运行提示模板评估，您可以在打开部署以打开 " 评估提示模板 " 向导时，在 评估 选项卡上单击 激活 。
如果您没有与部署空间相关联的 watsonx.governance 实例，那么必须在 " 关联服务实例 " 对话框中选择 关联服务实例 ，然后才能运行评估。 在 " 关联实例以进行评估 " 窗口中，必须选择要使用的 watsonx.governance 实例，然后选择 关联服务实例 以将实例与部署空间相关联。 必须为您分配部署空间的 管理员 角色，才能关联实例。
如果您没有与 watsonx.governance 实例关联的数据库，那么还必须先关联数据库，然后才能运行评估。 要关联数据库，还必须在 " 需要数据库 " 对话框中单击 关联数据库 以连接到数据库。 必须为您分配部署空间和 watsonx.governance 实例的 管理员 角色，才能关联数据库。
选择维度
" 评估提示模板 " 向导将显示可用于评估与提示关联的任务类型的维度。 可以为您在反馈数据中指定的引用输出提供标签列名。 您还可以展开维度以查看用于评估所选维度的度量列表。
Watsonx.governance 使用缺省设置自动配置每个维度的评估。 要使用不同设置配置评估，您可以选择高级设置来设置样本大小，并选择要用于评估提示模板的指标：
您还可以为每个评估指标设置阈值：
审查和评估
您可以查看提示任务类型的选择以及运行的评估类型。 您还可以选择 查看有效内容模式 或 查看反馈模式 ，以验证列名是否与提示模板中的提示变量名称匹配。 您必须选择 激活 以运行评估。
要生成评估结果，请在 操作 菜单中选择 立即评估 ，以在显示评估摘要页面时打开 " 导入测试数据 " 窗口。
导入测试数据
在 “导入测试数据 ”窗口中，您可以选择 “上传有效载荷数据 ”或 “上传反馈数据 ”，以上传一个 CSV 文件，该文件包含与您的有效载荷和反馈模式中的列相匹配的标注列。
成功完成上载后，可以选择 立即评估 以运行评估。
审查评价结果
评估完成后，您可以在 watsonx.governance 中的 评估 选项卡上查看评估结果摘要，以获取有关模型性能的洞察。 摘要提供了针对提示模板评估的度量标准分数和缺省分数阈值违例的概述。
要分析结果，您可以点击提示模板评估旁边的箭头 ，查看随时间推移的结果数据可视化图表。 您还可以分析缺省情况下在提示模板评估期间运行的模型运行状况评估的结果，以了解模型处理数据的效率。
操作 菜单还提供了以下选项来帮助您分析结果:
- 立即评估: 使用其他测试数据集运行评估
- 配置监视器: 配置评估阈值和样本大小。
- 查看模型信息: 查看有关模型的详细信息，以了解如何设置部署环境。
如果对提示模板进行跟踪，就可以查看评估结果，从而深入了解模型在整个人工智能生命周期中的表现。