AI 监管教程: 测试和验证模型

预览教程

观看本视频，预览本教程的步骤。 视频中显示的用户界面可能存在细微差异。 该视频旨在与编写的教程相伴。

除了遵循本文档中的书面步骤，您还可以观看此视频了解相关操作。

先决条件

任务 1: 运行 Notebook 以设置监视器

运行样本项目中包含的第二个 Notebook 以:

• 访存模型和部署。
• 配置 Watson OpenScale。
• 为机器学习服务创建服务提供者和预订。
• 配置质量监视器。
• 配置公平性监视器。
• 配置可解释性。

执行以下步骤以运行样本项目中包含的 Notebook。 此笔记本为您的模型设置监视器，也可以通过用户界面进行配置。 但是，使用 Notebook 对它们进行设置会更快，更不容易发生错误。 花一些时间阅读 Notebook 中的注释，这些注释说明了每个单元格中的代码。

1. 从 Cloud Pak for Data 导航菜单 ，选择项目 > 所有项目。

2. 打开 AI Governance 项目。

3. 单击 " 资产 "选项卡，然后导航至笔记本。
   

4. 单击 2-monitor-wml-model-with-watson-openscale 笔记本的溢出菜单 ，然后选择编辑。

5. 单击 单元> 全部运行 以运行 Notebook 中的所有单元。 或者，如果要浏览每个单元及其输出，那么可以按单元运行 Notebook 单元。

6. 第三个单元格需要您的输入。

   1. 在 输入主机名 提示符处，输入以 https://开头的 Cloud Pak for Data 主机名，然后按 Enter。 例如，https://mycpdcluster.mycompany.com。

   2. 在 用户名 提示符处，输入 Cloud Pak for Data 用户名，然后按 Enter。

   3. 在 密码 提示符处，输入 Cloud Pak for Data 密码，然后按 Enter。

7. 笔记本需要 1-3 分钟才能完成。 您可以通过将星号 "In [*]" 更改为数字 (例如， "In [1]") 的单元格来监视进度单元格。

8. 如果在 Notebook 运行期间迂到任何错误，请尝试以下故障诊断提示:

   • 单击 内核> 重新启动并清除输出 以重新启动内核，然后再次运行 Notebook。
   • 验证您是否在 " 构建和部署模型 "教程中创建了模型用例、部署空间和部署名称，方法是准确复制并粘贴指定的工件名称，且不留前导空格或尾部空格。

任务 2: 评估模型

执行以下步骤以下载保留数据，并使用该数据在 Watson OpenScale中评估模型:

1. 单击导航路径中的人工智能治理项目。
   

2. 在 资产 选项卡上，单击 数据> 数据资产。

3. 单击 Overflow 菜单中的 GoldenBank_HoldoutData.csv 数据资产，然后选择下载。 要验证模型是否按需要工作，您需要一组从模型训练中保留下来的带标签数据。 此 CSV 文件包含该保留数据。

4. 启动 Watson OpenScale。 从 Cloud Pak for Data 导航菜单 ，选择服务 > 实例。

5. 在 "实例 "页面上，单击 Watson OpenScale 实例行末尾的 Overflow 菜单，然后选择 " 打开"。

6. 在 "洞察" 仪表板上，单击 抵押贷款审批模型部署 磁贴。

7. 从 操作 菜单中，选择 立即评估。

8. 从导入选项列表中，选择 从 CSV 文件。

9. 将从项目中下载的 Golden Bank_HoldoutData.csv 数据文件拖入侧面板。

10. 单击 上载并评估。

任务 3: 观察模型监视器的质量

Watson OpenScale 质量监视器会生成一组度量值，以评估模型的质量。 您可以使用这些质量指标来确定模型预测结果的良好程度。 当使用保留数据的评估完成时，请遵循以下步骤来观察模型质量或准确性:

1. 在左侧导航面板中，单击 Insights 仪表板 图标。

2. 找到 抵押贷款审批模型部署 磁贴。 请注意，部署存在 0 个问题，并且已通过 质量 和 公平性 测试，这意味着模型满足所需的阈值。

3. 单击 抵押贷款审批模型部署 磁贴以查看更多详细信息。

4. 在质量部分，单击配置 图标。 在这里，您可以看到为此监视器配置的质量阈值为 70% ，并且所使用的质量测量是 ROC 曲线下的面积。

5. 单击 转至模型摘要 以返回到模型详细信息屏幕。

6. 在质量部分，单击右箭头 图标，查看模型质量的详细结果。 在这里，您可以看到一些质量度量计算和一个混淆矩阵，其中显示了正确的模型决策以及误报和误报。 ROC 曲线下的计算面积为 0.9 或更高，这超过了 0.7 阈值，因此模型满足其质量要求。

7. 单击导航跟踪中的 抵押核准模型部署 以返回到模型详细信息屏幕。

任务 4: 观察模型监视器以获取公平性

Watson OpenScale 公平性监视器生成一组度量以评估模型的公平性。 您可以使用公平性指标来确定模型是否产生有偏差的结果。 遵循以下步骤来观察模型公平性:

1. 在公平性部分，单击配置 图标。 在这里，您可以看到正在对该模型进行复审，以确保对申请人进行公平对待，而无论其性别如何。 妇女被确定为受监测群体，正在对其进行公平性衡量，公平性的门槛至少为 80%。 公平性监视器使用不同的影响方法来确定公平性。 不同影响将受监视组的有利结果百分比与参考组的有利结果百分比进行比较。

2. 单击 转至模型摘要 以返回到模型详细信息屏幕。

3. 在公平性部分，单击右箭头 图标，查看模型公平性的详细结果。 在这里，您可以看到正在自动批准的男性和女性申请人的百分比，以及超过 100% 的公平性分数，因此模型性能远远超过所需的 80% 公平性阈值。

4. 请注意标识的数据集。 为了确保公平性指标最准确， Watson OpenScale 使用扰动来确定仅更改受保护属性和相关模型输入而其他功能保持不变的结果。 扰动将特征的值从参考组更改为受监视组，反之亦然。 当使用 "均衡" 数据集时，这些附加护栏用于计算公平性，但您也可以仅使用有效内容或模型训练数据来查看公平性结果。 由于模型的行为是公平的，因此您无需为此度量输入其他详细信息。

   

5. 单击 抵押核准模型部署 导航跟踪以返回到模型详细信息屏幕。

任务 5: 观察模型监视器以了解可解释性

了解模型是如何做出决定的也很重要。 需要此理解以向参与贷款核准的人员解释决策，并确保模型所有者的决策有效。 要了解这些决策，请执行以下步骤来观察模型可解释性:

1. 在左侧导航面板中，单击解释交易 图标。

2. 选择 抵押核准模型部署 以查看交易列表。

3. 对于任何事务，单击 操作 列下的 说明 。 在这里，您将看到此决策的详细说明。 您将看到模型的最重要输入以及每个输入对最终结果的重要性。 蓝色条形表示倾向于支持模型决策的输入，而红色条形显示可能导致另一个决策的输入。 例如，申请人可能有足够的收入可以通过其他方式获得批准，但他们的不良信用历史记录和高额债务共同导致该模型拒绝该申请。 复审此说明以满足模型决策的基础。

4. (可选) 如果要进一步了解模型如何作出其决策，请单击 检查 选项卡。 使用 检查 功能来分析决策以查找敏感度区域，在这些区域中，对几个输入的少量更改将导致不同的决策，您可以通过使用替代方法覆盖某些实际输入来自行测试敏感度，以查看这些更改是否会影响结果。

任务 6: 将模型提升为预生产并核准模型

执行以下步骤以变更模型库存中模型用例的状态并核准模型:

任务 7: 共享模型

您可以从 PDF ， HTML 和 DOCX 格式的构面表或模型用例生成报告，以便可以共享或打印有关模型库存中跟踪的模型的详细信息。

1. 在 OpenPages, 中切换到模型用例。

2. 单击 第三方链接 字段中的链接以打开模型清单中的用例。

3. 从模型用例中的 资产 选项卡，单击 导出报告。

4. 对于 格式选项，选择格式。

5. 对于 报告模板，选择模板:

   • MOdel 用例完整报告: 包含 "基本" 报告中的所有数据以及有关模型用例中的模型和部署的详细信息。

   • MOdel 用例基本报告: 包含 "概述" 和 "资产" 选项卡上可见的事实集。

6. 单击导出。 报告将显示在新窗口中。

清除（可选）

如果要重新学习 AI 监管用例中的教程，请删除以下工件。

后续步骤

• 尝试 使用模型监视教程编排 AI 管道。

• 注册另一个 数据光纤网用例。

• 尝试更多 构建，部署和信任模型教程。

• 使用 AutoAI构建模型。

• 快速入门教程

了解更多

• Notebook

• 在 Notebook 中训练和部署机器学习模型

• Watson OpenScale

• 模型库存

父主题: 数据光纤网教程