AI 监管教程: 构建和部署模型

预览教程

观看本视频，预览本教程的步骤。 视频中显示的用户界面可能存在细微差异。 该视频旨在与编写的教程相伴。

除了遵循本文档中的书面步骤，您还可以观看此视频了解相关操作。

先决条件

完成本教程需要以下先决条件。

执行以下步骤以验证您的角色和许可权。 如果 Cloud Pak for Data 帐户未满足所有先决条件，请与管理员联系。

1. 单击工具栏中的概要文件图像。

2. 单击 概要文件和设置。

3. 选择 角色 选项卡。

与您的角色关联的许可权列示在启用的许可权列中。 如果您是任何用户组的成员，那么您将继承分配给该组的角色。 这些角色也会显示在 "角色" 选项卡上，您从中继承角色的组在 "用户组" 列中指定。 如果 用户组 列显示短划线，那么表示直接将角色分配给您。

任务 1: 为模型设置跟踪

您可以通过将模型用例添加到目录来跟踪模型。 如果您有权创建目录，那么可以创建新目录，也可以使用缺省目录。

任务 2: 配置 IBM OpenPages Model Risk Governance

本教程使用模型风险监管样本。 执行以下步骤以下载样本文件并配置 IBM OpenPages Model Risk Governance:

1. 下载以下文件:

   • MRG-CP4D-trial-contents-op-config.xml

   • MRG-Users-op-config.xml

   • Golden_Bank_trial_content.xlsx

2. 在 OpenPages, 中单击设置图标 ，选择系统迁移 > 导入配置 > 从压缩包中添加文件。 选择 MRG-Users-op-config.xml。

3. 使用 FastMap Import从 zip 导入 Golden_Bank_trial_content.xlsx 文件。 单击设置图标 ，选择 FastMap Import。

4. 单击设置图标 ，选择系统迁移 > 导入配置 > 从压缩包中添加文件。 选择 MRG-CP4D-trial-contents-op-config.xml。

任务 3: 在模型清单中创建模型用例

对于此类型的项目，最好在项目开始时创建模型用例。 模型用例可以引用可用于解决业务问题的多个机器学习模型。 然后，数据工程师和模型评估人可以将模型添加到模型用例，并在模型的生命周期中进行跟踪。

任务 4: 运行 Notebook 以创建模型

现在，您已准备好运行样本项目中包含的第一个 Notebook。 该 Notebook 包含用于执行以下操作的代码:

• 设置用于跟踪模型生命周期的 AI Factsheets 。
• 装入训练数据，该数据存储在样本项目的 Db2 Warehouse 连接中。
• 指定目标列，分类列和数字列以及用于构建模型的阈值。
• 构建数据管道。
• 构建机器学习模型。
• 查看模型结果。
• 保存模型。

执行以下步骤以运行样本项目中包含的 Notebook。 花一些时间阅读 Notebook 中的注释，这些注释说明了每个单元格中的代码。

1. 从 Cloud Pak for Data 导航菜单 ，选择项目 > 所有项目。

2. 单击 AI Governance 项目名称。

3. 单击 " 资产 "选项卡，然后导航至笔记本。
   

4. 单击 1-model-training-with-factsheets 笔记本的溢出菜单 ，然后选择编辑。

5. 单击 单元> 全部运行 以运行 Notebook 中的所有单元。 或者，如果要浏览每个单元及其输出，那么可以按单元运行 Notebook 单元。

6. 第一个单元需要您的输入。

   1. 在 输入主机名 提示符处，输入以 https://开头的 Cloud Pak for Data 主机名，然后按 Enter。 例如，https://mycpdcluster.mycompany.com。

   2. 在 用户名 提示符处，输入 Cloud Pak for Data 用户名，然后按 Enter。

   3. 在 密码 提示符处，输入 Cloud Pak for Data 密码，然后按 Enter。

7. 笔记本需要 1-3 分钟才能完成。 您可以按单元格监视进度单元格，并将星号 "In [*]" 更改为数字，例如， "In [1]"。

8. 如果在 Notebook 运行期间迂到任何错误，请尝试以下提示:

   • 单击 内核> 重新启动并清除输出 以重新启动内核，然后再次运行 Notebook。
   • 通过复制并粘贴指定的工件名称 (完全不带前导或尾部空格) ，验证您是否已创建模型用例。

任务 5: 查看模型的概况介绍并将其与模型用例相关联

运行 Notebook 中的所有单元后，请执行以下步骤以在项目中查看模型的构面表，然后将该模型与模型库存中的模型用例相关联:

1. 单击导航路径中的人工智能治理项目名称。
   

2. 单击 资产 选项卡，然后浏览至 模型。

3. 单击 Notebook 创建的 抵押核准预测模型 资产。

4. 查看模型的 AI Factsheet。 AI Factsheets 用于捕获整个模型开发生命周期中的模型元数据，从而促进后续企业验证或外部监管。 AI Factsheets 使模型验证者和核准人能够获取模型生命周期详细信息的准确且始终最新的视图。
   在最后一个任务中，您运行了一个 Notebook ，其中包含捕获训练元数据的 Notebook 中的 AI Factsheets Python 客户机代码。 滚动到 训练度量 和 训练标记 部分，以查看捕获的训练元数据。
   下图显示了该模型的人工智能概况介绍：
   
   

5. 在模型页面上向上滚动，然后单击 跟踪此模型。

   1. 从模型用例列表中，选择 抵押核准模型用例。

   2. 选择 创建新记录。

   3. 单击 跟踪。

6. 返回到模型页面，单击 在模型库存中打开。

7. 在模型用例页面上，单击 资产 选项卡。

8. 查看 模型跟踪。 AI Factsheets 跟踪模型的整个生命周期。 此模型仍处于 开发 阶段，因为尚未部署此模型。

任务 6: 部署模型

在可以部署模型之前，需要将模型提升到新的部署空间。 部署空间可帮助您组织支持资源，例如输入数据和环境; 部署模型或函数以生成预测或解决方案; 以及查看或编辑部署详细信息。

任务 7: 执行模型风险评估

模型所有者可以利用捕获的元数据在核准此模型时仔细考虑，因为这可能对最终客户和 Golden Bank 的声誉有很大影响。 当数据研究员创建测试部署时，将捕获所有训练时间事实。 现在，执行模型风险评估以确定此模型是否应移至生产前环境，然后最终移至生产环境。

1. 在模型跟踪页面上，单击 抵押贷款核准模型用例 链接以在 IBM OpenPages Model Risk Governance中打开相同的用例。

2. 在 关联模型下，单击 抵押核准预测模型 名称以查看模型。

3. 检索训练准确性分数:

   1. 向下滚动到 关联 部分，然后单击树中的 度量 节点。

   2. 在侧面板中，单击 training_我们的得分 指标。

      

   3. 复制模型的训练准确性分数的 值 。 风险评估需要此值。

      提示: 如果查找training_我们的 acy_score 指标时迂到问题，请单击 指标 选项卡以查找该指标。

4. 返回到模型选项卡以创建模型风险评估:

   1. 在 " 模型风险评估 " 部分中，单击 新建。

   2. 对于 描述，输入 Initial risk assessment for Mortgage Approval model。

   3. 回答以下问题以评估模型的风险。

      • 模型使用其他模型输出或订阅源下游模型: 选择 否 ，因为此模型对贷款申请作出决策，并且不依赖于任何其他模型。

      • 模型训练准确性评分: 粘贴先前复制的训练准确性评分指标的值。

      • 此模型是否用于发放贷款或抵押贷款?: 选择 是 ，因为这是抵押贷款核准模型。

      • 训练数据中是否有有关受保护组的信息? 选择 否 ，因为此模型是使用已匿名化的抵押数据训练的。

   4. 提供所有必填字段的信息后，单击 保存。

5. 风险评估完成后，请查看 计算层。 风险评估为模型生成计算的风险层 (针对低风险的层 3 ，针对中等风险的层 2 和针对高风险的层 1)。 请注意，如果合适，您可以覆盖计算出的层级。
   

6. 编辑 状态 字段:

   1. 单击状态字段旁边的编辑图标 。

   2. 选择 已确认 以确认评估。

   3. 单击保存。

7. 返回到模型页面以分配所有者并提交模型以进行实施前复审。

   1. 单击模型所有者字段旁边的编辑图标 。

   2. 从列表中选择您的用户名。

   3. 单击保存。

   4. 单击 操作> 提交以进行实施前复审，然后单击 继续 以发送模型进行验证。

后续步骤

现在，您已准备好验证和监视已部署的机器学习模型，以确保其工作准确且公平。 对于此任务，您将使用 Watson OpenScale。 请参阅 测试并验证模型 教程。

了解更多

• Notebook

• 在 Notebook 中训练和部署机器学习模型

• Watson OpenScale

• 模型库存

父主题: 数据光纤网教程