使用自动配置功能配置模型评估

机器学习模型评估的自动配置选项将为您配置机器学习环境、数据库以及一个示例模型。 请按照引导教程中的步骤，学习如何评估示例模型。 设置完成后，您可以将自己的模型添加到仪表板。

样本模型

自动配置使用示例数据集“德国信用风险”来演示模型评估的关键特征。

样本数据概述

"德国信用风险" 样本数据为用于训练样本模型的银行客户提供记录集合。 它包含每个贷款申请人的 20 个属性。 在自动设置过程中供应的样本模型将进行训练，以预测新客户的信用风险级别。 可以对预测中考虑的两个属性 (性别和年龄) 进行偏差测试，以确保结果与客户的性别或年龄一致。

为了评估结果，结果分为几组。 参考组是被认为最有可能产生积极结果的组。 在这种情况下，参考组是男性客户和 25 岁以上的客户。 受监视组是要复审的组，以确保结果与受监视组的结果没有很大差异。 在这种情况下，受监视组是 19-25 岁的女性和客户。

运行自动设置

要快速了解模型是如何进行评估的，请在首次启动 Watson OpenScale 时运行提供的演示场景选项。

  1. 从导航菜单 导航菜单中，选择 “服务”>“实例”。
  2. 在 “实例 ”页面上，针对您的 Watson OpenScale 实例，点击 “更多 ”菜单 溢出菜单，然后选择 “打开”。
  3. 显示模型评估页面时，单击自动设置。
  4. 如果出现提示，请选择 Watson Machine Learning 实例，然后单击 Next 。 您必须使用本地安装的 Watson Machine Learning 实例。 远程实例没有可选项。
  5. 提供主机名或 IP 地址，不含前面的 https:// 或最后的斜线 (/)、Port, Database, Username, 和 Password for your Db2 database. 对于属于群集一部分的 Db2 选项，请参阅 Data Database，您可以在其中找到 Db2 Warehouse 和 Db2 Advanced Enterprise Server Edition 等选项。 对于外部数据库，可以使用 IBM Db2 数据库。 点击准备。

在配置模型评估服务时，您可以查看所显示的演示方案。 完成配置后，选择是观看演示还是退出到仪表板。

  • 要进行导览，请单击 "开始导览"。
  • 要退出自动设置并转至仪表板，请自行单击 "探索"。

导览要点

导游演示了以下功能:

  1. 用户界面 (UI) 简介: UI 的四个主要区域包括 Insights ，说明，配置和支持。
  2. 监视和查看德国信用风险模型的结果: 使用预定义的监视器来评估模型的公平性，质量和漂移。 您还可以使用定制监视器进行模型评估。
  3. 浏览公平性监视器: 使用公平性监视器从模型中查找有偏差的结果。 如果发现公平性问题，那么将根据可配置阈值触发警报。
  4. 浏览数据集: 在均衡数据集，有效内容数据集，训练数据集和无偏数据集之间切换，以了解它们如何影响模型的公平性分数。
  5. 事务简介: 查看有效内容数据集中的事务以了解组偏差和个别偏差。
  6. 解释模型结果: 了解导致模型预测在模型中建立信任的功能。 此外，了解如何更改特征值以获得更有利的模型结果。
  7. 浏览漂移监视器: 使用漂移监视器来确定模型中数据的处理是否导致准确性下降。
  8. 复审事务: 复审事务列表以调查准确性下降。

浏览特定页面

要将自动设置指导教程用于特定页面，请执行以下步骤:

  1. 打开要遵循引导式教程的页面。
  2. 打开 支持 选项卡，然后选择 浏览此页面。

重置导览

要重置自动设置教程，请打开 支持 选项卡，然后选择 重置自动设置。

了解更多