管理外部模型

使用 watsonx.governance 或 AI Factsheets 服务，对在 Notebook 中或 Cloud Pak for Data外部创建的模型启用监管。 在概况介绍中跟踪模型评估和模型详细信息的结果。

除了管理使用 Watson Machine Learning训练的模型外，您还可以管理使用第三方工具 (例如 Amazon Web Services 或 Microsoft Azure) 创建的模型。 有关受支持提供程序的列表，请参阅 受支持的机器学习提供程序。 此外， Notebook 中开发的模型被视为外部模型，因此您可以使用 AI Factsheets 来管理在非 Cloud Pak for Data平台上开发，部署和监视的模型。

使用 watsonx.governance 随附的模型评估来测量从外部提供程序导入的模型的性能指标。 捕获模型的概况介绍中的事实以及作为 AI 用例一部分的评估指标。 将跟踪的数据用作治理和合规性策略的一部分。

开始之前

开始之前，请确保您或具有管理员角色的用户执行以下操作:

  • 启用对库存中外部模型的跟踪。
  • 分配库存的所有者。

有关详细信息，请参阅 管理库存。

准备跟踪外部模型

这些要点概述了为外部模型保留事实的过程。

  • 外部模型在主导航菜单的 "所有AI资产" 下进行列举。
  • 您可以使用模型笔记本中的 API 将外部模型资产保存到库存。
  • 将外部模型资产与库存中的 AI 用例相关联，以开始保留事实。 新字段 External model identifier 和 External deployment identifier 与模型元数据一起描述如何在外部系统中识别模型和部署，例如: AWS 或 Azure。
  • 在 watsonx.governance中评估外部模型时，还可以自动将这些模型添加到库存。 将按照以下规则建立目标库存:
    • 如果外部模型的相应开发时间模型存在于 Platform assets catalog 中，或者没有在任何库存中创建开发时间模型，那么将在 Platform assets catalog 中创建外部模型。
    • 如果使用 Python 客户机在清单中创建相应的开发时模型，那么将在该清单中创建该模型。

将外部模型资产与 AI 用例相关联

自动外部模型跟踪将在 watsonx.governance 中评估的任何外部模型添加到存在开发时模型的库存中。 在模型位于库存中之后，您可以通过以下方式将外部模型资产与用例相关联:

  • 使用 API 以编程方式从 Notebook 将外部模型资产保存到任何库存。 然后，外部模型资产可以与 AI 用例相关联。
  • 将使用 Watson OpenScale 评估创建的外部模型与 AI 用例相关联。

使用 API 创建外部模型资产

  1. 在 Notebook 中创建模型。
  2. 保存模型。 例如，可以保存到 S3 存储区。
  3. 使用 API 在库存中创建外部模型资产 (外部模型的表示)。 有关与库存交互的 API 命令的更多信息，请参阅 IBM_AIGOV_FACTS_CLIENT 文档。

向库存注册外部模型资产

  1. 在要跟踪模型的库存中打开 资产 选项卡。
  2. 选择要跟踪的外部模型资产。
  3. 返回到 "库存" 中的 资产 选项卡，然后单击 添加到 AI 用例。
  4. 选择现有 AI 用例或创建新用例。
  5. 按照提示将详细信息保存到库存。

从 Watson OpenScale 注册外部模型

如果要在 Watson OpenScale中验证外部模型，那么可以将外部模型与 AI 用例相关联，以跟踪生命周期事实。

  1. 将外部模型添加到 OpenScale 仪表板。
  2. 如果已使用 API 定义 AI 用例，那么系统将识别用例关联。
  3. 在创建和监视部署时，将向关联的用例注册事实。 这些事实显示在 "验证" 或 "操作" 阶段中，具体取决于您对模型的机器学习提供程序进行分类的方式。

填充 AI 用例

为外部模型资产保存事实时，这些事实将与表示其在生命周期中的阶段的支柱相关联，如下所示:

  • 如果外部模型资产是从未部署的 Notebook 创建的，那么它会显示在 "开发" 支柱中。
  • 如果外部模型资产是从具有部署的 Notebook 创建的，那么它将显示在 "验证" 支柱中。
  • 在 OpenScale, 会显示在验证或运行阶段，具体取决于您如何为模型分类机器学习提供程序。

查看外部模型的事实

查看外部模型的事实与查看 Watson Machine Learning 模型的事实略有不同。 以下规则适用:

  • 单击包含外部模型资产的库存的 资产 选项卡以查看事实。
  • 与 Watson Machine Learning 模型用例不同，这些用例具有不同的模型和部署概况介绍，外部模型的概况介绍将模型和部署的信息组合在同一页面上。
  • 可以在库存中创建多个具有相同名称的资产。 为了区分标记 开发，将自动分配 预生产 和 生产 以反映其状态。