管理预测性部署

要进行正确的部署，您必须设置部署空间，然后选择并配置特定部署类型。 部署资产后，可以对其进行管理和更新，以确保其性能良好并监视其准确性。

要能够从空间部署资产，必须安装并供应 Watson Machine Learning 服务。

服务
缺省情况下， Watson Machine Learning 服务不可用。 管理员必须在IBM Cloud Pak for Data平台上安装此服务。 要确定服务是否已安装，请打开服务目录并检查Watson Machine Learning服务是否已启用。

联机和批处理部署提供了创建联机评分端点或对模型执行批处理评分的简单方法。

如果要实现定制逻辑:

  • 创建用于创建联机端点的 Python 函数
  • 编写用于批量评分的 Notebook 或脚本
注: 如果创建 Notebook 或脚本以执行批处理评分，那么此类资产将作为平台作业运行，而不是作为批处理部署运行。

可部署资产

以下是可以从 Watson Machine Learning 空间部署的资产的列表，其中包含有关适用部署类型的信息:

可以部署的资产的列表
资产类型 批量部署 (batch deployment) 联机部署 (online deployment) 应用部署
函数 是 是 False
模型 是 是 False
脚本 是 False False
Shiny 应用程序 False False 是

R Shiny 应用程序是唯一支持 Web 应用程序部署的资产类型。

注：

  • 部署作业是在 Watson Machine Learning中运行批处理部署或自包含资产 (例如代码包或流) 的一种方式。 您可以选择作业的输入和输出，并选择手动或按调度运行该作业。 有关更多信息，请参阅 创建部署作业。
  • 您可以使用Python函数或Python脚本部署自然语言处理模型。 同时支持联机和批处理部署。
  • 笔记本和流使用笔记本环境。 您可以在部署空间中运行它们，但它们不可部署。
  • 如果您保存AutoAI在您的项目中以笔记本的形式进行实验，然后从您的部署空间推广该笔记本，您的笔记本作业可能会失败。 如果选择运行笔记本部署作业的运行时环境包含的资源数量少于最初用于运行该笔记本的运行时环境，则可能会发生这种情况AutoAI实验。 要避免失败，必须将 Notebook 和环境分别提升到部署空间。
  • 只能将自动安装用于具有 Watson Machine Learning Shiny 应用程序部署和 Notebook 运行时的存储卷。 不能将自动安装用于具有联机和批处理部署的存储卷，因为 Watson Machine Learning不支持这些自动安装。

要获取更多信息，请参阅：

部署资产后，可以对其进行管理和更新，以确保其性能良好并监视其准确性。 管理或更新部署的一些方法如下所示:

  • 管理部署作业。 创建一个或多个作业后，可以从部署空间的作业选项卡查看和管理这些作业。
  • 更新部署。 例如，您可以将模型替换为性能更好的版本，而不必创建新的部署。
  • 扩展部署 以通过创建部署的副本来提高可用性和吞吐量。
  • 使用 Watson OpenScale来 评估空间中的部署 。
  • 删除部署 以除去部署并释放资源。

配置 API 网关以提供稳定的端点

Watson Machine Learning 提供稳定的端点来防止停机。 但是，如果移至新的 Cloud Pak for Data 实例或添加实例，那么可能会迂到停机时间。

API 网关提供可与 Watson Machine Learning API 端点配合使用的稳定 URL。 您可以将 API 网关 (在 Cloud Pak for Integration中提供) 与部署端点配合使用，以处理在以下情况下发生的停机时间:

  • 如果在高可用性配置中有多个 Cloud Pak for Data 实例，并且其中一个可用实例失败。 在这种情况下，您可以使用 API 网关自动切换到另一个实例，从而防止完全失败。
  • 如果您有多个使用相同端点的应用程序，并且部署端点不可用。 例如，如果您意外删除部署。 在这种情况下，您可以更新 API 网关中的端点，以确保应用程序继续使用该端点。

为部署运行时启用 GPU 和 MIG 支持

如果部署的预测性机器学习模型需要强大的处理能力进行推理，则可以选择为部署运行时配置 GPU。

如果要部署不需要 GPU 全部功能的应用程序，也可以启用 MIG 对 GPU 的支持。 如果要为 GPU 加速工作负载配置 MIG，则所有启用 GPU 的节点都应遵守先前配置步骤中确定的单一策略。 这样就能确保集群中所有支持 GPU 的节点行为一致。 要配置 MIG 支持，请参阅Nvidia 指南配置 MIG 支持。

了解更多

父主题： 部署资产