使用 ModelOps 管理 AI 生命周期

使用 ModelOps 工具来管理从开发到生产的 AI 资产。

ModelOps 说明

MLOps 使应用程序与模型管道之间的节奏同步。 它以以下做法为基础:

  • DevOps ,用于将机器学习模型从创建到训练,部署到生产。
  • ModelOps ,用于管理传统机器学习模型的生命周期,包括评估和重新训练。

MLOps 不仅包括机器学习模型的例行部署,还包括更复杂的机器学习模型的持续重新训练,自动更新以及同步开发和部署。 探索这些资源以获取有关开发 MLOps 策略的更多详细信息:

  • watsonx.ai用例介绍了如何开发和部署机器学习模型和生成式人工智能解决方案。
  • watsonx.governance用例描述了如何监控、维护、自动化和治理生产中的机器学习和生成式人工智能模型。

ModelOps 工具

根据您正在使用的平台以及您已启用的服务,您可以使用工具组合来设计 ModelOps 流程,以帮助您管理资产。

  • 管道 ,用于在 AI 生命周期中自动执行机器学习模型的端到端流程。
  • AI Governance ,用于创建用于跟踪模型生命周期 (包括 aAI 资产的请求,构建,部署和评估) 的事实表的集中存储库
  • cpdctl 命令行界面工具 ,用于使用 cpdctl 命令行界面工具来管理和自动执行 Cloud Pak for Data as a Service 上托管的机器学习资产。 使用 IBM Cloud 中的自动配置可轻松地使用 cpdctl API 命令进行连接。

使用部署空间管理访问权

当资产在 AI 生命周期中移动时,使用部署空间来组织和管理对资产的访问。 例如,可以通过以下方式管理对部署空间的访问权:

  • 创建部署空间并将其作为部署阶段分配给 开发 。 如果您要管理资产,那么此类型空间中的部署将显示在用例的 开发 阶段中。 将访问权分配给数据研究员以创建资产,或分配给 DevOps 用户以创建部署。
  • 创建部署空间,并将其作为部署阶段分配给 测试 。 如果要管理资产,那么此类型空间中的部署将显示在用例的 验证 阶段中。 分配对模型验证器的访问权以测试部署。
  • 创建部署空间,并将其作为部署阶段分配给 生产 。 如果要管理资产,那么此类型空间中的部署将显示在用例的 操作 阶段中。 将此空间的访问权限制为管理部署到生产环境的资产的 ModelOps 用户。

使用 Pipeline 自动执行 ModelOps

IBM Orchestration 管道编辑器提供了一个图形界面,用于编排从创建到部署的端到端资产流。 组装和配置管道以创建,训练,部署和更新机器学习模型和 Python 脚本。 使 ModelOps 流程更简单且可重复。

使用 AI Factsheets 跟踪模型

AI Factsheets 为您提供了在整个组织中跟踪数据科学模型并将详细信息存储在目录中的功能。 查看生产中的模型以及需要开发或验证的模型。 使用监管功能来建立流程,以管理从数据研究员到 ModelOps 管理员的通信流。

注: 模型库存仅跟踪您通过将其与模型用例相关联而显式跟踪的模型。 您可以控制要为组织跟踪哪些模型,而不跟踪样本以及对组织不重要的其他模型。

评估模型部署

使用 Watson OpenScale 以信任和透明的方式分析 AI ,并了解 AI 模型如何参与决策。 检测并缓解偏差和漂移。 提高预测的质量和准确性。 说明事务并执行假设情况分析。

自动管理资产和生命周期

您可以使用 Watson Machine Learning Python 客户机在 Notebook 中自动执行 AI 生命周期。

样本 Notebook 演示了如何执行以下操作:

  • 使用数据集下载外部训练的 scikit-learn 模型
  • 将外部模型持久存储在 Watson Machine Learning 存储库中
  • 使用客户机库部署用于联机评分的模型
  • 使用客户机库对样本记录进行评分
  • 更新先前持久存储的模型
  • 就地重新部署模型
  • 扩展部署

此外,您还可以使用IBM Cloud Pak for Data命令行界面(cpd-cli)来管理配置设置并自动执行端到端流程。 此端到端流程包括训练模型,保存模型,创建部署空间以及部署模型。

典型的 ModelOps 方案

Cloud Pak for Data 中的典型 ModelOps 方案可能是:

  1. 组织和组织数据资产
  2. 使用 AutoAI 训练模型
  3. 保存并部署模型
  4. 在用例中跟踪模型,以便所有合作者可以跟踪模型在整个生命周期中的进度,并确保其符合组织标准。
  5. 评估部署是否存在偏差
  6. 使用性能更好的模型更新部署
  7. 监视整个组织中的部署和作业

<

父主题: 部署和管理资产