规划机器学习解决方案的实施工作流程

定义人工智能用例

人工智能用例由一组事实表组成，其中包含模型等人工智能资产生命周期的脉络、历史和其他相关信息。

您的组织可能会要求您跟踪和记录人工智能解决方案，以提高透明度或遵守法规。 不过，即使不需要人工智能用例，它们也很有用，因为它们提供了一种综合方式来跟踪有关解决方案的进展、决策和指标。

要创建人工智能用例，首先要创建一个清单，然后再创建用例。 将数据科学家、数据工程师和其他参与创建、测试或管理解决方案的用户添加为用例协作者。

制定治理工作流程

治理工作流程强制执行人工智能用例和模型使用的审查和批准流程。

您的组织可能需要以下一种或多种治理工作流程：

• 模型风险治理工作流程，用于批准人工智能用例、批准基础模型生命周期事件、运行风险评估或自动监测模型性能。
• 监管合规管理工作流程，处理监管机构发布的警报。
• 运营风险管理工作流程，以跟踪整个企业的模型风险和其他运营风险。

要设置治理工作流程，需要在治理控制台中进行配置。

建立项目

项目是一个协作工作空间，人们在这里使用模型和数据来实现共同的目标。

您需要一个项目来准备数据、运行实验和构建机器学习模型。

机器学习解决方案的项目通常包含以下类型的项目，这些项目或由数据科学家或人工智能工程师明确添加，或作为流程的结果而创建：

• 数据源的连接资产，如存储训练数据的地方。
• 代表用于训练模型的数据集的数据资产。
• 您创建的笔记本或运行 AutoAI 实验等流程生成的笔记本。
• 通过运行工具创建的实验和流动资产，如 AutoAI, SPSS Modeler 或 Decision Optimization。
• 通过在工具中运行资产而创建的工作。

您将拥有一个自动创建的沙盒项目。 不过，您可能希望创建一个项目，并为其命名，以反映您的目标。 您可以从主页或导航菜单创建项目。 添加您希望参与解决方案的所有人。 为每个协作者分配一个角色，以控制他们在项目中的权限。

准备数据

数据准备包括按照解决方案所需的格式和质量水平提供所需数据的访问。

您需要为机器学习模型提供训练数据。 您的训练数据必须包括标注数据，以便列使用机器学习算法进行预测或分类。 您还可以提供无标记的保留数据集或回溯测试数据集。 您可能需要清理或调整数据，以便为分析和模型训练做好准备。

您可以通过以下方式提供训练数据：

• 从本地系统上传文件
• 连接到包含数据集的数据源

您可以使用数据准备工具准备数据，然后在 AutoAI 或笔记本等其他工具中使用这些数据：

• 上传数据文件或连接数据源中的表格。
• 使用 Data Refinery 清理、塑造和可视化您的数据。
• 利用 Synthetic Data Generator ，根据生产数据或自定义数据模式生成合成表格数据。

您可以在训练机器学习模型的同一工具中准备数据：

• 在 SPSS Modeler 中对数据进行清理、转换、缩减、整合和验证。
• 调用预装的开源库和 IBM 库，或在笔记本中安装和调用自定义库。

训练机器学习模型

机器学习模型在一组数据上进行训练，以开发算法，用于分析和学习新数据。

您可以通过以下方式改变条件，尝试训练机器学习模型：

• 测试不同的算法，使其最适合您的数据
• 选择和缩放最能代表问题的特征
• 调整超参数设置，优化性能和精度

要建立机器学习模型，您可以在 Python 笔记本中尝试编写代码。 要自动查找算法、转换和参数设置以创建最佳预测模型，请运行机器学习自动人工智能实验。 要探索数据、建立结果模型、尝试不同的模型、研究各种关系以找到有用的信息，请建立 SPSS Modeler 流程。 要解决优化业务问题，请建立 Decision Optimization 模型。

评估机器学习资产

对机器学习模型进行评估时，要根据所选的指标集测试模型输出的质量。 有些指标是基于将模型输出与您在测试数据集中提供的适当输出进行比较。 此外，还将评估模型生成响应的效率。

您的组织可能需要进行合规性评估或内部政策评估。 不过，即使不需要评估，评估也是有用的，因为度量分数可以说明解决方案的质量，并可预测分数下降时用户满意度的下降。

评估人工智能资产时，可以配置以下因素：

• 测试样本量
• 包括哪些指标
• 每个指标的阈值

通用指标提供以下几种有关机器学习模型的信息：

• 与标注测试集相比，模型的表现如何。
• 模型产生的结果是否有偏差。
• 准确性和数据的变化。
• 模型处理交易的效率。

您可以查看当前结果和过去一段时间的结果。 每次评估的结果都会添加到该提示的用例中。

要评估机器学习模型，请从 Watson OpenScale 打开 Insights 面板。 如果运行 AutoAI 进行机器学习实验，候选模型会自动进行评估和排序。

部署解决方案

部署资产使其可用于测试或终端的生产性使用。 创建部署后，您可以对其进行测试和管理，并准备将资产部署到预生产和生产环境中。

您可以在部署空间中创建部署，部署空间是独立于项目的工作空间，您可以在其中添加不同的协作者。

要部署机器学习模型资产，可将资产推广到部署空间，并创建包含端点的部署。 然后，您就可以从应用程序中调用端点。 您可以为测试、暂存和生产部署创建单独的部署空间，以支持您的 ModelOps 工作流程。

机器学习管道自动化

在训练和部署机器学习模型后，您可以将训练、部署和评估模型的过程自动化。 您可以比较多个机器学习模型的结果，以确定最佳模型。 您可以大规模配置自动批量计分。

您可以配置管道来执行以下任务：

• 向管道中添加资产或导出管道资产
• 创建或删除资产、部署或部署空间
• 添加错误处理和逻辑，如循环
• 设置用户变量
• 更换或更新资产以提高性能
• 运行作业以训练实验、执行脚本或运行数据流
• 指定运行流程的条件
• 运行自己编写的脚本

要设计管道，可将节点拖到管道编辑器画布上，指定对象和参数，然后运行并监控管道。

监控和维护您的解决方案

将解决方案嵌入应用程序并投入生产后，您必须对解决方案进行维护。 您还可以监控模型性能。 维护解决方案包括使用最新数据重新训练机器学习模型。 监控解决方案可评估模型在生产环境中的性能。

您的组织可能会要求您监控解决方案，确保性能不低于指定的阈值。

要监控解决方案，请在部署空间打开解决方案的部署并激活评估。 您可以使用有效载荷日志记录端点为公平性和漂移评估发送评分请求，并使用反馈日志记录端点为质量评估提供反馈数据。