什么是 AutoML?

2025 年 1 月 14 日

作者

Ivan Belcic

Staff writer

Cole Stryker

Editorial Lead, AI Models

什么是 AutoML?

自动化机器学习 (AutoML) 是自动实现机器学习模型(ML 模型)端到端开发的具体实践。AutoML 有助于非专家人士创建和实施人工智能 (AI) 系统,同时简化面向数据科学家和开发人员的 AI 工作流程。

AutoML 工具简化了构建 ML 模型的过程。直观的界面方便用户操作,可以创建、培训、验证和部署生成式 AI 模型和其他深度学习系统。AutoML 能够提供可解释和可再现的结果,促进了受监管行业中的 AI 实施。

如果没有 AutoML,则必须手动执行机器学习 (ML) 工作流程中的每一步,包括数据准备、数据预处理、特征工程和超参数优化。利用 AutoML,任何有兴趣探索机器学习潜力的人都可以使用机器学习,实现机器学习普及化。同时,经验丰富的 MLOps 团队和数据科学专业人员可以自动化机器学习工作流程的常规方面,同时专注于更艰巨的学习任务。

小球在轨道上滚动的三维设计

最新的 AI 新闻 + 洞察分析

在每周的 Think 时事通讯中,发现专家精选的有关 AI、云等的洞察分析和新闻。 

AutoML 的工作原理是什么?

AutoML 解决方案通过构建大量机器学习管道来处理预期任务,然后确定最佳选择。模型评估和模型选择是自动的,是为作业选择最佳模型的迭代过程的一部分。数据可视化工具使 AutoML 流程更加易于使用。

AutoML 和传统机器学习的区别在于,AutoML 几乎可以自动执行机器学习管道的每个阶段。传统管道耗时、占用大量资源且易于出现人为错误。相比之下,AutoML 在技术上的进步可提供更高效率和更好的结果。

典型的机器学习管道包括以下步骤:

数据准备和预处理

数据准备是收集原始数据并将其集成到训练数据集中的过程。数据准备有助于确保训练数据没有偏见,这是建立成功模型的关键:准确的数可提供准确的预测和洞察分析。随着企业将 AI 系统与专有数据存储关联在一起(例如通过检索增强生成 (RAG)),数据准备对于 AI 的可靠实施至关重要。

用户将 AutoML 平台与训练数据源(最好是包含可直接用于训练的数据的大型数据集)连接起来。数据准备阶段在部署 AutoML 解决方案之前进行。

AutoML 解决方案用于进一步预处理和清理数据。更彻底的数据预处理可以提供更好的 AI 模型性能。

监督学习和半监督学习任务手动构建模型时,必须手动标记训练数据。必须根据模型的预期用例选择特征和输出。AutoML 解决方案可以代表用户处理特征工程,以选择最有可能提高模型性能的数据特征。

特征工程

数据特征或变量是机器学习模型用于做出决策和预测的数据集的属性。例如,对于为识别植物种类而建立的计算机视觉模型,数据特征可能包括叶子的形状和颜色。

特征工程是数据科学家从输入数据中提取新信息并为机器学习做准备的转换过程。良好的工程设计和特征选择可以确定可接受和高质量模型性能之间的差异。

自动化特征工程自动执行深入了解特征空间、填充缺失值和选择要使用的特征的过程。手动构建单个特征可能需要数小时,而达到最低精度分数(更不用说生产级精度基线了)所需的特征数量可能达到数百个。自动化特征工程将这一阶段从几天缩短到几分钟。

除了效率优点之外,自动化特征效率还提高了 AI 的可解释性,这对于医疗保健或金融等受到严格监管的行业非常重要。通过发现新的组织 KPI,更高的特征清晰度使得模型更令人信服且更切实可行。

模型选择、超参数调整和模型训练

哪种类型的模型最适合预期用例?对于传统的机器学习,模型选择要求专家了解不同 AI 模型类型及其各自的功能和局限。

AutoML 工具通过使用一系列算法和超参数配置同时自动构建和训练多个模型,从而改进了传统流程。许多 AutoML 解决方案将多个模型组合在一起,这一过程称为集成学习

神经架构搜索 (NAS)

构建深度神经网络时最复杂、最易出错且最耗时的任务之一是创建神经网络架构。高级任务需要具有复杂超参数配置的多层网络。

神经网络架构搜索 (NAS) 将此过程自动化,从而减少了所花费的时间和出错的可能性。通过使用高级算法,NAS 根据上下文和数据集来确定最佳架构。NAS 的最新进展侧重于开发更有效的技术以降低相关的计算成本。

超参数优化

超参数是指导模型学习过程的规则。与模型在训练期间更新的内部参数不同,超参数位于模型外部,由数据科学家配置。神经网络结构也由超参数定义。

在小规模数据建模中,超参数可通过试验和试错来进行手动配置和优化。但对于深度学习应用,超参数的数量却呈指数增长。借助自动超参数优化,团队可进行迭代和试验,以发现不同特征和模型中的最佳超参数。

超参数调整通过贝叶斯优化等高级算法自动进行。自动化超参数调优使数据科学家能够专注于机器学习过程中的创建模型的原因,而不是如何 创建模型分析团队可以专注于优化指定用例的模型,例如,尽量减少医学检测中的假阴性。

验证和测试

数据科学家需要在训练期间验证机器学习算法的进度。训练后,将使用新数据测试模型,以在实际部署之前评估其性能。该模型的性能通过混淆矩阵、F1 分数、ROC 曲线等指标来评估。

训练完成后,AutoML 工具会测试每个模型,以确定哪个模型在训练和测试数据集上表现最佳,然后自动选择表现最好的模型进行部署。

模型部署

模型创建只是产品时间线中的第一步。已完成的模型需要提供给用户,监控性能并随着时间的推移进行维护,帮助确保可靠性和准确性。如果没有自动化,开发团队必须编写脚本和构建系统来将模型集成到他们的运营中并将其交付给用户群。

许多 AutoML 解决方案都包含部署工具,用于实现无缝的实际集成。可通过网站、应用程序或 API 连接,将模型部署为可访问的服务。AutoML 平台可自动将模型部署到现有产品中,管理扩展、更新和版本控制并通过数据可视化提高可解释性。

AI 学院

成为 AI 专家

获取相关知识,以确定 AI 投资的优先级,从而推动业务增长。立即开始观看我们的免费 AI 学院视频,引领 AI 在组织中的未来应用。

AutoML 用例

各种各样的 AutoML 工具意味着该技术可以应用于广泛的机器学习任务,包括:

  • 分类

  • 回归

  • 计算机视觉

  • 自然语言处理

分类

分类是将数据输入分配到指定类别的机器学习任务。预测模型使用输入数据特征来预测正确的标签或输出。AutoML 系统可以构建和测试一系列算法(例如,随机森林和支持向量机 (SVM))以处理表格数据。

AutoML 工具可自动检测标记数据集中的模式,并可以为欺诈检测和垃圾邮件筛选等常见分类任务设计模型。

回归

机器学习中的回归是使用历史数据预测未来值的挑战。线性回归根据一个或多个自变量预测因变量的值,例如,使用风险分析或市场预测逻辑回归预测未来事件的概率,例如患者感染疾病的可能性,而不是离散值。

AutoML 简化了在输入变量与目标变量之间建立关系的过程,尤其对于复杂的多变量任务。

计算机视觉

计算机视觉是使用计算机处理视觉数据,例如图像和视频。AutoML 系统可以生成适用于基于视觉的分类任务的模型,包括对象检测、图像分类和智能光学字符识别。用例可以涵盖内容审核和过滤、图像标记和其他相关任务。

AutoML 系统还可以微调模型,以用于更高级的计算机视觉环境,例如自动驾驶汽车。

自然语言处理 (NLP)

自然语言处理 (NLP) 使 AI 系统能够解释文本输入,例如用户提示和法律文件。聊天机器人创建、多类别和多标签文本分类、客户情绪分析、命令实体识别和语言翻译都是可以使用 AutoML 轻松处理的复杂 NLP 任务的示例。

数据科学家可以使用 AutoML 创建自定义模型,而这些模型会自动进行优化,以便在预期用例中实现强大的性能。否则,在手动构建 NLP 模型时,数据科学家必须从头开始,或者必须以以前的模型为基础,而这些模型的性能可能不如量身定制的自动生成模型。

AutoML 限制

虽然 AutoML 为 AI 开发人员提供了诸多便利,但它并不能完全取代人类的知识、体验、技能和创造力。AutoML 的局限性包括:

  • 成本高昂:任务越艰巨,相应的模型就须越先进。将 AutoML 技术应用于创建大型复杂模型时,其成本可能会迅速失控。

  • 缺乏可解释性AutoML 生成的模型有时会陷入“黑匣 AI”的陷阱,在这种陷阱中,模型的内部运作方式模糊不清。人类开发人员可以构建根据可解释 AI 原则设计的模型,但 AutoML 解决方案无法保证这一点。

  • 过拟合的风险:过拟合(经过训练的模型过于接近其训练数据,并且无法将其学习转移到真实世界的数据)可以通过人工干预和仔细监控学习过程来缓解。

  • 有限控制:开发人员为了实现自动化的效率而牺牲控制权。在需要高度定制模型的特殊情况下,AutoML 解决方案可能难以提供合适的模型。

  • 数据依赖:AI 模型的强大程度取决于其训练数据。如果没有提供高质量的数据,人造模型和 AutoML 创建的模型都无法良好运行。

AutoML 工具

AI 模型创建者可以轻松使用各种各样的 AutoML 工具。选项包括:

  • AutoKeras:一个基于 Keras 库和 TensorFlow 的开源工具。

  • Auto-PyTorch:一种 AutoML 解决方案,旨在自动执行使用 PyTorch 创建的机器学习项目。

  • Google Cloud AutoML:可在其机器学习云平台上使用 Google 的 AutoML 解决方案。

  • Lale1一个开源半自动化 Python 库,可与 scikit-learn 管道无缝集成。

  • Microsoft Azure AutoML:使用 Microsoft Azure 的开发人员可以从其 AutoML 功能中受益。

  • Auto-Sklearn:基于 scikit-learn 库的开源 AutoML 平台。

脚注

1. 半自动化数据科学库,Hirzel 等人,IBM/lale,2024 年 8 月 28 日

 

相关解决方案
IBM watsonx.ai

使用面向 AI 构建器的新一代企业级开发平台 IBM watsonx.ai,可以训练、验证、调整和部署生成式 AI、基础模型和机器学习功能。使用一小部分数据,即可在很短的时间内构建 AI 应用程序。

了解 watsonx.ai
人工智能 (AI) 解决方案

借助 IBM 业界领先的人工智能专业知识和解决方案组合,让人工智能在您的业务中发挥作用。

深入了解 AI 解决方案
AI 咨询与服务

通过增加 AI 重塑关键工作流程和运营,最大限度提升体验、实时决策和商业价值。

深入了解人工智能服务
采取后续步骤

一站式访问跨越 AI 开发生命周期的功能。利用用户友好型界面、工作流并访问行业标准 API 和 SDK,生成功能强大的 AI 解决方案。

深入了解 watsonx.ai 预约实时演示