CPU 与 GPU 在机器学习方面的对比

2025 年 1 月 15 日

8 分钟

作者

Josh Schneider

Senior Writer

IBM Blog

Ian Smalley

Senior Editorial Strategist

CPU 与 GPU 在机器学习方面的对比

与通用中央处理器 (CPU) 相比,强大的图形处理单元 (GPU) 通常是机器学习 (ML)、深度学习 (DL) 和神经网络等要求严格的人工智能 (AI) 应用技术的首选。

图形处理单元 (GPU) 具有数百到数千个处理内核,在训练机器学习模型所需的并行处理和浮点计算类型方面表现优异。不过,在某些类型的 AI 模型中,CPU 也可以胜任,尤其是对于较轻的工作负载。

GPU 最初是为图形渲染而设计的,通常被称为“显卡”。但这些强大的处理器的功能远不止于此。高速计算能力和先进的并行处理功能使得 GPU 在机器人、高性能计算 (HPC)数据中心乃至人工智能等行业中备受青睐。

虽然中央处理单元 (CPU) 的功能不如 GPU 强大,但它是任何计算机系统中最关键的组件。CPU 通常被称为“计算机的大脑”,它可处理所有高级计算机管理任务,包括管理 GPU(如果有)。

虽然大多数机器学习任务确实需要更强大的处理器来解析大型数据集,但许多现代 CPU 足以满足部分小规模机器学习应用的需求。虽然 GPU 在机器学习项目中更受欢迎,但需求增长可能导致成本攀升。此外,GPU 所需的能源比 CPU 更多,以致推高能源成本并加剧环境影响。

为机器学习项目选择处理器时,CPU 可能更具成本效益,尽管大多数中高级的 AI 项目都能从 GPU 的并行处理中获益。

小球在轨道上滚动的三维设计

最新的 AI 新闻 + 洞察分析

在每周的 Think 时事通讯中,发现专家精选的有关 AI、云等的洞察分析和新闻。 

了解机器学习

在计算机科学中,机器学习 (ML) 是对某些类型算法的研究、实践和应用,旨在利用计算机模仿人类学习自主执行任务的方式。具有机器学习能力的计算机可以通过重复接触更多数据来逐渐提高输出精度。

机器学习算法可以分为三个基本组成部分:决策过程、误差函数和模型优化过程。

  1. 决策过程:机器学习系统旨在做出明智的决策,以高精度达成理想的结果,且几乎无需人工干预。决策过程会在一定程度上响应输入数据,并以预测或分类的形式作出回应。
  2. 误差函数:当机器学习算法做出决定后,它会评估自己输出的精度。误差函数可以根据已知或先前识别的错误检查输出,确定输出是否达到令人满意的精度阈值。
  3. 模型优化过程:机器学习算法的基本特征是,能够从错误中“学习”,并自动调整决策过程,以提供更准确的结果。模型优化过程使用模型训练材料中的数据点来持续做出和评估预测。通过重复此过程,模型可以进行自我校准,从而随着时间的推移提高精度。

机器学习的类型

根据所采用的算法类型和使用的数据规模,机器学习可分为三种主要类型。虽然“深度学习”一词通常与“机器学习”交替使用,但深度学习是神经网络的一个子集,而神经网络是机器学习的一个子集。

这三个术语都可以视作人工智能 (AI) 的子集,并且都隶属于机器学习的范畴;然而,它们之间存在细微差异:

  • 机器学习:经典的机器学习使用算法分析历史,首先找出模式,然后提供预测,几乎不需要人工干预。这种类型的机器学习需要大量且不断更新的数据集,以提高其预测所需或准确结果的能力。
  • 神经网络:神经网络经过海量数据的训练,并使用节点来模仿人脑的决策过程。在训练神经网络时,算法会将输入数据与标准化数据集比对,根据潜在误差验证预测结果的可靠性。
  • 深度学习:神经网络的演变,术语“深度学习”是指一种使用具有三层或更多层决策节点的神经网络模型的算法 AI。

机器学习用例

AI 技术的最新进展使机器学习应用程序在行业和日常生活中得到普及。一些常见的机器学习用例包括:

  • 语音识别:计算机语音识别使用机器学习来识别自然语音模式并解读语音命令的隐含意义。语音识别是智能扬声器和 Siri 等数字助理等工具背后的驱动技术。
  • 客户服务:AI 客服聊天机器人等服务可利用机器学习来帮助消费者完成其客户旅程。示例包括虚拟代理电子商务网站上的应用、消息机器人以及诸如 Slack 和 Discord 等消息传递平台上的自动版主。
  • 推荐引擎:面对比以往更多的选择,AI 驱动的推荐引擎有助于整理信息,从而提供符合用户品味的高质量建议。Google 或 Bing 等搜索引擎依靠机器学习来提供更好的搜索结果。Spotify 或 Netflix 等媒体平台则使用 ML 根据消费者的过往偏好来推荐新节目或歌曲。
  • 欺诈检测:银行和其他金融机构可利用机器学习通过欺诈检测来发现可疑交易。监督学习可以通过使用有关已知欺诈交易的信息来训练模型。异常检测可以识别看起来不典型且应该进一步调查的交易。
AI 学院

利用混合云实现 AI 就绪

本课程由 IBM 资深思想领袖带领,旨在帮助企业领导者获得所需的知识,以便划分可以推动增长的 AI 投资的优先级。

CPU 和 GPU 之间的主要区别

CPU 和 GPU 之间的主要区别在于顺序处理与并行处理。CPU 设计为按顺序处理指令和快速解决问题。GPU 专用于可从并行计算获益的大型任务。由于 GPU 能够更好地将重大问题分解为可以同时解决的较小问题,因此,GPU 可以提高机器学习密集型应用的速度和效率。

CPU 的主要特点

CPU 设计为执行基本计算、媒体播放和网页浏览等一般计算任务。作为计算机的“大脑”,它们还处理计算机硬件和操作系统顺利运行所需的所有后台进程和功能。

功能:

  • 标准组件包括一个或多个用于处理数据的逻辑内核、内存单元、CPU 时钟和控制单元。由于 CPU 按顺序处理任务,因此,能够访问更多内核,可以使 CPU 通过将问题分散到多个处理器来执行多任务。
  • CPU 可按顺序处理数据,虽可高速逐个击破问题,但其容量有限。海量数据集可能会导致严重的瓶颈。
  • CPU 具有相对较少的高速运行的内核。

优点:

  • CPU 专为通用用例而设计,可以处理常见应用所需的大多数类型的计算。
  • CPU 是计算设备的基础部件,因此很常见、成本低且易于编程。

缺点:

  • 即使有更多的内核,在面对某些问题时,顺序 CPU 的运行也总是比 GPU 慢,而并行计算正是优化处理速度的唯一方法。

GPU 的主要特点

GPU 最初是为渲染图形而设计的,但自从 Nvidia 于 2006 年推出 GPU 编程平台 CUDA 以来,开发人员就为这些强大的处理器构建了无数应用程序。除了 CPU 之外,还可以使用 GPU 来增强系统渲染高质量视频内容或处理大型复杂数据集的能力。

功能:

  • GPU 设计有更多的内核,运行速度较慢,但经过优化可实现并行处理。GPU 将复杂问题分解为数千个较小的任务,以便同时处理而非串行处理。

优点:

  • GPU 的并行处理能力可以对指令进行批处理,能够出色地运行利基计算。虽然 GPU 内核比 CPU 内核慢,但累积并行处理可以比顺序处理更快地解决大型复杂问题。
  • 尽管 GPU 的编程比 CPU 更复杂,但它们针对流行的机器学习编程语言和框架(例如 Python 和 Tensorflow)进行了很好的优化。

缺点:

  • GPU 比 CPU 更昂贵且更难获取。
  • 对 GPU 进行编程需要一些专业知识。

CPU 和 GPU 之间的三个重要区别

CPU 和 GPU 之间的差异主要归结为三个方面:架构、处理速度和可访问性。

  1. 架构:CPU 设计有较少的内核,可按顺序处理数据。GPU 通常具有数百至数千个专为并行处理而设计的内核。
  2. 处理速度:CPU 旨在快速处理一般和顶级任务,但难以处理极大型数据集,例如机器学习中使用的数据集。GPU 经过专门调整,可用于处理此类大型数据集。在大多数机器学习应用程序中,GPU 的性能明显优于 CPU。
  3. 可访问性:CPU 比 GPU 更常见,获取和使用成本更低。GPU 还需要进行更专门的编程训练。不过,GPU 在机器学习和 AI 用例中很常见,并且有强大的库和社区提供支持。

CPU 与 GPU 在机器学习应用方面的对比

CPU 和 GPU 都是处理单元。它们都能够处理类似任务,并根据特定应用的需求提供不同的性能等级。虽然两者都可以被视为单个单元,但它们都是为不同类型的操作设计和布置的不同组件的集合。

在 GPU 之前,CPU 是所有计算机系统中最重要、最基本的部件,从笔记本电脑和智能手机到卫星和超级计算机都是如此。CPU 如同隐形的管理器,可读取和解读输入与请求,并发出指令进行计算和监督计算机系统的全部操作。

尽管 GPU 功能更强大,但 GPU 并不用于替代 CPU。相反,GPU 作为协处理器用于增强计算机系统的功能。在使用 GPU 的系统中,CPU 在管理 GPU 任务和所有其他处理任务方面仍然发挥着重要作用,这些任务虽然不是资源密集型,但仍然是计算机功能不可或缺的一部分。

为什么 GPU 最适合机器学习

在大规模数据处理中,使用性能不足的 CPU 经常会造成令人沮丧的瓶颈。机器学习算法是计算机科学和数据科学的交叉领域,通常依赖 GPU 来加快用于深度学习模型训练的大规模数据集处理,同时减少延迟。这是因为,即使是多核 CPU,处理数据的方式也与 GPU 不同。

从结构上看,GPU 内核的数量通常可达数千个,而大多数消费级 CPU 仅包含一个、两个、四个或六个内核。服务器级 CPU 或许包含数百甚至数千个内核,但内核数量本身无法决定性能优劣。

多核 CPU 比单核 CPU 更擅长多任务处理,但仍需按顺序处理数据。GPU 通过称为“并行计算”的过程,以不同的方式处理数据。GPU 并非按顺序处理任务,而是将问题分解为多个部分,并利用其众多内核同时处理问题的不同部分。

对于要求严苛的任务,如实现 AI 系统的计算机视觉生成式 AI 程序,并行计算的性能远超顺序处理。

具有出色的并行处理能力的 GPU 仍然是 AI 项目的关键组件。具体来说,在机器学习中,GPU 用于缩短机器学习应用程序的训练时间,并执行机器学习系统进行推理和产生有用结果所需的张量数学和矩阵乘法。

相关解决方案
IBM Cloud Infrastructure Center

IBM Cloud Infrastructure Center 是一款兼容 OpenStack 的软件平台,用于管理 IBM zSystems 和 IBM LinuxONE 上的私有云基础架构。

深入了解 Cloud Infrastructure Center
IT 基础架构解决方案

发现专为企业混合云和 AI 策略设计的服务器、存储器和软件。

探索 IT 基础架构解决方案
云基础设施解决方案

查找适合企业的业务需求的云基础设施解决方案,并按需扩展资源。

云解决方案
采取后续步骤

利用 IBM 的混合云和 AI 就绪解决方案来实现企业基础设施转型。了解旨在保护、扩展和实现企业的现代化改造的服务器、存储和软件,或获取专家洞察分析,从而强化您的生成式 AI 战略。

探索 IT 基础架构解决方案 下载电子书