加速 IBM Z 和 IBM LinuxONE 上的 PyTorch 推理

2024 年 11 月 18 日

作者

Tina Tarquinio

VP, Product Management, IBM Z and LinuxONE

Elpida Tzortzatos

IBM Fellow and CTO of z/OS and AI on IBM Z and LinuxONE

PyTorch 的兴起:AI 开发转型

过去十年,我们见证了 AI 引领的企业发生的重大变革。大数据和专业硬件的兴起,让曾经仅限于一流大学精英研究团队使用的强大 AI 模型,也能为大众所用。深度神经网络为这种民主化提供了动力,而 PyTorch 和 TensorFlow 等深度学习框架则则为这些模型的开发提供了帮助。PyTorch 已成为 AI 领域的重要参与者,其独特的优势使其得到广泛应用和采纳。

小球在轨道上滚动的三维设计

最新的 AI 新闻 + 洞察分析

在每周的 Think 时事通讯中,发现专家精选的有关 AI、云等的洞察分析和新闻。 

使用适用于 AI 的 IBM Z Telum 片上加速器进行 PyTorch 加速

硬件 AI 加速器的最新进展为有效使用 PyTorch 等深度学习框架提供了所需的动力。这些硬件改进可以加速更复杂的模型在大型数据集上的计算,从而显著加快实验和部署速度。随着 AI Toolkit for IBM Z and LinuxONE 的最新持续交付更新,我们通过一个新的容器增加了对 PyTorch 的支持:IBM Z Accelerated for PyTorch。这包含 PyTorch 的开发和推理环境。它将使用新的推理加速功能,以 IBM Integrated AI Accelerator 为透明目标,为传统机器学习和深度学习以及编码器 LLM 模型提供显著加速。这些功能有助于加速快速 PoC 实验,并在 IBM® Z 和 LinuxONE 上构建 AI 解决方案。

专家荟萃 | 播客

解码 AI:每周新闻摘要

加入我们的世界级专家团队,包括工程师、研究人员、产品负责人等,他们将穿透 AI 的喧嚣,为您带来最新的 AI 新闻和见解。

什么是 PyTorch?

PyTorch 是一个开源机器学习框架,为构建深度学习模型提供了一个灵活的平台。PyTorch 由 Facebook 的 AI 研究实验室于 2016 年发布,允许开发人员通过其动态结构轻松创建和修改模型,并提供即时反馈。这种适应性使其对想要尝试新想法的研究人员和开发人员特别有吸引力。

PyTorch 在当今 AI 框架中的重要性

PyTorch 在 AI 生态系统中广受欢迎。其友好的用户界面和强大的功能使其成为学术研究和业务应用程序的首选框架。PyTorch 通过提供简化构建和训练复杂模型过程的工具,在推进深度学习方面发挥了至关重要的作用。它的灵活性允许开发人员尝试不同的架构和技术,从而开发出更具创新性的解决方案。自动微分和直观的张量操作等功能使实现高级算法变得更加容易,从而加快了研究和应用的进展。

PyTorch 影响最大的领域之一是大型语言模型 (LLM) 的开发。这些模型可以理解并生成类似人类的文本,彻底改变了自然语言处理。PyTorch 之类的框架促进了这些模型的创建和微调,使研究人员能够更高效地深入了解新的架构和训练方法。

值得注意的是,许多最新的先进语言模型,包括大型科技公司开发的语言模型,都是通过 PyTorch 实现的。该框架处理海量数据的能力及其对分布式训练的支持,使得能够理解语言上下文和细微差别的模型得以扩展。

借助通过 AI Toolkit for IBM Z and LinuxONE 提供的 IBM Z Accelerated for PyTorch,我们的客户可以使用 PyTorch 模型部署,同时获得 IBM Z 的可靠性、可用性和可扩展性,以及 Telum 片上加速器的推理加速功能。这种推理加速对客户端是透明的,因为容器被设计为透明且自动地利用 Telum 的神经网络处理辅助 (NNPA) 指令。

客户现在可以将这一功能用于欺诈检测、索赔处理、自然语言处理、图像检测等高价值用例。这些模型可以以原生 PyTorch 格式部署,也可以导出为 ONNX 等针对推理进行了高度优化的格式。

无论 PyTorch 模型是部署在 z/OS 上,还是部署在 IBM Z 的 Linux 环境中,将这些模型与客户的任务关键型数据和应用程序托管在一起,都能帮助他们获得规模化的业务洞察力分析,同时继续满足最严格的服务级别协议。

AI Toolkit for IBM Z and LinuxONE

AI Toolkit for IBM Z and IBM® LinuxONE 旨在使我们的客户能够在其 z/OS 和 IBM LinuxONE 平台上部署和加速采用流行的开源 AI 框架。此 AI 工具包遵循严格的 IBM Secure Engineering 的流程,可审查和扫描开源 AI 服务框架以及经 IBM 认证的容器,从而检测安全漏洞并验证是否符合行业法规。客户还可以购买适用于 AI Toolkit for IBM Z and LinuxONE 的 IBM Elite Support

了解有关 AI Toolkit for IBM Z and IBM LinuxONE 的更多信息

了解您可以从 IBM Elite Support 中获得什么

相关解决方案
IBM watsonx.ai

使用面向 AI 构建器的新一代企业级开发平台 IBM watsonx.ai,可以训练、验证、调整和部署生成式 AI、基础模型和机器学习功能。使用一小部分数据,即可在很短的时间内构建 AI 应用程序。

了解 watsonx.ai
人工智能 (AI) 解决方案

借助 IBM 业界领先的人工智能专业知识和解决方案组合,让人工智能在您的业务中发挥作用。

深入了解 AI 解决方案
AI 咨询与服务

通过增加 AI 重塑关键工作流程和运营,最大限度提升体验、实时决策和商业价值。

深入了解人工智能服务
采取后续步骤

一站式访问跨越 AI 开发生命周期的功能。利用用户友好型界面、工作流并访问行业标准 API 和 SDK,生成功能强大的 AI 解决方案。

深入了解 watsonx.ai 预约实时演示