IBM LinuxONE 上的 AI 集成加速器
与您的数据共置的高性能 AI 推理
阅读博客
植物生长、AI 执行分析和安全防护罩的插图

集成式 AI 加速器是 IBM® Telum 处理器的一项功能。这是一个片上处理单元，具有内存一致性，并像任何其他通用核心一样直接连接到结构。它通过共置来最大限度地减少 AI 和数据之间的延迟，从而提高 AI 推理性能。

IBM Telum 芯片专为 IBM® Z 和 LinuxONE 系统设计，与 IBM® z15 相比，每个插槽的性能增长超过 40%1。它引入了专用的片上 AI 加速器，确保稳定的低延迟和高吞吐量推理能力。该加速器简化了软件编排和库的复杂性，而经加速的 AI 处理器则改变了企业的 AI 集成，在混合云环境中以无与伦比的性能提供实时场差分析。
功能 Telum 是下一代 LinuxONE 系统的中央处理器芯片。了解有关 IBM Telum 的 AI 加速器架构、微架构、系统堆栈集成、性能和功耗的更多信息。 阅读有关 LinuxONE 下一代微处理器的信息
增强实时洞察能力

该加速器可保持内存一致性，并直接连接到架构，类似于其他通用内核，使其能够支持低延迟推理，同时满足系统的交易率。此功能可支持企业将实时洞察与卓越的性能相结合。
克服 AI 工作负载的挑战

AI 与企业工作负载的整合经常会因为平台运行时吞吐量较低而遭遇阻碍。但是，片上 AI 加速器可以提供高吞吐量，在 32 芯片系统中，其推理能力超过 200 TFLOPS2。
增强 AI 性能

Telum 芯片包括片上 AI 加速，可提高推理速度和规模。在一家全球银行的欺诈检测模型中，与通用内核相比，AI 加速器实现了 22 倍的加速，每秒推理 11.6 万次，延迟仅为 1.1 毫秒。扩展至 32 个芯片可维持 1.2 毫秒的低延迟，同时每秒执行超过 350 万次推理3。
用例 欺诈检测

通过克服与平台外评分引擎相关的网络延迟和可扩展性限制，直面实时交易评分的挑战。这可以显著提高交易安全性，提高成功防范欺诈的交易比例。

 医学影像

使用计算机视觉和深度学习图像分析模型快速处理和验证医疗记录，从而实现近乎实时的保险索赔验证。这种方法优化了核心整合，同时提高了处理速度和效率。
ISV 应用程序

IBM 正与 IBM® LinuxONE 生态系统合作，帮助 ISV 提供解决方案，以应对当今的 AI、可持续发展和网络安全挑战。

深入了解专为金融和医疗保健机构量身定制的两个创新解决方案：用于实时预防欺诈的 Clari5 Enterprise Fraud Management on IBM LinuxONE 4 Express，以及用于大规模高级 AI 解决方案的 Exponential AI 的 Enso Decision Intelligence Platform on LinuxONE。
Clari5

Clari5 Enterprise Fraud Management Solution on IBM LinuxONE 4 Express 为金融机构提供了强大的决策引擎，可实时预防欺诈。它旨在监控、检测和影响交易，确保合规，并提高生产力，同时提供前所未有的速度和可扩展性。
Exponential AI

Exponential AI 的 Enso Decision Intelligence Platform on LinuxONE 提供了用于大规模构建、训练、编排和管理近乎实时的 AI 解决方案的尖端功能。该平台提供由 Exponential AI 开发的智能自动化解决方案，以应对领先的国家医疗保险支付机构在复杂交易环境中面临的挑战。
采用 Telum 的软件
支持模型开发能力 TensorFlow

TensorFlow 是一款开源机器学习框架，为模型开发、训练和推理提供了一整套工具。它拥有丰富、强大的生态系统，并与 Linux 上运行的 LinuxONE 环境兼容。

 深入了解 TensorFlow 和 TensorFlow Serving
高效的机器学习 IBM SnapML

IBM SnapML 库专为热门机器学习模型的高速训练和推理而设计。它利用 IBM Integrated Accelerator for AI 来增强随机森林、极度随机树和梯度提升机模型的性能。作为 IBM Z 和 LinuxONE 的 AI 工具包以及 IBM CloudPak for Data 的一部分提供。

 深入了解 IBM Snap Machine Learning
优化推理 Triton Inference Server

Triton Inference Server 是 Nvidia 开发的开源模型服务器，支持 CPU 和 GPU 设备上的模型推理。它广泛应用于各种平台和架构，包括 s390x (Linux on Z)。具体来说，在 Linux on Z 上，Triton 可以利用 AI 框架来同时使用 SIMD 架构和 IBM Integrated Accelerator for AI，从而优化性能。

 深入了解 Triton Inference Server
增强数据科学家的能力 IBM Z Deep Learning Compiler

IBM Z Deep Learning Compiler 是一款功能强大的工具，可支持数据科学家使用熟悉的工具和框架开发深度学习模型。可以将这些模型部署到任务关键型数据所在的 Linux on IBM Z 上。该编译器有助于现有模型快速轻松地利用全新 Telum 处理器的 AI 集成加速器。

 深入了解 IBM Z Deep Learning Compiler
可移植模型格式
开放神经网络交换

开放神经网络交换 (ONNX) 是一种用于表示机器学习模型的开放格式。ONNX 定义了一组通用运算符（机器学习和深度学习模型的构建块）以及一种通用文件格式，可支持 AI 开发人员将模型与各种框架、工具、运行时和编译器结合使用。

 深入了解开放神经网络交换 (ONNX)
集成解决方案

探索为 IBM Z 和 LinuxONE 系统量身定制的无缝 AI 集成解决方案。

 提升 AI 性能

AI Toolkit for IBM Z and LinuxONE 包含一系列热门开源 AI 框架，并由 IBM Elite Support 提供支持。它经过优化，可使用 IBM Z Integrated Accelerator for AI 显着提高开源和 IBM 非授权 AI 程序的性能。

 深入了解 AI Toolkit for IBM Z and LinuxONE 优化 AI 工作负载

AI Bundle for IBM LinuxONE 提供专用的 AI 硬件基础架构和经优化的核心软件堆栈。通过利用 IBM Telum 处理器和 AI 集成加速器的强大功能，企业可以对大容量工作负载进行大规模推理。

 深入了解 AI Bundle for IBM LinuxONE 简化数据管理：

IBM Cloud Pak for Data 是一套模块化的集成软件组件，旨在分析、整理和管理数据。它通过协助构建连接混合云环境中分布的孤立数据的 Data Fabric 来提高生产力，并降低复杂性。

 了解 IBM Cloud Pak for Data 阅读红皮书
采取后续步骤

安排与 IBM LinuxONE 代表进行 30 分钟的免费会议，以便了解有关 AI on IBM LinuxONE 的更多信息。

 开启 AI on LinuxONE 之旅
更多探索方式 文档 支持 IBM Redbooks 支持与服务 全球金融 社区 开发者社区 合作伙伴 资源
脚注

1 与 IBM z15 处理器相比，IBM z16 上的 IBM Telum 处理器每插槽性能增长超过 40%。

免责声明：结果基于对 IBM Telum 处理器和 IBM z15 处理器提供的总处理能力的工程分析，以及 IBM 大型系统性能参照 (LSPR) 比率，发布于：https://www.ibm.com/support/pages/ibm-z-large-systems-performance-reference。一般用途的每个处理器插槽的核心数量会因系统配置而异。总处理能力因工作负载、配置和软件级别而异。

2 片上 AI 加速旨在增加芯片上所有内核共享的高达 5.8 TFLOPS 的处理能力。

免责声明：结果为单个片上 AI 引擎可执行的 16 位精度每秒浮点运算 (FLOPS) 的最大理论次数。每个芯片均有一个片上 AI 引擎。

3 免责声明：性能结果是根据 IBM 内部测试推断而得，这些测试在 Ubuntu 20.04（SMT 模式）上配备 48 个内核和 128 GB 内存的 IBM LinuxONE Emperor 4 LPAR 中运行本地推理操作，并使用合成信用卡欺诈检测模型 (https://github.com/IBM/ai-on-z-fraud-detection) 和 Integrated Accelerator for AI。该基准测试使用 8 个并行线程运行，每个线程连接到了不同芯片的第一个内核。lscpu 命令用于识别内核芯片拓扑结构。采用的规模为一批 128 个推理操作。结果会有所相同。