AI 在 IBM LinuxONE 上的应用

内置可扩展、高能效且安全可靠的 AI 系统
Telum II 处理器芯片

AI 驱动的性能和创新

人工智能 (AI) 正在重塑产业格局,企业亟需能高效安全处理 AI 工作负载的基础设施。

基于  IBM Telum  处理器的 IBM LinuxONE 系统,将 AI 加速单元直接集成至芯片,支持多 AI 模型的实时推理并实现微秒级延迟。这项高级功能与预测性 AI 和大语言模型相结合,支持企业直接在数据存储位置进行分析,为高级欺诈检测、风险分析和医学影像分析等任务关键型应用程序提供更快速、更深入的洞察分析。

实时 AI 洞察分析

片上 AI 加速器支持低延迟推理,并在交易发生时分析数据。内存一致性和直接结构访问消除了无缝 AI 执行的瓶颈。

提高 AI 吞吐量

在 IBM LinuxONE Emperor 5 上运行 OLTP 工作负载时,单个集成式 AI 加速器的推理吞吐量可媲美 13 核远程 X86 Server。1

提升 AI 性能

借助信用卡欺诈检测深度学习模型,IBM  LinuxONE  Emperor 5 每日可处理高达 4500 亿次推理操作,响应时间仅 1 毫秒。2

可扩展性不受影响

借助信用卡欺诈检测深度学习模型,IBM  LinuxONE  Emperor 5 每秒可处理高达 500 万次推理操作,响应时间低于 1 毫秒。3

适用于复杂工作负载的可扩展 AI

PCIe 卡 IBM® Spyre Accelerator 卡

IBM Spyre Accelerator 卡是一款 75W PCIe Gen 5x AI 加速器,配备 128 GB LPDDR5 内存,针对生成式 AI 和多模态 LLM 进行了优化。8 Spyre 搭载 32 个 (+2) 内核,每个内核 2 MB 暂存器,内核利用率 >55%,通过卡片和抽屉进行扩展,可支持企业在企业应用程序中高效执行复杂的 AI 推理。

将 IBM Spyre Accelerator 卡添加到 IBM LinuxONE 5,即可启用生成式 AI 等更多用例。

阅读有关 Spyre Accelerator 的博客
演示:在 IBM LinuxONE 上具备高性能的实时保险欺诈检测。

ISV 应用程序

IBM 正与 IBM® LinuxONE 生态系统合作,帮助 ISV 提供解决方案,以应对当今的 AI、可持续发展网络安全挑战。

深入了解专为金融和医疗保健机构量身定制的两个创新解决方案:用于实时预防欺诈的 Clari5 Enterprise Fraud Management on IBM® LinuxONE 4 Express,以及用于大规模高级 AI 解决方案的 Exponential AI 的 Enso Decision Intelligence Platform on LinuxONE。

深入了解 Clari5 深入了解 Exponential AI
采取后续步骤

安排与 IBM 代表进行 30 分钟的免费会议,以便了解有关 AI on IBM LinuxONE 的更多信息。

探索 IBM LinuxONE 5
AI 在 IBM LinuxONE 上应用的专题报告

阅读概述,了解 IBM LinuxONE 上的人工智能如何通过实时洞察和企业级性能推动业务增长与效率提升。 

阅读博客
IBM LinuxONE 5 获得巨大 AI 性能提升

阅读 Cambrian-AI 研究报告,探索 LinuxONE 5 的技术,以及适合这款企业级服务器的人工智能应用场景。

阅读 Cambrian-AI 报告
开启 AI on LinuxONE 之旅

深入了解规划人工智能应用场景的主要考量因素,了解 Telum 芯片的潜力,并掌握入门的后续步骤。

开启 AI 之旅
脚注

1 免责声明: 免责声明:性能结果基于 IBM 在 9175 型 IBM Systems Hardware 平台上开展的内部测试。OLTP 应用程序 与 PostgreSQL 均部署于该 IBM Systems Hardware 平台。信用卡欺诈检测 (CCFD) 组合式 AI 架构包含 LSTMTabFormer 两个模型。在 IBM Systems Hardware 上,在本地运行采用 IBM Z Deep Learning Compiler (zDLC) 编译的 JAR 文件并搭载 IBM Z Accelerated for NVIDIA Triton Inference Server 的 OLTP 应用程序,通过处理器核心与集成式 AI 加速器执行 AI 推理运算——与之对比的是,本地运行 OLTP 应用程序,同时在配备支持 AMX 的 CPU、运行基于 OpenVINO 运行时后端的 NVIDIA Triton Inference Server 的 X86 Server 上执行远程 AI 推理操作。两种场景均采用 Apache JMeter 5.6.3 工具模拟 64 个并发用户实施压力测试。IBM Systems Hardware 配置:单个 LPAR 运行 Ubuntu 24.04 系统,配备 7 个专用处理器核心 (SMT)、256 GB 内存及 IBM FlashSystem 9500 存储设备。网络适配器专用于 Linux 上的 NETH。X86 Server 配置:单台 X86 Server 运行 Ubuntu 24.04 系统,搭载 28 个主频 2.20 Emerald Rapids Intel Xeon Gold CPUs(启用超线程技术),配备 1 TB 内存、本地 SSD,启用 UEFI 极致性能模式,同时禁用 CPU P-State Control 与 C-States。结果可能有所不同。

2, 3  免责声明: 性能结果基于 IBM 在 9175 型 IBM Systems Hardware 平台上开展的内部测试推断得出。基准测试采用单线程运行本地推理操作,通过基于 LSTM 的合成信用卡欺诈检测模型调用 Integrated Accelerator for AI。测试批量大小为 160。IBM Systems Hardware 配置:单个 LPAR 运行 Red Hat Enterprise Linux 9.4 系统,配备 6 个处理器核心 (SMT) 及 128 GB 内存。结果可能有所不同。