AI Toolkit for IBM Z and LinuxONE
使用 AI 工具包释放 IBM Z 和 LinuxONE 平台上流行开源 AI 程序的全部潜力
显示适用于 IBM Z 和 IBM LinuxONE 工作流程的 AI 工具包的扁平式插图

AI Toolkit for IBM® Z and LinuxONE 是一系列流行的开源 AI 框架，它们附带 IBM Elite Support 并适用于 IBM Z 和 LinuxONE 硬件。

虽然开源软件使 AI 更易于访问、更实惠且富于创新，但您需得到适当水平的支持才能成功实施这些框架。随着 AI Toolkit for IBM Z and LinuxONE 的推出，您可利用我们久经验证的支持产品在 z/OS® 和 LinuxONE 平台上部署和加速采用流行的开源 AI 框架。

此 AI 工具包由 IBM Elite Support 和 IBM Secure Engineering 组成，它们可用于审查和扫描开源 AI 服务框架以及经 IBM 认证的容器，从而检测安全漏洞并验证是否符合行业法规。

AI Toolkit for IBM Z and LinuxONE 预计于 2023 年第 4 季度正式发布。
优势
从容地进行部署

利用 IBM Elite Support 提供的高级支持，在需要时获得专家指导，以成功部署开源 AI 和 IBM 无保修软件。
提高性能

利用 IBM Z Integrated Accelerator for AI 大幅提升开源程序和 IBM 无保修 AI 程序的性能。
利用 AI 框架

利用深度学习和传统 ML 方法来创建和支持 AI 框架。
降低成本和复杂性

借助可免费下载的轻量级工具和运行时软件包，降低成本和复杂性，同时缩短上市时间。
性能优势

借助 AI Toolkit for IBM Z and LinuxONE 以通过开源方式实现创新。
加快欺诈检测的速度

通过在 IBM LinuxONE Emperor 4 上将您的应用程序与 Snap ML 进行共置，将数字货币交易的欺诈推理速度提高 85%。1
提高生物医学影像吞吐量

借助 IBM z16 单帧并搭配 Integrated Accelerator for AI 比单独使用 IBM z16 单帧时的生物医学影像数据推理（利用 Tensorflow 2.9.1）吞吐量高出 6.8 倍。2
改善生物医学影像推理

借助 IBM z16 多帧和 LinuxONE Emperor 4 并搭配 Integrated Accelerator for AI 比使用 x86 系统时的生物医学影像数据推理（利用 Tensorflow）吞吐量高出 2.5 倍。3
缩短欺诈响应时间

与在 x86 服务器上使用适用于 Nvidia Triton 的 ONNX Runtime 后端相比，在 IBM z16 多帧和 LinuxONE Emperor 4 上使用适用于 Nvidia Triton 的 ONNX-MLIR 后端来运行信用卡欺诈检测可将响应时间缩短 7 倍。4
提高客户交易预测的速度

与在 x86 服务器上使用 NVIDIA Forest Inference Library 来远程运行预测相比，在 IBM z16 多帧和 LinuxONE Emperor 4 上将应用程序和 Snap ML 库进行共置，可将客户交易预测的运行速度提高 3.5 倍。5
功能 与 TensorFlow 兼容

加快 TensorFlow 与 IBM Z Accelerated for Tensorflow 的无缝集成，从而在神经网络上开发和部署机器学习 (ML) 模型。

 加快 TensorFlow 推理 AI 框架集成

通过使用 IBM Z Accelerated for NVIDIA Triton Inference Server，在基于 GPU 或 CPU 的基础架构上部署来自任意框架的 ML 或 DL 模型，从而简化和标准化 AI 推理。

 Triton Inference Server 附带 TensorFlow Serving 的 ML 模型

利用 Tensorflow Serving（一种灵活、高性能的服务系统）的优势并借助 IBM Z Accelerated for Tensorflow Serving，在生产环境中帮助部署 ML 模型。

 TensorFlow Serving 利用 IBM zDLC 来编译模型

借助 IBM Z Deep Learning Compiler (IBM zDLC)，将 ML 模型转换为可在 z/OS 或 LinuxONE 上执行的代码。

 了解有关 IBM zDLC 的更多信息 运行 Snap ML

使用 IBM Z Accelerated for Snap ML 以通过 Snap ML 来构建和部署 ML 模型。Snap ML 是一种开源库，它可优化主流 ML 模型的训练和评分。

 IBM Snap Machine Learning
用例 自然语言处理

将 AI 的强大功能与 IBM Z 和 LinuxONE 的可扩展性和安全性相结合，从而处理和分析大量数据，以提供准确的分类和预测。使用片上加速器进行 AI 推理有助于提供实时 NLP 结果。

 欺诈检测和预防

将 AI 与 IBM Telum 处理器和集成加速器结合使用，从而以较低的延迟监控大量交易、更动态地根据各类欺诈（如信用卡欺诈）进行调整，同时实时阻止欺诈。

 将深度学习推理引入企业工作负载 (1:59) 反洗钱 (AML)

通过分析大型金融交易数据集，使用 Scikit-learn 或 Snap ML 来训练 ML 模型识别洗钱模式。利用 IBM Z 和 LinuxONE 的高性能、数据压缩和加密功能，而这些功能对 AML 应用程序至关重要。
资源 实时应对欺诈场景

了解如何使用可调整且一致的 AI 解决方案来检测、预防和应对欺诈。

解决反洗钱问题

深入了解如何使用 AI 应用程序识别各种洗钱模式，并实时防止其发生。

图像和自然语言处理

了解如何实现不打折扣的模型准确性和极低的延迟，以便将推理功能集成到十分看重快速响应时间的交易处理和数据服务应用程序中。
相关产品 IBM Machine Learning for z/OS

了解 AI 工具包如何帮助您在 z/OS 上部署 AI 模型从而实现大规模的实时业务洞察。

IBM® Cloud Pak for Data on IBM Z

了解 AI 工具包如何在 Linux® on Z 和 LinuxONE 上提供基于 DIY 的模型创建和服务方法。

浏览 AI on IBM Z
采取后续步骤

借助 AI Toolkit for IBM Z and LinuxONE，开启您的 AI 之旅。安排一对一通话，获取您入门所需的答案。

 AI on IBM Z and LinuxONE 之旅
更多探索方式 文档 支持 合作伙伴 资源 社区 开发者社区 灵活定价 全球融资 红皮书
脚注

1免责声明：性能结果基于 IBM 内部测试，且这些测试在 IBM LinuxONE Emperor 4 上使用了 Scikit-learn Random Forest 模型和 Snap ML v1.9.0（技术预览版）后端进行推理，同时还在与之进行比较的 x86 服务器上使用 Scikit-learn v1.0.2 后端进行推理。训练该模型所用的公共数据集位于 https://www.kaggle.com/datasets/ellipticco/elliptic-data-set。BentoML v0.13.1 (https://github.com/bentoml/BentoML) 在这两个平台上被用作模型服务框架。IBM LinuxONE Emperor 4 配置：位于 LPAR 中的 Ubuntu 20.04，同时附带 2 个专用内核和 256 GB 内存。x86 服务器配置：采用 2.80 GHz 9 核 IceLake Intel® Xeon® Gold 6342 CPU 并开启超线程功能的 Ubuntu 20.04，同时附带 1 TB 内存。

2 免责声明：性能结果基于 IBM 内部测试，且这些测试运行了 Tensorflow 2.9.1 和 IBM-zdnn-plugin (https://ibm.github.io/ibm-z-oss-hub/containers/index.html) 以实现针对医学影像语义分割的推理 (https://github.com/karolzak/keras-unet#usage-examples)。这些测试在本地运行，且具体比较方法为：一次发送 30 个影像并在单个芯片上的 5 个内核中运行 TensorFlow 2.9.1；以及在单个芯片上的 5 个内核中运行 TensorFlow 2.9.1，并通过 IBM-zdnn-plugin 使用 AI 集成加速器。IBM Machine Type 3932 配置：1 个 LPAR，其中配备 10 个专用 IFL、128 GB 内存和 Ubuntu 22.04。结果可能有所不同。

3 免责声明：性能结果基于 IBM 内部测试，且这些测试运行了 Tensorflow 2.12.0 和 IBM-zdnn-plugin (https://ibm.github.io/ibm-z-oss-hub/containers/index.html) 以实现针对医学影像语义分割的推理 (https://github.com/karolzak/keras-unet#usage-examples)。这些测试通过 wrk 工作负载驱动程序 (https://github.com/wg/wrk) 远程运行，而该驱动程序可针对 TensorFlow 2.12.0 服务功能发送单个图像。IBM Machine Type 3931 配置：1 个 LPAR，其中配置 12 个专用 IFL、128 GB 内存和 Ubuntu 22.04。x86 服务器配置：采用 2.80 GHz 12 核 IceLake Intel® Xeon® Gold CPU 并开启超线程功能的 Ubuntu 22.04，同时附带 1 TB 内存。结果可能有所不同。

4 免责声明：性能结果基于 IBM 内部测试，且这些测试在 IBM Machine Type 3931 上使用了 Nvidia Triton 和 ONNX-MLIR 后端 (https://github.com/IBM/onnxmlir-triton-backend) 进行推理，同时还在与之进行比较的 x86 服务器上使用适用于 Nvidia Triton 的 ONNX Runtime 后端进行推理。CCFD 模型在合成数据集上进行训练。作为模型服务框架，NVIDIA Triton 23.05 (https://github.com/triton-inference-server/server) 在这两个平台上进行使用，并通过 gRPC 基准测试工具 ghz (https://github.com/bojand/ghz) 来驱动。IBM Machine Type 3931 配置：1 个 LPAR，其中配备 6 个专用 IFL、128 GB 内存和 Ubuntu 22.04。x86 服务器配置：采用 2 个 2.80 GHz 24 核 IceLake Intel® Xeon® Gold CPU 并开启超线程功能的 Ubuntu 22.04，同时附带 1 TB 内存。

5 免责声明：性能结果基于 IBM 内部测试，且这些测试在 IBM Machine Type 3931 上使用了 Random Forest 模型和 Snap ML v1.12.0 后端（使用 AI 集成加速器）进行推理，同时还在与之进行比较的 x86 服务器上使用 NVIDIA Forest Inference Library (https://github.com/triton-inference-server/fil_backend) 后端进行推理。训练该模型所用的公共数据集位于 https://www.kaggle.com/c/santander-customer-transaction-prediction，同时 NVIDIA Triton™ (https://github.com/triton-inference-server/server) 在这两个平台上被用作模型服务框架。相关工作负载通过 http 基准测试工具 Hey (https://github.com/rakyll/hey) 来驱动。IBM Machine Type 3931 配置：1 个 LPAR，其中配备 6 个专用 IFL、256 GB 内存和 Ubuntu 22.04。x86 服务器配置：采用 2.80 GHz 6 核 IceLake Intel® Xeon® Gold CPU 并开启超线程功能的 Ubuntu 22.04，同时附带 1 TB 内存。