IBM Cloud 上的 Intel® Gaudi® 3 AI 加速器

IBM Cloud 是提供 Intel Gaudi 3 的首家全球云服务提供商

利用 IBM Cloud® 上的 Intel^® Gaudi ^® 3 AI 加速器，解锁、创新并部署新的 AI 解决方案。该解决方案旨在帮助您经济高效地进行扩展以满足企业 AI 需求，并实现高性能、灵活部署和开放式开发。

支持各种生成式 AI 推理应用程序和框架，包括大语言模型 (LLM) 和多模态模型 (MMM)。借助 IBM Cloud Virtual Server for VPC 部署快速入门。对 IBM watsonx®、Red Hat® OpenShift® Kubernetes Service 以及基于 Terraform 的自动化部署的支持计划于 2025 年上半年提供。对 Red Hat OpenShift AI 集群、IBM Cloud Kubernetes Service 以及 IBM Cloud 上的可部署架构的支持计划于 2025 年下半年推出。

了解有关 Intel Gaudi 3 技术的更多信息

公告

企业 AI 的新解决方案

极具竞争力的 AI 价格和性能

获得经济高效的生成式 AI 性能，实现高推理吞吐量和优化的总体拥有成本。

快速、高效的扩展

凭借灵活的容量支持，轻松提升系统扩展能力，同时规避封闭系统锁定风险。

开放式开发架构与多元化部署方案

使用您选择的 Intel Gaudi 3 部署模型加速 AI 工作负载，并在开放标准的公有云上使用开源模型帮助消除开发人员障碍。

根据您的基础设施和软件要求进行部署

在 IBM Cloud Virtual Server for VPC 上，Intel Gaudi 3 AI 加速器可与第 5 代 Intel Xeon 处理器搭配使用。

Gaudi 3 近距离视图：集成 64 个张量处理器核心(TPC)及 8 个矩阵乘法引擎(MME)

在 IBM Cloud Virtual Private Cloud (VPC) 上配置独立服务器

Intel Gaudi 3 AI 加速器可通过 IBM Cloud Virtual Server for VPC 云实例进行部署。IBM Cloud VPC 专为实现软件定义的网络内的高弹性和安全性而设计，客户可在其中构建隔离的私有云，同时维持基本的公有云优点。Intel Gaudi 3 云实例还支持 Red Hat Enterprise Linux AI 映像，因而非常适合拥有高度专业化软件堆栈的客户或是需要完全控制底层服务器的客户。

深入了解服务器部署

区别在于设计

高带宽内存 (HBM)

提升生成式 AI 性能，并在具有 128 GB HBM 容量且带宽速度为 3.7 TB/s 的单个卡上使用更多词元和模型进行构建。

行业标准以太网

消除结构锁定并帮助降低整合成本，同时增进您对采用行业标准以太网进行交换的选择。

大容量数据传输

通过 24 个 200 GbE 高容量 RoCE 端口获得大规模横向扩展和纵向扩展容量。

开放式开发

借助适用于 PyTorch 的 Intel^® Gaudi^®3 扩展来简化开发，并通过 Hugging Face 上的优化模型库来帮助缩短开发时间和代码维护量。

高核心性能

利用 Intel^®Gaudi^® 3 AI 加速器的矩阵乘法引擎，该引擎具有专为减少数据传输而设计的高性能内核。

简化迁移

利用用户友好型开发人员工具，在开放软件上仅需三行代码即可提升和转移模型。

资源

Intel® Gaudi® 3 文档

开始使用 IBM Cloud 上的 Intel Gaudi 3 AI 加速器。浏览配置指南、入门教程、配置文件详细信息等。

IBM Cloud VPC 文档

了解有关 IBM Cloud Virtual Private Cloud 的更多信息。浏览配置指南、入门教程等。

IBM watsonx.ai 演示

参观 watsonx.ai 开发者工作室。了解如何构建提示、试验基础模型以及构建 ML 模型。

常见问题解答

IBM Cloud 上的 Intel^® Gaudi^® 3 AI 加速器专为处理高性能 AI 工作负载而设计，它配备有 64 个张量处理器核心 (TPC) 和 8 个矩阵乘法引擎 (MME)，从而有助于加快深度神经网络计算。IBM Cloud 上的 Intel^® Gaudi^® 3 AI 加速器还配备 128 GB 的 HBM2E 内存，并提供高达 3.7 TB/s 的内存带宽，同时支持附带 24x200 GbE 端口的行业标准以太网连接，从而可提供 9.6 Tbps 的双向带宽以实现可扩展的系统互连。

Intel^® Gaudi^® 3 AI 加速器提供广泛的 AI 应用支持，其中包括推理、3D 生成、文本生成、分类、视频生成、情感、翻译、图像生成、摘要和问答，并重点关注多模态、大语言模型 (LLM) 和检索增强生成 (RAG)。

IBM Cloud 上的 Intel ^®Gaudi^® 3 AI 加速器配备 128 GB 的 HBM2E 内存和高达 3.7 TB/s 的内存带宽，有助于确保快速数据吞吐量，从而减少瓶颈并让开发人员更快、更高效地处理海量数据集。

在 IBM Cloud Virtual Private Cloud (VPC) 上，IBM Cloud 上的 Intel^® Gaudi^® 3 AI 加速器安装在 IBM Cloud Virtual Servers 中。IBM Cloud VPC 是一种高度弹性和安全的软件定义网络 (SDN)，您可在其上构建隔离的私有云，同时维持基本的公有云优点。IBM Cloud VPC 上的 Intel^® Gaudi^® 3 虚拟服务器配置文件是一种由 vCPU、RAM 和存储空间构成的预配置组合，它可快速启动虚拟服务器实例。

IBM Cloud 上的 Intel^® Gaudi^® 3 AI 加速器支持各种主流框架，其中包括 PyTorch、ONNX 和 DeepSpeed。Hugging Face 提供了 40 多万个模型，且经过优化以便与 Optimum Habana 软件库搭配使用。完整的 Intel^® Gaudi^® 软件套件与框架支持旨在简化迁移，以便开发人员只需修改最少的代码即可集成现有模型。