通过在 IBM Cloud 上按需访问 NVIDIA GPU 来实现高效扩展
IBM Cloud 拥有多种 NVIDIA GPU（例如 B300 和 L40S），以便最好地满足您的特定需求和 AI 工作负载（如训练、推理或微调）。这些 GPU 支持多种生成式 AI 推理应用程序、功能和框架，包括大语言模型 (LLM) 和多模态模型 (MMM)。借助多平台能力（包括 IBM Cloud Virtual Server for VPC、IBM watsonx、Red Hat RHEL AI 或 OpenShift AI 以及可部署架构），根据您的工作负载部署目标，快速将 AI 工作负载投入生产。
根据您的要求进行部署
在 IBM Cloud Virtual Server for VPC 上，NVIDIA GPU 可与第 4 代 Intel® Xeon® 处理器搭配使用。根据您的基础设施与软件要求，有几种采用与部署方法。
可通过 IBM Cloud Virtual Server for VPC 云实例部署 NVIDIA GPU。IBM Cloud VPC 专为实现软件定义网络 (SDN) 内的高弹性和安全性而设计，客户可在其中构建隔离的私有云，同时维持基本的公有云优点。NVIDIA GPU 云实例还支持 Red Hat Enterprise Linux AI (RHEL AI) 映像，因而非常适合拥有高度专业化软件堆栈的客户或是需要完全控制底层服务器的客户。
对于需完全控制从基础设施到工作负载的整个 AI 堆栈的客户，则可将 IBM watsonx.ai® 部署到 IBM Cloud VPC 上基于 NVIDIA GPU 的虚拟服务器中。IBM watsonx.ai 是一款集成的一站式端到端 AI 开发平台，它配备了 AI 开发者工具包和完整的 AI 生命周期管理，可用于开发 AI 服务并将其部署到所选应用程序中。
如果客户想自由选择 AI 框架，同时能帮助确保快速、安全地部署其 AI 工作负载，则可使用 IBM Cloud 上的 NVIDIA GPU 可部署架构。
Red Hat OpenShift AI 是一个灵活且可扩展的人工智能 (AI) 与机器学习 (ML) 平台，它支持企业在混合云环境中大规模创建和交付支持 AI 的应用程序。OpenShift AI 使用开源技术进行构建，可为团队提供值得信赖且操作一致的功能，以便开展实验、提供模型和交付创新应用程序。
支持 RoCE v2，通过 3.2 Tbps 网络实现 NVIDIA GPU 实例的集群
| GPU | VCPU | RAM | 配置 | ||
|---|---|---|---|---|---|
| NVIDIA B300 GPU——适用于大型传统 AI 和生成式 AI 模型 | 8 个 NVIDIA B300 288 GB | 232 | 3840 GiB | 如有兴趣，请在此处创建工单 | |
| NVIDIA H200 GPU - 适用于大型传统 AI 和生成式 AI 模型 | 8 个 NVIDIA H200 141 GB | 160 | 1792 GiB | Virtual Server for VPC Red Hat OpenShift | |
| NVIDIA H100 GPU - 适用于大型传统 AI 和生成式 AI 模型 | 8 个 NVIDIA H100 80 GB | 160 | 1792 GiB | Virtual Server for VPC Red Hat OpenShift | |
| NVIDIA A100-PCIe GPU - 适用于传统 AI 和生成式 AI 模型 | 1 x NVIDIA A100 80 GB 2 x NVIDIA A100 80 GB | 24 48 | 120 GB 240 GB | Virtual Server for VPC Red Hat OpenShift | |
| NVIDIA L40S GPU - 适用于中小型模型 | 1 个 NVIDIA L40S 48 GB 2 x NVIDIA L40S 48 GB | 24 48 | 120 GB 240 GB | Virtual Server for VPC Red Hat OpenShift | |
| NVIDIA L4 GPU - 适用于需要较小内存的小型 AI 模型 | 1 个 NVIDIA L4 24 GB 2 个 NVIDIA L4 24 GB 4 个 NVIDIA L4 24 GB | 16 32 64 | 80 GB 160 GB 320 GB | Virtual Server for VPC Red Hat OpenShift | |
| NVIDIA V100 GPU - 适用于小型 AI 应用，起步为 | 1 个 NVIDIA V100 16 GB | 8 | 64 GiB | Virtual Server for VPC Red Hat OpenShift |
深入了解全套 AI 产品组合，这些产品可加快生成式 AI 在核心工作流程中的影响，从而提高生产力。
借助 Red Hat AI InstructLab™、Red Hat OpenShift AI 和 Red Hat Enterprise Linux AI，将任务关键型 AI 应用程序和计划推向市场。
选择经过认证的托管 Kubernetes 解决方案，它专为在 IBM Cloud 上创建计算主机集群以部署容器化应用程序而构建。IBM 可管理主实例，从而使您摆脱主机操作系统、运行时与版本更新流程。
IBM Cloud 上的可部署架构可帮助您加速创新、提高效率、保持安全性与合规性，同时优化成本
利用支持的 IBM Cloud 与 watsonx 服务来自动部署 RAG，并将您的企业数据嵌入生成式 AI 解决方案。
使用高度可扩展的单租户与多租户虚拟机，以便能快速启动，从而实现最大程度的网络隔离和控制。