利用可扩展的云基础设施加速 AI 安全研究

哈佛研究人员在 IBM 的帮助下解决了基础设施限制问题

两名计算机工程师在服务器机房工作
哈佛大学研究团队在 AI 安全研究中面临 GPU 瓶颈

哈佛大学约翰·保尔森工程与应用科学学院 Calmon 实验室走在负责任 AI 研究的前沿,正致力于应对 AI 领域最紧迫的挑战之一。他们试图将大语言模型 (LLM) 与人类价值观和安全标准相结合。其工作重点在于通过应用推理时间协同方法,提高 DeepSeek-R1 和 Llama 等常用模型的思维链 (CoT) 推理性能。

然而,其工作进度受制于基础设施的局限性。运行最先进的模型需要访问多个 NVIDIA H100 GPU,如此庞大的需求致使哈佛的聚类不堪重负。这些延误严重限制了其通过大模型高效开展实验的能力,进而拖慢整体研究工作的进程。

2,000+ 词元 每秒

以超过每秒 2,000 个词元的速度运行推理

无等待时间

无需等待即可训练和部署 LLM

由 IBM® Cloud 驱动的高速模型训练和实验

为了克服这些基础设施限制,Calmon Lab 与 IBM 开展合作。他们使用 IBM Cloud 在安全的虚拟私有云 (VPC) 中配置了两台 NVIDIA HGX H100 8-GPU 服务器,每台服务器配备 640GB 的 GPU 内存和 2 TB 物理内存。该设置包括每秒输入/输出操作数 (IOPS) 很高的块存储、快速网络文件共享和用于无缝数据传输的 IBM® Cloud Object Storage

通过使用 Red Hat Enterprise Linux 9、Anaconda 平台和虚拟大语言模型 (vLLM) 进行模型服务,该实验室迅速过渡到高性能环境。一周之内,团队就能以每秒超过 2,000 个词元的速度运行推理,并毫无延迟地训练模型。这种转型使他们能够深入探查 AI 安全的新疆界,包括识别无效的推理路径和改进模型对齐技术。

作为致力于信息论和生成式 AI 前沿的研究团队,我们需要一个日益强大的计算基础架构。我们在 IBM Cloud 上的工作体验非常棒。IBM 的能力和专业知识帮助我们快速高效地运行需要大量 GPU 集群的大型模型,使我们在创纪录的时间内获得与 AI 安全相关的新研究成果。
Flavio du Pin Calmon 教授 Thomas D. Cabot 副教授 哈佛工程与应用科学学院
更快的洞察分析。对 AI 安全产生更大影响。

转型后,Calmon Lab 的研究速度因 IBM Cloud 上可靠且易于使用的 GPU 基础设施而得到显著提高。他们能够:

  • 按需训练和部署 LLM,例如 DeepSeek 和 Llama,无需等待。

  • 以超过每秒 2,000 个词元的速度运行推理。

  • 利用共享存储和高速数据传输进行大规模协作。

  • 在模型多重性和 AI 安全方面实现新的研究突破。

IBM 通过提供可扩展、安全和高性能的基础设施来持续支持实验室的使命,使研究人员能够突破值得信赖的 AI 的界限。

哈佛徽标
关于哈佛大学

哈佛大学,位于马萨诸塞州剑桥市,是一所著名的常春藤盟校,成立于 1636 年。他们以卓越的学术成就和对教育、研究和文化等各个领域的广泛贡献而闻名于世。哈佛为多元化的学生群体提供服务,并在其 12 所学位授予学院中提供广泛的课程。这所久负盛名的大学始终位居全球顶尖大学之列,反映了其巨大的影响力和丰厚的资源。

解决方案组件 IBM Cloud Red Hat Enterprise Linux 9 IBM Cloud 上的 NVIDIA GPU IBM Cloud Object Storage
深入了解如何带着信任扩展 AI

了解 IBM 解决方案如何帮助组织自动执行数据分析并提高粉丝参与度。

了解有关 IBM Cloud 的更多信息 立即免费试用
法律信息

© Copyright IBM Corporation 2025。IBM、IBM 徽标、Granite、watsonx.ai、watsonx.data、watsonx.governance 和 watsonx Orchestrate 是 IBM Corp. 在世界许多司法管辖区的注册商标。

示例仅供说明之用。实际结果将因客户配置和条件而异,因此通常无法提供预期的结果。