哈佛研究人员在 IBM 的帮助下解决了基础设施限制问题
哈佛大学约翰·保尔森工程与应用科学学院 Calmon 实验室走在负责任 AI 研究的前沿,正致力于应对 AI 领域最紧迫的挑战之一。他们试图将大语言模型 (LLM) 与人类价值观和安全标准相结合。其工作重点在于通过应用推理时间协同方法,提高 DeepSeek-R1 和 Llama 等常用模型的思维链 (CoT) 推理性能。
然而,其工作进度受制于基础设施的局限性。运行最先进的模型需要访问多个 NVIDIA H100 GPU,如此庞大的需求致使哈佛的聚类不堪重负。这些延误严重限制了其通过大模型高效开展实验的能力,进而拖慢整体研究工作的进程。
以超过每秒 2,000 个词元的速度运行推理
无需等待即可训练和部署 LLM
为了克服这些基础设施限制,Calmon Lab 与 IBM 开展合作。他们使用 IBM Cloud 在安全的虚拟私有云 (VPC) 中配置了两台 NVIDIA HGX H100 8-GPU 服务器,每台服务器配备 640GB 的 GPU 内存和 2 TB 物理内存。该设置包括每秒输入/输出操作数 (IOPS) 很高的块存储、快速网络文件共享和用于无缝数据传输的 IBM® Cloud Object Storage。
通过使用 Red Hat Enterprise Linux 9、Anaconda 平台和虚拟大语言模型 (vLLM) 进行模型服务,该实验室迅速过渡到高性能环境。一周之内,团队就能以每秒超过 2,000 个词元的速度运行推理,并毫无延迟地训练模型。这种转型使他们能够深入探查 AI 安全的新疆界,包括识别无效的推理路径和改进模型对齐技术。
转型后,Calmon Lab 的研究速度因 IBM Cloud 上可靠且易于使用的 GPU 基础设施而得到显著提高。他们能够:
IBM 通过提供可扩展、安全和高性能的基础设施来持续支持实验室的使命,使研究人员能够突破值得信赖的 AI 的界限。
哈佛大学,位于马萨诸塞州剑桥市,是一所著名的常春藤盟校,成立于 1636 年。他们以卓越的学术成就和对教育、研究和文化等各个领域的广泛贡献而闻名于世。哈佛为多元化的学生群体提供服务,并在其 12 所学位授予学院中提供广泛的课程。这所久负盛名的大学始终位居全球顶尖大学之列,反映了其巨大的影响力和丰厚的资源。
© Copyright IBM Corporation 2025。IBM、IBM 徽标、Granite、watsonx.ai、watsonx.data、watsonx.governance 和 watsonx Orchestrate 是 IBM Corp. 在世界许多司法管辖区的注册商标。
示例仅供说明之用。实际结果将因客户配置和条件而异,因此通常无法提供预期的结果。