하버드 연구원들은 IBM의 도움으로 인프라 한계를 해결했습니다.
책임감 있는 AI 연구의 최전선에 있는 하버드 John A. Paulson School of Engineering and Applied Sciences의 Calmon Lab은 AI에서 가장 시급한 과제 중 하나를 해결하고 있었습니다. 이 연구팀은 대규모 언어 모델(LLM)을 인간의 가치 및 안전 표준에 맞추기 위해 노력하고 있었습니다. 그들의 연구는 추론-시간 정렬 방법을 적용하여 DeepSeek-R1 및 Llama와 같이 일반적으로 사용되는 모델에서 생각의 연결고리(CoT) 추론의 성능을 개선하는 데 중점을 두었습니다.
그러나 인프라의 한계로 인해 진행에 어려움을 겪었습니다. 하버드 클러스터는 수요가 압도적으로 많았고, 최첨단 모델을 실행하려면 여러 개의 NVIDIA H100 GPU에 액세스해야 했습니다. 이러한 지연으로 인해 대규모 모델을 효율적으로 실험할 수 있는 능력이 크게 제한되어 전체적인 연구 속도가 느려졌습니다.
초당 2,000개 토큰을 초과하는 속도로 추론 실행
대기 시간 없이 LLM 학습 및 배포
Calmon Lab은 이러한 인프라 제약을 극복하기 위해 IBM과 파트너십을 맺었습니다. 이들은 IBM Cloud를 사용하여 안전한 가상 프라이빗 클라우드 (VPC) 내에 두 대의 NVIDIA HGX H100 8-GPU 서버를 프로비저닝했습니다. 각 서버에는 640GB의 GPU 메모리, 2TB의 물리적 메모리가 장착되었습니다. 설정에는 높은 초당 입력/출력 작업(IOPS) 블록 스토리지, 빠른 네트워크 파일 공유 및 원활한 데이터 전송을 위한 IBM® Cloud Object Storage가 포함되었습니다.
이 연구실은 Red Hat Enterprise Linux 9, Anaconda 플랫폼 및 모델 제공을 위한 가상 대규모 언어 모델(vLLM)을 사용하여 고성능 환경으로 빠르게 전환했습니다. 팀은 일주일 만에 초당 2,000개 이상의 토큰으로 추론을 실행하고 지연 없이 모델을 학습시켰습니다. 이러한 변화를 통해 비생산적인 추론 경로를 식별하고 모델 정렬 기술을 개선하는 등 AI 안전의 새로운 지평을 탐색할 수 있었습니다.
Calmon Lab은 전환 후 IBM Cloud의 안정적이고 사용하기 쉬운 GPU 인프라에 액세스하여 연구 속도가 크게 향상되었습니다. 다음과 같은 작업을 수행할 수 있었습니다.
IBM은 확장 가능하고 안전하며 뛰어난 성능의 인프라를 제공하여 연구자들이 신뢰할 수 있는 AI의 한계를 뛰어넘을 수 있도록 지원함으로써 연구소의 사명을 지속적으로 지원하고 있습니다.
매사추세츠주 케임브리지에 위치한 하버드대학교는 1636년에 설립된 명문 아이비리그 대학입니다. 하버드는 학문적 우수성과 교육, 연구, 문화 등 다양한 분야에 폭넓게 기여한 것으로 유명합니다. 하버드는 다양한 학생층을 대상으로 하며 학위를 수여하는 12개 학부에서 다양한 프로그램을 제공합니다. 상당한 영향력과 자원을 반영하여 지속적으로 전 세계 최고의 대학 중 하나로 선정된 존경받는 대학입니다.
© Copyright IBM Corporation 2025. IBM, IBM 로고, Granite, watsonx.ai, watsonx.datawatsonx.governance, watsonx Orchestrate는 전 세계 여러 국가에 등록된 IBM Corp.의 상표입니다.
제시된 예는 예시일 뿐입니다. 실제 결과는 클라이언트 구성 및 조건에 따라 달라지므로 일반적으로 예상되는 결과를 제공할 수 없습니다.