Investigadores de Harvard resolvieron limitaciones de infraestructura con la ayuda de IBM
A la vanguardia de la investigación responsable en IA, el Calmon Lab de la Harvard John A. Paulson School of Engineering and Applied Sciences abordaba uno de los retos más acuciantes de la IA. Intentaban alinear modelos de lenguaje de gran tamaño (LLM) con valores humanos y estándares de seguridad. Su trabajo se centró en mejorar el rendimiento del razonamiento de cadena de pensamiento (CoT) en modelos de uso común, como DeepSeek-R1 y Llama, mediante la aplicación de métodos de alineación de tiempo de inferencia.
Sin embargo, su progreso se vio obstaculizado por las limitaciones de la infraestructura. El clúster de Harvard se vio desbordado por la demanda y la ejecución de los modelos más avanzados requirió el acceso a varias GPU NVIDIA H100. Estos retrasos limitaron significativamente su capacidad para experimentar eficazmente con modelos de gran tamaño, ralentizando el ritmo general de su investigación.
Ejecute inferencias a velocidades superiores a 2000 tokens por segundo
Entrene e implemente LLM sin tiempos de espera
Para superar estas limitaciones de infraestructura, Calmon Lab se asoció con IBM. Con IBM Cloud, aprovisionaron dos servidores NVIDIA HGX H100 8-GPU, dentro de una nube privada virtual (VPC) segura, cada servidor equipado con 640 GB de memoria GPU y 2 TB de memoria física. La configuración incluyó almacenamiento en bloque de operaciones de entrada/salida por segundo (IOPS) altas, uso compartido rápido de archivos en red e IBM® Cloud Object Storage para una transferencia de datos fluida.
Con Red Hat Enterprise Linux 9, la plataforma Anaconda y el modelo virtual de lenguaje de gtan tamaño (vLLM) para el servicio de modelos, el laboratorio pasó rápidamente a un entorno de alto rendimiento. En una semana, el equipo estaba ejecutando inferencias a más de 2000 tokens por segundo y entrenando modelos sin retrasos. Esta transformación les permitió explorar nuevas fronteras en la seguridad de la IA, incluida la identificación de rutas de razonamiento improductivas y el perfeccionamiento de las técnicas de alineación de modelos.
Tras la transformación, Calmon Lab experimentó una mejora sustancial en la velocidad de investigación gracias al acceso a una infraestructura de GPU fiable y fácil de usar en IBM Cloud. Pudieron:
- Entrenar y implementar LLM, como DeepSeek y Llama, bajo demanda, sin tiempos de espera.
- Ejecutar inferencias a velocidades superiores a 2000 tokens por segundo.
- Colaborar a escala con almacenamiento compartido y transferencia de datos a alta velocidad.
- Lograr nuevos avances en la investigación en multiplicidad de modelos y seguridad de la IA.
IBM continúa apoyando la misión del laboratorio al proporcionar una infraestructura escalable, segura y de alto rendimiento, lo que permite a los investigadores superar los límites de la IA fiable.
Harvard , ubicada en Cambridge, Massachusetts, es una prestigiosa universidad de la Ivy League fundada en 1636. Son conocidos por su excelencia académico y sus amplias contribuciones a varios campos, incluidos la formación, la investigación y la cultura. Harvard atiende a un cuerpo estudiantil diverso y ofrece una amplia gama de programas en sus 12 escuelas que otorgan títulos. Esta estimada universidad se clasifica constantemente entre las mejores universidades del mundo, lo que refleja su importante influencia y recursos.
Legal
Copyright IBM Corporation 2025. IBM, el logo de IBM, Granite, watsonx.ai, watsonx.data, watsonx.governance y watsonx Orchestrate son marcas comerciales de IBM Corp., registradas en muchas jurisdicciones de todo el mundo.
Ejemplos presentados únicamente a título ilustrativo. Los resultados reales variarán en función de las configuraciones y condiciones del cliente y, por lo tanto, no se pueden ofrecer resultados esperados de forma general.