Investigadores de Harvard resolvieron limitaciones de infraestructura con la ayuda de IBM
A la vanguardia de la investigación de IA responsable, el Calmon Lab de la Facultad de Ingeniería y Ciencias Aplicadas John A. Paulson de Harvard estaba abordando uno de los desafíos más apremiantes en IA responsable. Intentaban alinear modelos de lenguaje grandes (LLM) con valores humanos y estándares de seguridad. Su trabajo se centró en mejorar el rendimiento del razonamiento de cadena de pensamiento (CoT) en modelos de uso común, como DeepSeek-R1 y Llama, mediante la aplicación de métodos de alineación de tiempo de inferencia.
Sin embargo, su progreso se vio obstaculizado por limitaciones de infraestructura. El clúster de Harvard estaba desbordado por la demanda, y la ejecución de modelos de última generación requería acceso a varias GPU NVIDIA H100. Estos retrasos limitaron significativamente su capacidad para experimentar de manera eficiente en modelos grandes, lo que ralentizó el ritmo general de su investigación.
Ejecute inferencias a velocidades superiores a 2000 tokens por segundo
Entrene y despliegue LLM sin tiempos de espera
Para superar estas limitaciones de infraestructura, Calmon Lab se asoció con IBM. Con IBM® Cloud, aprovisionaron dos servidores NVIDIA HGX H100 8-GPU, dentro de una nube privada virtual (VPC) segura, cada servidor equipado con 640 GB de memoria GPU y 2 TB de memoria física. La configuración incluyó almacenamiento en bloque de operaciones de entrada/salida por segundo (IOPS), uso compartido rápido de archivos en red e IBM® Cloud Object Storage para una transferencia de datos fluida.
Mediante Red Hat Enterprise Linux 9, la plataforma Anaconda y el modelo de lenguaje grande virtual (vLLM) para el servicio de modelos, el laboratorio realizó una rápida transición a un entorno de alto rendimiento. En una semana, el equipo estaba ejecutando inferencias a más de 2000 tokens por segundo y entrenando modelos sin demoras. Esta transformación les permitió explorar nuevas fronteras en la seguridad de la IA, incluida la identificación de caminos de razonamiento improductivos y el perfeccionamiento de las técnicas de alineación de modelos.
Después de la transformación, Calmon Lab experimentó una mejora sustancial en la velocidad de investigación resultante del acceso a una infraestructura de GPU confiable y fácil de usar en IBM Cloud. Fue capaz de lo siguiente:
- Entrenar y desplegar LLM, como DeepSeek y Llama, a petición, sin tiempos de espera.
- Ejecute inferencias a velocidades superiores a 2000 tokens por segundo.
- Colaborar a escala con almacenamiento compartido y transferencia de datos de alta velocidad.
- Lograr nuevos avances en investigación en multiplicidad de modelos y seguridad de la IA.
IBM continúa apoyando la misión del laboratorio proporcionando una infraestructura escalable, segura y de alto rendimiento, lo que permite a los investigadores ampliar los límites de la IA confiable.
Harvard , ubicada en Cambridge, Massachusetts, es una prestigiosa universidad de Ivy League fundada en 1636. Es reconocida por su excelencia académica y sus amplias contribuciones a diversos campos, incluida la educación, la investigación y la cultura. Harvard cuenta con un cuerpo estudiantil diverso y ofrece una amplia gama de programas en sus 12 escuelas que otorgan títulos. Esta prestigiosa universidad figura constantemente entre las mejores del mundo, lo que refleja su importante influencia y recursos.
Legal
© Copyright IBM Corporation 2025. IBM, el logotipo de IBM, Granite, watsonx.ai, watsonx.datawatsonx.governance y watsonx Orchestrate son marcas comerciales de IBM Corp., registradas en muchas jurisdicciones de todo el mundo.
Los ejemplos presentados son solo ilustrativos. Los resultados reales variarán en función de las configuraciones y condiciones del cliente y, por lo tanto, no se pueden proporcionar resultados generalmente previstos.