Pesquisadores de Harvard resolveram limitações de infraestrutura com a ajuda da IBM
Na vanguarda da pesquisa em IA responsável, o Calmon Lab, da Harvard John A. Paulson School of Engineering and Applied Sciences, enfrentava um dos maiores desafios da área. Eles buscavam alinhar grandes modelos de linguagem (LLMs) com valores humanos e padrões de segurança. O trabalho se concentrava em melhorar o desempenho do raciocínio de cadeia de pensamento (CoT) em modelos amplamente utilizados, como DeepSeek-R1 e Llama, aplicando métodos de alinhamento durante a inferência.
No entanto, o progresso era prejudicado por limitações de infraestrutura. O cluster de Harvard estava sobrecarregado com a alta demanda, e a execução de modelos de última geração exigia acesso a várias GPUs NVIDIA H100. Esses atrasos limitavam significativamente a capacidade de realizar experimentos eficientes em modelos de grande porte, desacelerando o ritmo geral da pesquisa.
Executar inferências em velocidades superiores a 2.000 tokens por segundo
Treinar e implementar LLMs sem filas ou atrasos
Para superar essas restrições de infraestrutura, o Calmon Lab fez parceria com a IBM. Usando o IBM Cloud, eles disponibilizaram dois servidores NVIDIA HGX H100 8-GPU, dentro de uma nuvem privada virtual (VPC) segura, cada servidor equipado com 640 GB de memória de GPU e 2 TB de memória física. A configuração incluía armazenamento em blocos de alta taxa de operações de input/saída (IOPS), compartilhamento rápido de arquivos em rede e IBM Cloud Object Storage para transferência de dados sem interrupções.
Usando o Red Hat Enterprise Linux 9, a plataforma Anaconda e o vLLM (virtual large language model) para servir modelos, o laboratório rapidamente migrou para um ambiente de alto desempenho. Em apenas uma semana, a equipe já estava executando inferências a mais de 2.000 tokens por segundo e treinando modelos sem atrasos. Essa transformação permitiu explorar novas fronteiras em segurança de IA, incluindo a identificação de caminhos de raciocínio improdutivos e o refinamento de técnicas de alinhamento de modelos.
Após a transformação, o Calmon Lab experimentou uma melhoria substancial na velocidade de pesquisa graças ao acesso a uma infraestrutura de GPU confiável e fácil de usar no IBM Cloud. Eles foram capazes de:
- Treinar e implementar LLMs, como DeepSeek e Llama, sob demanda, sem tempo de espera.
- Executar inferências em velocidades superiores a 2.000 tokens por segundo.
- Colaborar em escala com armazenamento compartilhado e transferência de dados em alta velocidade.
- Alcançar novas descobertas em multiplicidade de modelos e segurança em IA.
A IBM continua apoiando a missão do laboratório, fornecendo infraestrutura escalável, segura e de alto desempenho — capacitando os pesquisadores a expandirem os limites da IA confiável.
Harvard, localizada em Cambridge, Massachusetts, é uma prestigiada universidade da Ivy League, fundada em 1636. Ela é reconhecida pela excelência acadêmica e por suas extensas contribuições em diversos campos, incluindo educação, pesquisa e cultura. Harvard atende uma comunidade estudantil diversificada e oferece uma ampla gama de programas em suas 12 escolas de ensino superior. Essa renomada universidade é consistentemente classificada entre as melhores do mundo, refletindo sua significativa influência e recursos.
Legal
© Copyright IBM Corporation 2025. IBM, o logotipo da IBM, Granite, watsonx.ai, watsonx.data, watsonx.governance e watsonx Orchestrate são marcas comerciais da IBM Corp., registradas em várias jurisdições em todo o mundo.
Os exemplos apresentados têm caráter apenas ilustrativo. Os resultados reais variam de acordo com as configurações e condições do cliente e portanto os resultados esperados em geral não podem ser garantidos.