I ricercatori di Harvard hanno risolto i limiti della propria infrastruttura con l'aiuto di IBM
In prima linea nella ricerca sull'AI responsabile, il Calmon Lab della Harvard John A. Paulson School of Engineering and Applied Sciences si trovava ad affrontare una delle sfide più urgenti riguardo all'AI. Volevano allineare i modelli linguistici di grandi dimensioni (LLM) con i valori umani e gli standard di sicurezza. Il loro lavoro si è concentrato sul miglioramento delle prestazioni del ragionamento chain-of-thought (CoT) in modelli comunemente usati, come DeepSeek-R1 e Llama, applicando metodi di allineamento in tempo di inferenza.
Tuttavia, il loro progresso era ostacolato dalle limitazioni infrastrutturali. Il cluster di Harvard era sommerso dalla domanda e l'esecuzione di modelli all'avanguardia richiedeva l'accesso a diverse GPU NVIDIA H100. Questi ritardi hanno limitato molto la loro capacità di sperimentare in modo efficiente su modelli di grandi dimensioni, rallentando il ritmo complessivo della ricerca.
Eseguire inferenze a velocità superiori ai 2.000 token al secondo
Addestrare e implementare gli LLM senza tempi di attesa
Per superare questi vincoli infrastrutturali, il Calmon Lab ha collaborato con IBM. Utilizzando IBM® Cloud, hanno fornito due server NVIDIA HGX H100 8-GPU all'interno di un cloud privato virtuale sicuro (VPC), ciascuno dotato di 640 GB di memoria GPU e 2 TB di memoria fisica. La configurazione includeva lo storage a blocchi ad alte operazioni di input/output al secondo (IOPS), la condivisione rapida dei file di rete e IBM® Cloud Object Storage per un trasferimento dei dati senza interruzioni.
Utilizzando Red Hat Enterprise Linux 9, la piattaforma Anaconda e il modello linguistico virtuale di grandi dimensioni (vLLM) per il model serving, il laboratorio è passato rapidamente a un ambiente ad alte prestazioni. Nel giro di una settimana, il team ha eseguito l'inferenza a oltre 2.000 token al secondo e ha addestrato i modelli senza ritardi. Questa trasformazione ha permesso loro di esplorare nuove frontiere nella sicurezza dell'AI, tra cui l'identificazione di percorsi di ragionamento improduttivi e il perfezionamento delle tecniche di allineamento dei modelli.
A seguito della trasformazione, il Calmon Lab ha registrato un grande miglioramento della velocità di ricerca derivante dall'accesso a un'infrastruttura GPU affidabile e facile da usare su IBM® Cloud. In questo modo, sono riusciti a:
- Addestrare e implementare LLM come DeepSeek e Llama su richiesta e senza tempi di attesa.
- Eseguire inferenze a velocità superiori a 2.000 token al secondo.
- Collaborare su larga scala con archiviazione condivisa e trasferimento dati ad alta velocità.
- Raggiungere nuove scoperte di ricerca nella molteplicità dei modelli e nella sicurezza dell'AI.
IBM continua a supportare la missione del laboratorio fornendo un'infrastruttura scalabile, sicura e ad alte prestazioni che consente ai ricercatori di superare i confini di un'AI affidabile.
Harvard , con sede a Cambridge, Massachusetts, è una prestigiosa università Ivy League fondata nel 1636. È celebre per l'eccellenza accademica fornita e per gli ampi contributi in vari ambiti, tra cui la formazione, la ricerca e la cultura. Harvard serve un corpo studentesco diversificato e offre un'ampia gamma di programmi nelle 12 scuole che compongono l'ateneo. Questa stimata università è costantemente classificata tra le migliori a livello mondiale, a testimonianza della sua notevole influenza e delle sue risorse.
Legale
© Copyright IBM Corporation 2025. IBM, il logo IBM, Granite, watsonx.ai, watsonx.data watsonx.governance, e watsonx Orchestrate sono marchi di IBM Corp., registrati in diverse giurisdizioni del mondo.
Gli esempi presentati sono solo illustrativi. I risultati effettivi varieranno in base alle configurazioni e alle condizioni del cliente e, pertanto, non è possibile fornire i risultati generalmente attesi.