Home
Case Studies
IBM Big AI Models - Turbonomic
L'intelligenza artificiale ha raggiunto una tappa fondamentale, in cui l'addestramento di modelli linguistici di grandi dimensioni (LLM) è uno dei compiti più impegnativi dal punto di vista del calcolo. Il calcolo ad alte prestazioni è fondamentale per l'ottimizzazione dell'AI generativa (gen AI) e del workload dei modelli LLM, nonché le unità di elaborazione grafica (GPU) possono essere costose e di scarsa qualità. Le GPU sono chip di computer specializzati, progettate per gestire calcoli matematici complessi e l'elaborazione in parallelo, il che le rendono ideali per i calcoli complessi richiesti nell'addestramento e nell'inferenza dei modelli di deep learning. Di conseguenza, le GPU sono molto richieste e l'ottimizzazione del loro utilizzo è fondamentale per il successo dell'AI.
Il team IBM® Big AI Models (BAM), che supporta l'ambiente di ricerca e sviluppo primario per i team di ingegneri che testano e perfezionano i loro progetti di gen AI, ha visto un'opportunità di miglioramento. Man mano che più progetti passavano attraverso la fase di test, il team ha riconosciuto l'importanza di utilizzare in modo ottimale ogni istanza per evitare sprechi di risorse.
Per ottimizzare le risorse GPU e gestire le proprie istanze LLM Kubernetes, il team IBM BAM ha implementato IBM® Turbonomic, uno strumento software avanzato per la gestione delle risorse delle applicazioni. Utilizzando dati in tempo reale, Turbonomic ha generato raccomandazioni basate sull'AI per azioni automatizzate per ottimizzare l'utilizzo e l'efficienza delle risorse. Individuando le strategie ottimali di allocazione delle risorse, la soluzione ha generato suggerimenti personalizzati che il team ha potuto configurare per l'esecuzione automatica, consentendo l'ottimizzazione delle risorse basate sull'AI.
Essendo un software interno IBM esplicitamente personalizzato per ottimizzare la gestione hybrid cloud, comprese le applicazioni containerizzate, le macchine virtuali e i cloud pubblici, IBM Turbonomic ha garantito una perfetta integrazione all'interno dell'infrastruttura esistente.
Tom Morris, AI Platform Researcher, riassume: "Consentire a Turbonomic di scalare verso l'alto e verso il basso i nostri server di inferenza LLM mi ha consentito di dedicare meno tempo al monitoraggio delle prestazioni."
PRIMA
DOPO
Con Turbonomic, il team IBM BAM è stato in grado di creare un'infrastruttura scalabile e agile in grado di adattarsi alle esigenze in continua evoluzione del proprio business, supportando i servizi LLM ed eseguendo oltre 100 GPU NVIDIA A100.
Riducendo le istanze con overprovisioning, il team dimostra la capacità di aumentare le risorse GPU inattive da 3 a 16 (5,3 volte), per consentire a tali risorse di gestire workload aggiuntivi.
I risultati includevano:
Applicando le funzionalità di automazione Turbonomic, il team IBM BAM ha scalato e ottimizzato con successo i servizi LLM. Questo miglioramento ha consentito al team di riallocare il proprio tempo per progetti strategici.
Il team IBM Big AI Models (BAM) è un gruppo di ricercatori e tecnici all'interno di IBM® Research che si concentra sullo sviluppo e l'applicazione di modelli AI su larga scala. Questi modelli sono progettati per elaborare e analizzare grandi quantità di dati, consentendo l'esecuzione di applicazioni come l'elaborazione del linguaggio naturale, la computer vision e l'analytics predittiva.
© Copyright IBM Corporation 2024. IBM, il logo IBM, Turbonomic e IBM Research sono marchi o marchi registrati di IBM Corp. negli Stati Uniti e/o in altri Paesi. Le informazioni contenute nel presente documento sono aggiornate alla data della prima pubblicazione e possono essere modificate da IBM senza preavviso. Non tutte le offerte sono disponibili in ogni Paese in cui opera IBM.
Gli esempi relativi ai clienti sono presentati a scopo illustrativo di come tali clienti abbiano usato i prodotti IBM e dei risultati che possono aver conseguito. Prestazioni, costi, risparmio o altri risultati effettivi possono variare in altri ambienti operativi.