L'acceleratore AI potente, economico e aperto per i workload di AI generativa.
Sblocca, innova e implementa nuove soluzioni AI con gli acceleratori AI Intel® Gaudi® 3 su IBM Cloud®, progettati per aiutarti a scalare in modo conveniente per le esigenze di AI aziendali con alte prestazioni, flessibilità di distribuzione e sviluppo aperto.
Supporta un'ampia gamma di applicazioni e framework di inferenza di AI generativa, inclusi modelli linguistici di grandi dimensioni (LLM) e modelli multimodali (MMM). Avvia rapidamente la distribuzione di IBM Cloud Virtual Servers for VPC. Il supporto per IBM watsonx®, Red Hat® OpenShift® Kubernetes Service e un'implementazione automatizzata basata su Terraform sono previsti per il primo semestre del 2025. Il supporto per i cluster AI Red Hat OpenShift, il servizio IBM Cloud® Kubernetes Service e le architetture implementabili su IBM Cloud è previsto per la seconda metà del 2025.
Scopri di più sulla tecnologia Intel Gaudi 3
Gli acceleratori AI Intel® Gaudi® 3 sono abbinati ai processori Intel® Xeon® di quinta generazione su IBM Cloud Virtual Servers for VPC.
Gli acceleratori AI Intel Gaudi 3 possono essere implementati tramite istanze cloud di IBM Cloud Virtual Servers for VPC. IBM Cloud VPC è progettato per un'elevata resilienza e sicurezza all'interno di una rete definita dal software in cui i clienti possono creare cloud privati isolati mantenendo i benefici essenziali del cloud pubblico. L'istanza cloud Intel Gaudi 3, che supporta anche le immagini AI di Red Hat Enterprise Linux, è ideale per i clienti con stack software altamente specializzati o per chi necessita del totale controllo del server sottostante.
Gli acceleratori AI Intel® Gaudi® 3 su IBM Cloud sono progettati per workload AI ad alte prestazioni, con 64 Tensor Processor Core (TPC) e otto Matrix Multiplication Engine (MME), per aiutare ad accelerare i calcoli delle reti neurali profonde. Gli acceleratori AI Intel® Gaudi® 3 su IBM Cloud sono inoltre dotati di 128 GB di memoria HBM2E, offrono fino a 3,7 TB di larghezza di banda di memoria e supportano reti Ethernet standard di settore con porte 24x200 GbE, fornendo 9,6 Tbps di larghezza di banda bidirezionale per l'interconnettività scalabile del sistema.
Gli acceleratori AI Intel® Gaudi® 3 offrono un ampio supporto per le applicazioni AI, tra cui inferenza, generazione 3D, generazione di testo, classificazione, generazione di video, sentiment, traduzione, generazione di immagini, riepilogo e domande e risposte, con focus su multimodali, modelli linguistici di grandi dimensioni (LLM) e retrieval-augmented generation (RAG).
Con 128 GB di memoria HBM2E e fino a 3,7 TB/s di larghezza di banda di memoria, gli acceleratori AI Intel® Gaudi® 3 su IBM Cloud aiutano a garantire un rapido throughput dei dati veloci, riducendo i colli di bottiglia e consentendo agli sviluppatori di elaborare enormi set di dati in modo più rapido ed efficiente.
Gli acceleratori AI Intel® Gaudi® 3 su IBM Cloud sono integrati negli IBM Cloud Virtual Servers su IBM Cloud Virtual Private Cloud (VPC). L'IBM Cloud VPC è una rete SDN (Software-Defined Network) altamente resiliente e sicura su cui è possibile creare cloud privati isolati, mantenendo al contempo i benefici fondamentali offerti dal cloud pubblico. Il profilo del virtual server Intel® Gaudi® 3 su IBM Cloud VPC è una combinazione preconfigurata di vCPU, RAM e storage per avviare rapidamente un'istanza di virtual server.
Gli acceleratori AI Intel® Gaudi® 3 su IBM Cloud supportano i framework più diffusi, tra cui
PyTorch, ONNX e DeepSpeed. Su Hugging Face sono disponibili oltre 400.000 modelli, ottimizzati per l'uso con
libreria software Optimum Habana. L'intero supporto per la suite di software e il framework Intel® Gaudì® è progettato per agevolare la migrazione,
consentendo agli sviluppatori di integrare i modelli in uso con modifiche minime al codice.