Db2 Genius Hub: inferenza AI on-premise affidabile con Intel Gaudi 3
IBM Db2 Genius Hub è un'esperienza basata su AI progettata per portare intelligenza e autonomia direttamente nelle operazioni di database.
Via via che le aziende passano dalla sperimentazione dell’AI alla sua gestione operativa su larga scala, emerge una realtà chiara: l'AI deve funzionare in modo affidabile dove risiedono i dati aziendali. Per molte organizzazioni, questo significa eseguire i modelli AI localmente, più vicino ai sistemi di produzione, governati in modo rigoroso e progettati per garantire coerenza anziché scendere a compromessi.
In questo contesto, l'inferenza AI svolge un ruolo critico. L'inferenza è il momento in cui l'AI offre un valore reale interpretando i segnali, generando insight e guidando le azioni in tempo reale. Per i sistemi mission-critical come i database aziendali, le prestazioni di inferenza hanno un impatto diretto sulla fiducia operativa e sull'esperienza dell'utente.
Questa è la base su cui IBM Db2 Genius Hub offre autonomia basata su AI, ed è qui che l’inferenza con Intel Gaudi ha contribuito a migliorare l’esperienza AI on-premise.
IBM Db2 Genius Hub è un'esperienza basata su AI progettata per portare intelligenza e autonomia direttamente nelle operazioni di database. Correla continuamente i segnali di prestazione e il contesto operativo nell’intero ambiente Db2, aiutando i team a comprendere rapidamente cosa è cambiato, perché è successo e quali azioni intraprendere successivamente, grazie a raccomandazioni ottimali supportate da competenze esperte.
Al centro di questa esperienza c'è l'inferenza AI. Qualsiasi raccomandazione, spiegazione e insight generati da Db2 Genius Hub si basa sulla capacità di eseguire in modo efficiente modelli AI su dati operativi in tempo reale, spesso in ambienti complessi e su scala produttiva.
L'erogazione di questa funzionalità on-premise impone requisiti esigenti in termini di prestazioni, reattività e scalabilità. L'AI deve operare in modo sufficientemente rapido da poter essere fruibile, sufficientemente coerente da essere affidabile e sufficientemente efficiente da potersi integrare perfettamente nell'infrastruttura aziendale esistente.
È qui che i server di inferenza Intel Gaudi svolgono un ruolo fondamentale. Utilizzando Gaudi per accelerare i workload di inferenza AI, Db2 Genius Hub rafforza il modo in cui l'AI opera negli ambienti Db2 on-premise isolati. L’architettura multicard di Gaudi e il motore Red Hat vLLM, combinati con il supporto all’esecuzione simultanea di più istanze di LLM, consentono una distribuzione efficiente dei workload di inferenza e la gestione fluida di un elevato numero di richieste concorrenti. Questo design contribuisce a mantenere una latenza ottimale per ogni richiesta, offrendo un’esperienza utente più reattiva, coerente e avanzata per Db2 Genius Hub nelle implementazioni on-premise.
Questi miglioramenti supportano direttamente la missione di Db2 Genius Hub di ridurre il lavoro manuale e di far passare i team da una gestione reattiva delle emergenze a una gestione proattiva del database, mantenendo al contempo trasparenza, interpretabilità e controllo negli ambienti di produzione.
Offrire un'esperienza AI affidabile e di alta qualità negli ambienti on-premise richiede una stretta collaborazione tra i livelli tecnologici e i team. Richiede una validazione continua rispetto a workload reali, livelli di concorrenza reali ed esperienze utente reali.
Nell’ambito della collaborazione tra IBM e Intel, Db2 Genius Hub ha rappresentato un ambiente pratico e reale di validazione per l’inferenza con Intel Gaudi. L’attenzione non era rivolta solo alle prestazioni pure, ma anche al comportamento dell’inferenza in scenari aziendali realistici, dove più richieste arrivano contemporaneamente, la comprensione contestuale è fondamentale e la qualità delle risposte deve rimanere costante.
Una parte chiave di questo sforzo ha riguardato la valutazione degli agenti AI di Db2 Genius Hub utilizzando Gaudí come server di inferenza. Ciò includeva l'esecuzione di stress test esaustivi e valutazioni specifiche per il dominio in scenari come la ricerca contestuale e i workflow di chiamata di strumenti che rispecchiano il modo in cui gli utenti interagiscono con il sistema in produzione. Questi test sono stati eseguiti su diversi livelli di concorrenza per capire come le prestazioni di inferenza e la qualità della risposta abbiano resistito sotto carico.
Per ogni valutazione, i dati dettagliati delle risposte e i punteggi sono stati acquisiti e condivisi con il team intel. Questo ciclo di feedback ha reso possibile identificare problematiche più sottili (dalla coerenza delle risposte al degrado della qualità in condizioni di maggiore concorrenza) e affrontarle in modo iterativo. I miglioramenti sono stati quindi nuovamente testati, misurati e ulteriormente perfezionati.
Questa collaborazione sottolinea il valore di un approccio guidato dall'ecosistema all'innovazione dell'AI. Allineando le capacità hardware ai reali casi d’uso aziendali, IBM e Intel sono riuscite a migliorare la preparazione di Gaudi per l’AI in produzione, offrendo di fatto un’esperienza AI on-premise più reattiva, affidabile e di livello enterprise.