Gestione dei workload di AI su larga scala

Lo spostamento delle applicazioni dai programmi pilota alla piena produzione è il punto in cui le operazioni si complicano. Una società di servizi finanziari, ad esempio, spesso esegue un modello di rilevamento delle frodi che valuta le transazioni in tempo reale insieme a un assistente rivolto ai clienti. Ognuno di questi scenari ha requisiti di latenza, esigenze di residenza dei dati e controlli di conformità differenti.

Oggi, la maggior parte delle organizzazioni aziendali in produzione gestisce molti sistemi di questo tipo contemporaneamente. Le sfide non diventano più facili man mano che vengono aggiunti altri sistemi; invece, si moltiplicano. In uno studio dell'IBM Institute for Business Value (IBV), il 77% dei dirigenti afferma di dover adottare rapidamente l'AI per rimanere competitivi. Tuttavia, solo il 25% è fortemente d'accordo sul fatto che l'infrastruttura IT della propria organizzazione sia in grado di sostenere la scalabilità dell'AI in tutta l'impresa.

L'addestramento del modello e l'inferenza dell'AI hanno esigenze diverse. L'addestramento richiede un calcolo massiccio in esecuzione continua su cluster di processori specializzati. L'inferenza, al contrario, si svolge in produzione, dove latenza e disponibilità contano più della potenza di calcolo grezza.

Secondo McKinsey, si prevede che i workload di inferenza rappresenteranno più della metà di tutto il calcolo dell'AI entro il 2030. Questo cambiamento significa che l'esecuzione efficiente dei modelli sta diventando una preoccupazione aziendale tanto urgente quanto la loro creazione.¹

Data tutta questa complessità, gestire i workload dell'AI su larga scala non è solo un problema tecnologico. Si tratta di un'operazione operativa. Le organizzazioni che svolgono bene questo lavoro sono quelle che stabiliscono le best practice in materia di infrastrutture, governance e operazioni quotidiane.

Rispetto ai workload tradizionali, i workload di AI elaborano in genere dati non strutturati (ad esempio, immagini, testo, audio) che introducono complessità per le quali le infrastrutture IT standard non sono state progettate.

L'elaborazione diventa la risorsa più sollecitata. L'addestramento e l'inferenza richiedono unità di elaborazione grafica (GPU) e unità di elaborazione tensoriale (TPU), che sono più costose da fornire e gestire rispetto al calcolo standard. Di conseguenza, la prevedibilità dei costi e l'allocazione delle risorse diventano sfide continue.

L'infrastruttura del data center aggiunge un altro livello. I workload di addestramento AI richiedono cluster di calcolo ad alta densità con raffreddamento avanzato, mentre i workload di inferenza necessitano di un accesso a bassa latenza ai dati e alle applicazioni. Entrambi mettono sotto pressione le infrastrutture dei data center più vecchie. Anche i vincoli energetici stanno influenzando sempre più la scalabilità, rendendo la disponibilità di energia una preoccupazione importante.

Anche i requisiti di prestazioni diventano più complessi. Ritardi e colli di bottiglia non possono ostacolare le applicazioni di produzione e i workload di inferenza devono essere posizionati vicino ai dati e alle applicazioni che servono, come le impostazioni edge.

La governance comporta anche complessità a livello organizzativo e di conformità. Con la moltiplicazione dei sistemi, mantenere data lineage coerente, audit trail e controlli di cybersecurity diventa sempre più difficile. I requisiti di residenza e di sovranità dei dati, che variano a seconda della regione, aggiungono ulteriori sfide, soprattutto per le organizzazioni che operano a livello transfrontaliero.

Infine, l'esperienza operativa crea un divario di competenze per molte imprese. L'esecuzione di workload in produzione richiede competenze in ingegneria dei dati, operazioni di machine learning (MLOps) e gestione dell'infrastruttura che molte organizzazioni stanno ancora sviluppando.

Gestire più sistemi in diverse fasi del ciclo di vita va anche oltre i workflow IT tradizionali. Molti team non sono preparati alla complessità che ne consegue.

Le sfide associate ai workload di AI sono reali, ma sono gestibili. Le seguenti pratiche operative, applicate in modo coerente, possono fare la differenza nella gestione dei workload di AI su larga scala.

Non tutti i workload di AI hanno gli stessi requisiti e trattarli come se li avessero porta a uno spreco di risorse e a problemi di prestazioni. L'adattamento di calcolo, storage e rete alle esigenze di ciascun workload mantiene i costi prevedibili.

Gli strumenti di pianificazione del workload aiutano i team ad allocare l'elaborazione in modo efficiente ed evitare un acquisto eccessivo di risorse GPU negli ambienti di produzione.

Quando ogni team distribuisce in modo diverso, la risoluzione dei problemi diventa isolata.

Pipeline di dati AI coerenti, strumenti di monitoraggio condivisi e processi operativi comuni riducono tale attrito con l'aumentare del numero di sistemi. I nuovi team si aggiornano più velocemente e la qualità è più facile da mantenere.

I requisiti di conformità sono molto più facili da inserire fin dall'inizio che da aggiungere in seguito.

Le organizzazioni che trattano la residenza dei dati, gli audit trail e i controlli degli accessi come requisiti del primo giorno, anziché come un ripensamento, sono quelle che rielaborano meno quando le normative cambiano. Per le organizzazioni che lavorano in più regioni, dove i requisiti possono differire in modo significativo, questo lavoro è essenziale.

Eseguire AI in produzione richiede persone che comprendano l'ingegneria dei dati, le operazioni dei modelli e la gestione delle infrastrutture. Nella maggior parte delle organizzazioni, questa combinazione è ancora in fase di costruzione.

Che si tratti di assunzioni, formazione o partnership esterne, colmare questo divario in anticipo permette di far funzionare le operazioni senza intoppi e di tenere sotto controllo i costi.

Un modello che funziona bene al momento del lancio non funzionerà necessariamente bene sei mesi dopo. I dati si spostano, le condizioni cambiano e l'accuratezza si allontana in modi che non sono sempre evidenti fino a quando non viene influenzato un risultato aziendale.

Strumenti di observability come Prometheus e IBM Turbonomic sono una parte critica di qualsiasi distribuzione in produzione, monitorando latenza, throughput e prestazioni del modello nel tempo. I programmi di riqualificazione e le revisioni della manutenzione ordinaria evitano che i piccoli problemi diventino più grandi.

Un sistema è gestibile. Dieci sistemi in più ambienti, con team, fornitori e requisiti di conformità differenti, è uno scenario molto più complesso.

Le organizzazioni che crescono senza essere costantemente in crisi sono quelle che mettono in atto una struttura fin dalle prime fasi. Questo significa processi chiari, proprietà definita e strumenti per mantenere la visibilità su tutti i workload di AI in produzione.

Affrontare le sfide della gestione di workload di AI scalabili richiede un'infrastruttura AI specializzata. Questa infrastruttura include hardware, software, risorse di rete e storage che possono supportare la costruzione, l'addestramento e la distribuzione di grandi modelli AI, come modelli linguistici di grandi dimensioni (LLM), tra data center e data center AI. Dalla distribuzione del modello al monitoraggio continuo, ogni fase ha esigenze infrastrutturali distinte.

I componenti dell'infrastruttura per la gestione dei workload di AI su larga scala includono i seguenti elementi:

• Hybrid cloud
• Risorse di elaborazione
• Microservizi
• Containerizzazione e Kubernetes
• Pipeline e storage dei dati
• MLOps e GenAIOps

Oggi, le organizzazioni si affidano a ambienti multicloud ibridi che combinano servizi cloud pubblici di diversi fornitori e si estendono sulle infrastrutture di più provider di cloud.

Nessun singolo ambiente IT è in grado di gestire ogni requisito di workload AI. Le piattaforme cloud, ospitate da fornitori come Amazon Web Services (AWS), Microsoft Azure, IBM Cloud e Google Cloud, offrono capacità GPU on-demand adatte a workload su larga scala in contesti hyperscale. Detto questo, i workload di inferenza legati ai dati sensibili dei clienti spesso devono rimanere on-premise o in un cloud privato per soddisfare i requisiti normativi.

L'hybrid cloud offre alle organizzazioni la flessibilità di prendere tali decisioni di collocamento in base alle esigenze di ogni workload, consentendo al contempo alle tecnologie cloud-native di funzionare costantemente tra gli ambienti.

I workload dell'AI, in particolare l'addestramento dei modelli, richiedono risorse di calcolo specializzate, incluse GPU (come NVIDIA) e TPU, piuttosto che le unità di elaborazione centrale (CPU) che alimentano i sistemi aziendali tradizionali.

Framework come TensorFlow e PyTorch sono costruiti per funzionare su questo hardware e sono comunemente utilizzati per testare le prestazioni prima di passare i workload in produzione. Monitorare l'utilizzo della GPU e delle risorse sia nei cicli di addestramento che di inferenza è essenziale per mantenere l'efficienza dei costi man mano che le implementazioni crescono.

Molte organizzazioni stanno costruendo o trasformando applicazioni AI per utilizzare l'architettura dei microservizi, che suddivide le applicazioni in componenti più piccoli, liberamente accoppiati, incentrati su specifiche funzioni aziendali.

Questo approccio rende più facile sviluppare, scalare e aggiornare i workload dell'AI in modo indipendente ed è una parte importante della containerizzazione per la distribuzione in ambienti ibridi.

La comprensione di come gestire i workload di AI containerizzati su larga scala inizia con i container, che sono le unità di calcolo di fatto della moderna infrastruttura cloud-native. I container raggruppano le applicazioni e le loro dipendenze in unità portatili attraverso un runtime di container come Docker, che è una piattaforma open source che viene eseguita in modo coerente in tutti gli ambienti.

La piattaforma di orchestrazione dei container Kubernetes può automatizzare come questi container vengono distribuiti, scalati e gestiti attraverso cluster Kubernetes, che comprendono nodi come macchine fisiche o virtuali. Questo approccio garantisce che i workload di AI siano distribuiti e le risorse utilizzate in modo efficiente tramite bilanciamento del carico e autoscaling.

Ogni workload gira in un proprio pod, che Kubernetes programma e monitora. Un workload di AI costruito e testato in un ambiente può passare a un altro senza essere ricostruito quando i sistemi devono passare da on-premise a cloud.

La costruzione e l'addestramento di modelli richiede un accesso rapido a grandi set di dati attraverso pipeline di dati affidabili. I sistemi comunicano tramite application programming interface (API), rendendo essenziale l'instradamento, l'accesso e l'Integrazione costanti tra ambienti man mano che aumenta il numero di modelli.

I workload di inferenza AI necessitano di connessioni a bassa latenza con i dati e le applicazioni AI che servono in produzione. Man mano che il numero di sistemi in un'organizzazione cresce, cresce anche la difficoltà di gestire il movimento dei dati, mantenere la qualità e assicurarsi che i dati giusti raggiungano il modello giusto. Questa tecnologia è il punto in cui entra in gioco l'AI storage.

MLOps applica i principi DevOps al ciclo di vita del machine learning (ML) e dell'AI, inclusi la costruzione, il test, la distribuzione e il monitoraggio di modelli tramite pipeline CI/CD. Questo ciclo di vita comprende la messa a punto del modello attraverso la gestione continua della produzione.

Senza operazioni di machine learning (MLOPs), i modelli vanno alla deriva, la riqualificazione rimane indietro e i team perdono la visibilità sulle metriche chiave delle prestazioni, come latenza e throughput.

GenAIOps estende MLOps all'AI generativa, dove foundation model, sistemi RAG e agenti AI introducono nuovi modelli operativi. Un chatbot tradizionale che recupera informazioni è relativamente semplice da monitorare. Un sistema agentic AI, come un agente virtuale, può operare in modo non lineare, scegliendo tra azioni e apportando aggiustamenti su più sistemi e endpoint.

Gestire workload di AI scalabili offre una serie di benefici per le aziende che eseguono sistemi AI complessi:

• Visibilità e controllo centralizzati: l'observability delle implementazioni e delle prestazioni dell'AI rende più facile la gestione su larga scala e l'individuazione dei problemi prima che si ripercuotano sul business. La portabilità tra ambienti significa anche che i team non sono vincolati a un unico approccio infrastrutturale man mano che le esigenze cambiano.

• Efficienza operativa: strumenti e pratiche di implementazione coerenti tra i team mantengono le operazioni in esecuzione in modo affidabile man mano che il numero di sistemi AI cresce, garantendo che le funzionalità principali rimangano stabili man mano che vengono aggiunte nuove funzionalità.

• Controllo dei costi: senza una corretta orchestrazione, le risorse della GPU vengono sprecate o acquistate in eccesso. La gestione delle risorse supporta l'efficacia dei costi man mano che crescono le distribuzioni dell'AI.

• Velocità di commercializzazione: i team con i processi giusti sono in grado di lavorare più velocemente. Ciò che una volta richiedeva mesi può accadere in poche settimane quando l'infrastruttura e i processi AI giusti saranno in atto.

• Conformità e governance: con l'evolversi delle normative, le organizzazioni con gestione del workload con AI sono meglio posizionate per soddisfare i requisiti di residenza dei dati, audit e trasparenza.

• Innovazione su larga scala: l'infrastruttura e le pratiche operative giuste consentono ai team di concentrarsi sull'innovazione piuttosto che sulla risoluzione dei problemi.

La gestione dei workload di AI su larga scala si svolge in modo diverso a seconda dei settori, ma le sfide principali, tra cui costi, conformità e affidabilità, sono in gioco in ogni settore.

Ecco alcuni esempi.