Infrastruttura per l'AI: perché lo storage è importante

Forse la tua organizzazione ha recentemente deciso di acquistare nodi di calcolo e iniziare a usare l'intelligenza artificiale (AI). Ci sono molti aspetti della tua infrastruttura IT e del landscape tecnologico da esaminare mentre ti prepari ai workload di AI, inclusi, e forse soprattutto, i tuoi sistemi di storage. L'AI è guidata dai dati, e il modo in cui i tuoi dati vengono memorizzati può influenzare significativamente l'esito del tuo progetto di AI. Non solo, ma le quattro diverse fasi dell'AI (inserimento, preparazione, addestramento e inferenza) hanno ciascuna esigenze e requisiti di storage differenti.

Purtroppo, alcune organizzazioni si concentrano sul lato computazionale dell'AI e trascurano il lato storage. Questo focus singolare può, e a volte lo fa, portare all'interruzione o al completo fallimento dei progetti di AI. Per facilitare la fase di addestramento dell'AI, sono necessarie enormi quantità di dati. Questi dati devono essere acquisiti, memorizzati e preparati in modo da poter essere "alimentati" nella fase di addestramento. Senza la possibilità di inserire, memorizzare e consumare i dati necessari per l'addestramento, il progetto sarà a rischio di fallimento.

I progetti di AI richiedono un'infrastruttura di storage con prestazioni, scalabilità e flessibilità eccellenti. La buona notizia è che gli storage odierni possono essere progettati appositamente per soddisfare le esigenze dei progetti di AI. Due grandi esempi sono Sierra e Summit, tra i supercomputer più potenti al mondo.

Ora, vediamo alcuni requisiti.

I requisiti per ogni fase della pipeline di AI devono essere rivisti in base al workload previsto per la tua applicazione di AI. I workload variano, ma alcune aziende che utilizzano grandi set di dati possono addestrare per lunghi periodi di tempo. Una volta completato l'addestramento, quei dati vengono spesso spostati fuori dalle piattaforme di storage critiche per prepararsi a un nuovo workload. Gestire manualmente i dati può essere una sfida, quindi è opportuno pianificare in anticipo come i dati vengono posizionati sullo storage e dove verranno trasferiti una volta completato l'addestramento. Trovare una piattaforma che possa spostare i dati automaticamente per te ti avvicina di un passo a una gestione efficiente e capace dello storage per l'AI.

Dopo aver esaminato le implicazioni delle tue esigenze di workload, puoi decidere quali tecnologie di storage funzionano meglio per la tua infrastruttura di calcolo AI e il tuo progetto.

Data ingestion. I dati non elaborati per i workload dell'AI possono provenire da una varietà di fonti di dati strutturati e dati non strutturati, e serve un luogo molto affidabile dove memorizzare i dati. Il mezzo di storage potrebbe essere un data lake o un tier ad alte prestazioni, come flash storage, specialmente per real-time analytics.

Preparazione dei dati. Una volta memorizzati, i dati devono essere preparati poiché sono in formato "grezzo". I dati devono essere elaborati e formattati per il consumo nelle fasi rimanenti. Le prestazioni di I/O dei file sono un aspetto molto importante da considerare in questa fase, poiché si ha un mix di letture e scritture casuali. Prenditi il tempo necessario per capire quali sono le esigenze di prestazioni della tua pipeline di AI. Una volta formattati, i dati verranno inviati alle reti neurali per l'addestramento.

Addestramento e inferenze. Queste fasi sono molto impegnative dal punto di vista del calcolo e in genere richiedono lo streaming dei dati nei modelli di addestramento. L'addestramento è un processo iterativo, che richiede impostazioni e reimpostazioni, ed è utilizzato per creare i modelli. L'inferenza può essere pensata come la somma dei dati e dell'addestramento. Le GPU nei server e l'infrastruttura di storage diventano molto importanti in questo caso, a causa della necessità di una bassa latenza, di un elevato throughput e di tempi di risposta rapidi. Le tue reti di storage devono essere progettate per gestire questi requisiti così come la data ingestion e la preparazione dei dati. Su larga scala, questo mette sotto pressione molti sistemi di storage, specialmente quelli non preparati per workload di AI, quindi è importante considerare specificamente se la tua piattaforma di storage sia in grado di gestire le esigenze di workload in linea con i tuoi obiettivi aziendali.

Considera anche questo: la tua infrastruttura di storage è facilmente scalabile? È possibile espandere il sistema di storage man mano che aumentano le esigenze di dati? Si tratta di domande molto importanti che hanno un impatto diretto sui requisiti della tua infrastruttura di AI.

Assicurati di poter scalare la tua infrastruttura di storage con il minimo o nessun disturbo delle tue operazioni produttive, tenendo il passo con la crescita dei dati nella tua azienda. Sii abbastanza flessibile da considerare diverse configurazioni di storage per le diverse esigenze dell'infrastruttura AI.

Un'attenta pianificazione, che abbini i requisiti dei server e dei modelli di AI all'infrastruttura di storage, ti aiuterà a ottenere il massimo dagli investimenti e a portare al successo i tuoi progetti di AI.

Questi consigli sono solo un punto di partenza. Tieni sempre presente che, se nella tua organizzazione non disponi delle competenze necessarie per progettare e implementare l'infrastruttura di storage adeguata per l'AI, dovresti collaborare con il tuo fornitore per ricevere supporto nella preparazione dei sistemi di storage per l'AI.

E se hai domande o cerchi supporto per pianificare e preparare un progetto di AI con IBM Storage, non esitare a contattare IBM Systems Lab Services.