NPU o GPU: qual è la differenza?

Le GPU contengono migliaia di core per ottenere le attività di calcolo rapide e precise necessarie per il rendering grafico. Le NPU danno priorità al flusso di dati e alla gerarchia della memoria per una migliore elaborazione dei workload di AI in tempo reale.

Entrambi i tipi di microprocessori eccellono nei tipi di elaborazione parallela utilizzati nell'AI, ma le NPU sono progettate appositamente per attività di apprendimento automatico (ML) e intelligenza artificiale. 

Le unità di elaborazione neurale (NPU) stanno vivendo un momento di rinnovata popolarità, ma perché questa tecnologia vecchia di quasi dieci anni sta improvvisamente rubando i riflettori? La risposta ha a che fare con i recenti progressi nell'AI generativa che hanno riacceso l'interesse del pubblico per le applicazioni di AI e, per estensione, per i chip acceleratori AI come NPU e GPU. 

L'architettura NPU è molto diversa da quella della CPU o della GPU. Progettate per eseguire le istruzioni in sequenza, le CPU presentano meno core di elaborazione rispetto alle GPU, che ne hanno molti di più e sono progettate per operazioni che richiedono alti livelli di elaborazione parallela. 

Mentre le CPU fanno fatica con le attività di elaborazione parallela e le GPU eccellono a costo di un elevato consumo energetico, l'architettura NPU funziona in modo eccellente imitando il modo in cui il cervello umano elabora i dati. Più che aggiungere semplicemente core aggiuntivi, le NPU raggiungono un elevato parallelismo con un minore consumo di energia grazie a una serie di caratteristiche e tecniche uniche:

• Unità di calcolo specializzate: le NPU integrano hardware dedicato per le operazioni di moltiplicazione e accumulo, essenziali per l'addestramento e l'inferenza dei modelli di rete neurale.

• Memoria su chip ad alta velocità: per ridurre al minimo i colli di bottiglia legati all'accesso alla memoria, le NPU presentano caratteristiche di memoria integrata ad alta velocità, che consente un rapido accesso ai dati e ai pesi del modello.

• Architettura parallela: le NPU sono progettate per eseguire migliaia di operazioni parallele, cosa che le rende estremamente efficienti nell'elaborazione di batch di dati.

Quando si confrontano NPU e GPU, può essere utile valutare le prestazioni tra le caratteristiche principali.

• Le GPU sono progettate per suddividere le attività più impegnative di elaborazione delle immagini in operazioni più piccole che possono essere elaborate in parallelo.   

• Le NPU sono progettate per imitare il cervello umano con moduli che accelerano le operazioni di moltiplicazione e addizione, migliorando al contempo la memoria on-chip.

• Le GPU offrono eccellenti capacità di elaborazione parallela , ma ciò comporta un elevato consumo energetico. 

• Le NPU offrono un parallelismo uguale (o addirittura migliore), soprattutto quando si tratta di calcoli brevi e ripetitivi. Progettate per gestire i tipi di algoritmi di AI utilizzati nelle reti neurali, le NPU sono particolarmente adatte per l'elaborazione di set di dati su larga scala che richiedono moltiplicazioni di matrici.

• Le GPU, sebbene più specializzate delle CPU, sono più adatte all'elaborazione generica.

• Le NPU sono processori specializzati creati appositamente per attività di AI e machine learning. Eliminano alcune delle caratteristiche in eccesso utilizzate dalle GPU per ottimizzare l'efficienza energetica.

• Le GPU, in quanto predecessori delle NPU, traggono beneficio da un ambiente più sviluppato e sono ampiamente disponibili sul mercato dei consumatori. Disponibile per professionisti e appassionati, il linguaggio CUDA di Nvidia consente una facile programmazione delle GPU con compilazione open source per vari sistemi operativi. 

• Le NPU sono più recenti delle GPU e sono generalmente meno accessibili. Molte NPU proprietarie, come la Tensor Processing Unit (TPU) di Google o lo Snapdragon di Qualcomm (utilizzato da Apple), potrebbero non essere disponibili per il mercato più ampio. I chip NPU prodotti da produttori come Intel o AMD hanno relativamente meno risorse comunitarie.

• Le GPU sono spesso utilizzate nei giochi e nell'animazione al computer, dove le schede grafiche sono responsabili dell'ottimizzazione dell'elaborazione delle immagini. Sono efficaci anche in altre applicazioni che richiedono alti livelli di parallelismo, come nei data center, nel mining di criptovalute o nell'addestramento di modelli AI.

• Le NPU sono utilizzate in un ambito più mirato e offrono un parallelismo eccezionale richiedendo meno energia. Solitamente combinate con le GPU, le NPU scaricano le attività di AI più impegnative e sono più adatte per attività di machine learning come l'elaborazione di workload di AI in modelli linguistici di grandi dimensioni (LLM), il riconoscimento di immagini tramite deep learning o blockchain e AI. 

L'integrazione delle NPU nei sistemi integrati offre una serie di vantaggi importanti rispetto ai processori tradizionali in termini di velocità, efficienza e convenienza, fra cui:

• Localizzazione: l'elaborazione delle applicazioni di AI richiede risorse di calcolo significative e, per questo motivo, è spesso relegata nel cloud. Tuttavia, affidarsi a un server distante può rallentare le operazioni e lasciare le informazioni sensibili vulnerabili a possibili fughe di dati. Le NPU consentono l'elaborazione localizzata e in tempo reale delle attività di AI, riducendo la latenza per applicazioni critiche come il riconoscimento vocale o facciale, la diagnostica medica e i sistemi di guida automatizzata. 

• Gestione delle risorse: le NPU comunemente integrate aiutano a ottimizzare le risorse complessive del sistema occupandosi delle attività ripetitive necessarie per le applicazioni AI. Il trasferimento di questi tipi di attività su una NPU libera risorse della GPU per elaborare grandi volumi di dati per calcoli più generali.

• Efficienza: mentre le GPU sono in grado di gestire molte attività impegnative associate all'AI, le NPU sono costruite appositamente per queste richieste e possono soddisfare benchmark di prestazioni simili o addirittura migliori, richiedendo al contempo una potenza esponenzialmente inferiore, una caratteristica particolarmente preziosa per i dispositivi alimentati a batteria con capacità finita. 

Come coprocessore, le NPU sono in uso da diversi anni, in genere integrate con le GPU per fornire supporto per specifiche attività ripetitive. Le NPU continuano ad essere utili nella tecnologia di livello consumatore (come AI Copilot di Microsoft Windows) e in vari dispositivi Internet of Things (IoT), come gli altoparlanti intelligenti che utilizzano le NPU per l'elaborazione del riconoscimento vocale. 

Tuttavia, i recenti sviluppi nella tecnologia dell'AI hanno posto maggiore attenzione su questo tipo di processore, poiché modelli di AI più avanzati hanno introdotto strumenti di livello consumer nel dibattito pubblico. È progettato specificamente per attività di AI impegnative come l'elaborazione del linguaggio naturale, poiché l'interesse per l'AI di livello consumatore cresce, così come l'interesse per le NPU. 

I principali casi d'uso per le NPU includono:

• Intelligenza artificiale e modelli linguistici di grandi dimensioni: le NPU sono appositamente progettate per migliorare le prestazioni dei sistemi di AI e ML, come i modelli linguistici di grandi dimensioni (LLM) che richiedono un'elaborazione adattiva a bassa latenza per interpretare i segnali multimediali, eseguire il riconoscimento vocale e generare una risposta naturale. Le NPU sono anche abili nelle attività di elaborazione video basate sull'AI, come la sfocatura dello sfondo delle videochiamate o la modifica automatica delle immagini.   

• Dispositivi Internet of Things (IoT): a basso profilo ed efficienti dal punto di vista energetico, le NPU sono un potente coprocessore per piccoli dispositivi intelligenti come smartphone, dispositivi mobili e indossabili in cui la potenza della batteria è un vantaggio e l'efficienza è prioritaria.

• Data center: noti per l'elaborazione di workload impegnativi, i data center traggono beneficio dall'efficiente ottimizzazione delle risorse offerta dalle NPU. 

• Veicoli autonomi e robotica: dalle auto a guida autonoma ai veicoli aerei autonomi (droni), le NPU aggiungono valore ai sistemi di guida autonoma grazie al miglior parallelismo della categoria e a una migliore velocità di elaborazione del segnale. Le NPU a bassa latenza sono una scelta eccellente per le applicazioni che richiedono la computer vision e aiutano i veicoli autonomi a rispondere in tempo reale a condizioni di traffico e ambientali improvvise. La robotica basata sull'AI, dagli assistenti domestici agli strumenti chirurgici automatizzati, si affida alle NPU per sviluppare la capacità di rilevare, apprendere e reagire ai loro ambienti. 

• Edge computing e edge AI: l'edge computing e l'edge AI cercano di avvicinare fisicamente i dati e le risorse di calcolo critici agli utenti per ridurre la latenza, mitigare il consumo energetico e rafforzare la privacy. Poiché richiedono meno energia e offrono un'impronta fisica ridotta, le NPU stanno diventando un componente prezioso dell'edge computing e dell'AI sui dispositivi. 

Prima delle NPU, le GPU sono state a lungo preferite per le attività informatiche che richiedono un'elaborazione parallela ad alte prestazioni. Originariamente progettate per gestire grafica complessa per videogiochi e software di immagini/video, le GPU Continua ad essere utilizzate nei giochi per PC e console, nonché nella realtà virtuale e realtà aumentata, nell' elaborazione ad alte prestazioni (HPC), nel rendering 3D, nei data center e in altre applicazioni. 

Vediamo nel dettaglio alcune delle più importanti e moderne applicazioni della tecnologia GPU, tra cui:

• Intelligenza artificiale (AI), machine learning (ML) e deep learning (DL): sebbene non siano specificamente progettate per attività di AI, ML o DL, le GPU sono alla base di molte delle principali applicazioni di AI, come il supercomputer AI cloud-native di IBM® Vela, che richiedono un parallelismo ad alta velocità per elaborare grandi set di dati per la formazione. Attraverso l'elaborazione parallela, le GPU possono simulare il processo decisionale del cervello umano utilizzato nell'ML e nel DL. 

• Cloud computing: negli ultimi anni, il cloud computing è diventato una parte cruciale dell'infrastruttura IT in tutti i principali settori. La possibilità di delegare importanti attività di elaborazione a potenti server memorizzati fuori sede richiede immense capacità di trattamento dei dati. Le GPU abilitano il cloud computing accelerando l'analytics dei big data e query sui database tramite il calcolo parallelo. 

• Visualizzazione e simulazione: progettate appositamente per elaborare la grafica, le GPU aggiungono un enorme valore in tutti i settori per attività che richiedono visualizzazioni o simulazioni complesse, tra cui procedure dettagliate sui prodotti, disegni CAD ingegneristici, imaging medico e modellazione sismica e geofisica. In altri ambienti, gli scienziati del clima utilizzano simulazioni basate su GPU per prevedere le condizioni meteorologiche, mentre i fisici teorici le usano per modellare il comportamento delle particelle a livello di quantum.  

• Blockchain: le tecnologie blockchain fanno largamente affidamento sulla tecnologia GPU, soprattutto quando si tratta di convalidare il "proof of work". In molte applicazioni blockchain ampiamente utilizzate, come la criptovaluta Bitcoin, vengono eseguiti calcoli proof-of-work per confermare che qualsiasi aggiornamento apportato al registro generale sia accurato. Questo livello di calcolo è molto impegnativo perché ha un impatto sull'intera blockchain e non sarebbe possibile senza le GPU moderne.

• Gaming e metaverso: poiché l'industria dei videogiochi continua a crescere a livelli stellari, aumenta anche la richiesta di grafiche sempre migliori, giochi MMO (Massively Multiplayer Online) sempre più grandi e un rendering ad alta intensità di calcolo che abiliti giochi di realtà virtuale e realtà aumentata. Gli sviluppatori di giochi e i produttori di computer si affidano alle GPU per alimentare caratteristiche di gioco all'avanguardia, come frequenze di aggiornamento delle immagini elevate e il ray-tracing avanzato utilizzato nel rendering di ambienti iperrealistici. 

• Elaborazione video e creazione di contenuti: dalla loro introduzione, le GPU hanno ridotto costantemente i frustranti tempi di rendering per i prodotti di montaggio video più diffusi, tra cui Final Cut Pro e Adobe Premiere. Oggi, le GPU dotate di NPU integrate velocizzano notevolmente le attività di creazione e modifica di video per qualsiasi cosa, dalle suite di montaggio professionali utilizzate dai principali studi di Hollywood alle app per smartphone utilizzate da YouTuber e TikToker.

Le NPU sono utilizzate al meglio all'interno di sistemi integrati che ottimizzano le operazioni per allocare tipi specifici di risorse a tipi specifici di processori. Progettate per un calcolo preciso e lineare, le CPU vengono allocate preferibilmente su processi generici come la gestione di sistemi e risorse, mentre le GPU sono specializzate per carichi di lavoro intensi che traggono vantaggio dal calcolo parallelo.

Man mano che le applicazioni diventano più diffuse, è meglio distribuire NPU ancora più specializzate come complemento a CPU e GPU per gestire compiti specifici di AI e ML con un'elaborazione parallela a bassa latenza e altamente efficiente dal punto di vista energetico.