Cos'è la segmentazione delle immagini?

La classificazione delle immagini applica un'etichetta di classe a un'intera immagine. Ad esempio, un semplice modello di classificazione delle immagini potrebbe essere addestrato a classificare le immagini di veicoli come "auto" o "camion". I sistemi convenzionali di classificazione delle immagini hanno un livello di sofisticazione limitato, poiché non elaborano separatamente le singole caratteristiche dell'immagine.

Il rilevamento degli oggetti combina la classificazione delle immagini con la localizzazione degli oggetti, generando regioni rettangolari, chiamate "riquadri di delimitazione", in cui si trovano gli oggetti: piuttosto che etichettare semplicemente un'immagine di un veicolo come "auto" o "camion", un modello di rilevamento degli oggetti potrebbe indicare dove si trovano le auto o i camion nell'immagine. Anche se il rilevamento degli oggetti è in grado di classificare più elementi all'interno di un'immagine e approssimare la larghezza e l'altezza di ciascun elemento, non può rilevare confini o forme precisi. Ciò limita la capacità dei modelli di rilevamento degli oggetti convenzionali di delineare oggetti strettamente raggruppati con riquadri di delimitazione sovrapposti.

La segmentazione delle immagini elabora i dati visivi a livello di pixel, utilizzando diverse tecniche per annotare singoli pixel come appartenenti a una specifica classe o istanza. Le tecniche di segmentazione delle immagini "classiche" determinano le annotazioni analizzando le qualità intrinseche di ciascun pixel (chiamate "euristiche") come il colore e l'intensità, mentre i modelli di deep learning impiegano complesse reti neurali per un riconoscimento sofisticato dei modelli. I risultati di questa annotazione sono maschere di segmentazione, che rappresentano il confine e la forma specifica, pixel per pixel, di ciascuna classe, solitamente corrispondente a diversi oggetti, caratteristiche o regioni dell'immagine. 

In generale, la segmentazione delle immagini viene utilizzata per tre tipi di attività: segmentazione semantica, segmentazione delle istanze e segmentazione panottica.

Alcune classi, in determinate condizioni di immagine, possono essere sia "cose" che "elementi". Ad esempio, un grande gruppo di gente può essere interpretato come più "persone" – ciascuna una cosadalla forma distinta e numerabile—o come un'unica "folla" di forma amorfa.

Sebbene la maggior parte degli sforzi di rilevamento degli oggetti si concentri principalmente sulle classi "cose", è importante considerare che gli oggetti "elementi" (cielo, muri, pavimenti, terreno) costituiscono la maggior parte del nostro contesto visivo. La classe "elementi" è un dato essenziale per identificare le cose e viceversa: una cosa metallica su una strada è di solito un'automobile; lo sfondo blu dietro una barca è probabilmente acqua, mentre lo sfondo blu dietro un aereo è probabilmente il cielo. Ciò è di particolare importanza per i modelli di deep learning.

Sebbene i metodi di segmentazione basati sul deep learning siano in grado di fornire una maggiore precisione e un'analisi delle immagini più sofisticata (soprattutto attività come la segmentazione panottica che richiedono una grande quantità di informazioni contestuali), i metodi tradizionali sono molto meno costosi e impegnativi dal punto di vista computazionale e possono risolvere determinati problemi in modo più efficiente.

Le comuni tecniche di segmentazione delle immagini tradizionali (o "classiche") includono:

• Soglia: i metodi di soglia creano immagini binarie, classificando i pixel in base al fatto che la loro intensità sia superiore o inferiore a un determinato "valore di soglia". Il metodo di Otsu viene spesso utilizzato per determinare il valore di soglia che minimizza la variazione all'interno della classe.

• Istogrammi: gli istogrammi, che tracciano la frequenza di determinati valori di pixel in un'immagine, vengono spesso utilizzati per definire le soglie. Ad esempio, gli istogrammi possono dedurre i valori dei pixel di sfondo, contribuendo a isolare i pixel dell'oggetto.

• Riconoscimento dei contorni: i metodi di riconoscimento dei contorni identificano i confini di oggetti o classi rilevando discontinuità nella luminosità o nel contrasto.

• Spartiacque: gli algoritmi spartiacque trasformano le immagini in scala di grigi, quindi generano una mappa topografica in cui "l'elevazione" di ogni pixel è determinata dalla sua luminosità. Regioni, confini e oggetti possono essere dedotti da dove si formano "valli", "dorsali" e "bacini idrografici".

• Segmentazione basata sulle regioni: a partire da uno o più "seed pixel", gli algoritmi di crescita delle regioni raggruppano pixel vicini con caratteristiche simili. Gli algoritmi possono essere agglomerativi o divisivi.

• Segmentazione basata su cluster: metodo di apprendimento non supervisionato, gli algoritmi di clustering suddividono i dati visivi in cluster di pixel con valori simili. Una variante comune è il K-means clustering, in cui k è il numero di cluster: i valori di pixel sono tracciati come punti di dati e i punti casuali k sono selezionati come centro di un cluster ("centroide"). " Ogni pixel viene assegnato a un cluster in base al baricentro più vicino, ovvero quello più simile. I centroidi vengono quindi riposizionati sul punto medio di ciascun cluster e il processo viene ripetuto, riposizionando i centroidi ad ogni iterazione finché i cluster non si sono stabilizzati. Il processo è visualizzato qui (link esterno a ibm.com).

Nonostante i compromessi in termini di requisiti di elaborazione e tempi di addestramento, i modelli di deep learning superano costantemente i modelli tradizionali e costituiscono la base della maggior parte dei progressi continui nella computer vision.

I principali modelli di deep learning utilizzati nella segmentazione delle immagini includono:

• Reti completamente convoluzionali (FCN): le FCN, spesso utilizzate per la segmentazione semantica, sono un tipo di rete neurale convoluzionale (CNN) senza livelli fissi. Una rete encoder passa i dati di input visivi attraverso livelli convoluzionali per estrarre le caratteristiche rilevanti per la segmentazione o la classificazione, e comprime (o sottocampiona) i dati di questa caratteristiche per rimuovere le informazioni non essenziali. Questi dati compressi vengono quindi inseriti nei livelli di decodifica , sovracampionando i dati delle caratteristiche estratte per ricostruire l'immagine di input con maschere di segmentazione.

• U-Net: le U-Net modificano l'architettura FCN per ridurre la perdita di dati durante il downsampling con skip connection, preservando maggiori dettagli bypassando selettivamente alcuni strati convoluzionali mentre le informazioni e i gradienti si muovono attraverso la rete neurale. Il suo nome deriva dalla forma dei diagrammi che dimostrano la disposizione dei suoi livelli.

• Deeplab: come le U-Net, Deeplab è un'architettura FCN modificata. Oltre a saltare le connessioni, utilizza la convoluzione dilatata (o "atrous") per ottenere mappe di output più grandi senza richiedere ulteriore potenza di calcolo.

• Mask R-CNN: la rete Mask R-CNN è un modello leader per la segmentazione delle istanze. Le reti Mask R-CNN combinano una rete di proposta regionale (RPN) che genera riquadri di delimitazione per ogni potenziale istanza con una "testa maschera" basata su FCN che genera maschere di segmentazione all'interno di ciascun riquadro di delimitazione confermato.

• Transformers: ispirati dal successo di modelli di trasformer come GPT e BLOOM nell'elaborazione del linguaggio naturale, nuovi modelli come Vision Transformer (ViT) che utilizzano meccanismi di attenzione al posto dei livelli convoluzionali hanno eguagliato o superato le prestazioni della CNN per le attività di computer vision.

Compiti diversi richiedono dati di addestramento diversi: un sistema di computer vision per auto a guida autonoma viene addestrato su immagini etichettate con classi semantiche come "persona", "auto", "corsia" e "segnale di stop", mentre i modelli di imaging medico richiedono l’ottimizzazione per il riconoscimento di classi specifiche di tessuti fisici, oppure tumori e altre patologie.

I dataset di addestramento devono essere attentamente pre-etichettati da esperti umani, il che può essere estremamente laborioso. La maggior parte dei modelli di segmentazione delle immagini utilizza dataset di grandi dimensioni open source. Questi dataset pubblici fungono anche da "verità fondamentale" quando si valuta il successo dei modelli addestrati: le metriche delle prestazioni sono spesso espresse come percentuale di risultati che corrispondono accuratamente alle annotazioni nel dataset di addestramento.

I dataset di addestramento più diffusi per i modelli di segmentazione delle immagini di deep learning includono:

• COCO (Common Objects in Context): un dataset su larga scala contenente oltre 330.000 immagini con segmenti annotati in 80 categorie di cose e 91 categorie di elementi.

• ADE20K: un dataset di segmentazione della scena creato da MIT contenente oltre 20.000 immagini con oltre 150 classi semantiche.

• Cityscapes: un dataset su larga scala incentrato sulle strade urbane. I suoi dati sono stati catturati in 50 città in vari giorni, periodi dell'anno e condizioni meteorologiche.

• Imaging medico: la segmentazione delle immagini ha molte applicazioni tra radiografia, risonanza magnetica (MRI), ecografia e tomografia computerizzata (CT), facilitando attività come il rilevamento di tumore, la segmentazione del cervello, la diagnosi di malattie e la pianificazione chirurgica.

• Veicoli autonomi: la segmentazione delle immagini consente alle auto a guida autonoma di evitare ostacoli come pedoni e altre auto, oltre a identificare corsie e segnali stradali. Viene utilizzata in modo analogo per informare la navigazione nella robotica.

• Immagini satellitari: la segmentazione semantica e di istanza automatizza l'identificazione di diversi terreni e caratteristiche topografiche.

• Città intelligenti: la segmentazione delle immagini consente attività come il monitoraggio e la sorveglianza del traffico in tempo reale.

• Produzione: oltre a rendere possibili attività di robotica, la segmentazione delle immagini consente l'ordinamento dei prodotti e il rilevamento dei difetti.

• Agricoltura: la segmentazione delle immagini aiuta gli agricoltori a stimare i rendimenti delle colture e a rilevare le erbacce da rimuovere.