Qu'est-ce que la segmentation d'images ?

La classification des images applique une étiquette de classe à une image entière. Par exemple, un simple modèle de classification des images peut être formé pour catégoriser les images des véhicules comme « voiture » ou « camion ». Les systèmes de classification des images conventionnels sont généralement peu sophistiqués, car ils ne traitent pas séparément les caractéristiques d'image individuelles.

La détection d'objets associe la classification d'image et la localisation d'objets, en générant des régions rectangulaires, appelées « cadres de délimitation », dans lesquelles les objets sont situés. Ainsi, au lieu de simplement étiqueter une image de véhicule comme « voiture » ou « camion », un modèle de détection d'objets pourrait indiquer où se trouvent la (les) voiture(s) ou le(s) camion(s) dans l'image. Bien que la détection d'objets puisse classer plusieurs éléments au sein d'une image et déterminer approximativement la largeur et la hauteur de chaque élément, elle ne peut pas discerner des formes ou des contours précis. Cela restreint la capacité des modèles conventionnels de détection d'objets à délimiter les objets très rapprochés avec des cadres de délimitation superposés.

La segmentation d'image traite les données visuelles au niveau du pixel, en utilisant diverses techniques pour annoter des pixels individuels comme appartenant à une classe ou une instance spécifique. Les techniques de segmentation d’image dites classiques déterminent les annotations en analysant les qualités inhérentes à chaque pixel (que l'on désigne comme « heuristiques ») telles que la couleur et l’intensité, tandis que les modèles d’apprentissage profond utilisent des réseaux neuronaux complexes pour une reconnaissance sophistiquée des formes. Les résultats de ce processus d'annotation sont des masques de segmentation, représentant la limite et la forme spécifiques, pixel par pixel, de chaque classe, ce qui correspond généralement à différents objets, entités ou régions au sein de l’image. 

D'une manière générale, la segmentation d'image est utilisée pour trois types de tâches : la segmentation sémantique, la segmentation d'instance et la segmentation panoptique.

Certaines classes, dans certaines conditions d'image, peuvent être à la fois des choses et des ensembles. Par exemple, un grand groupe de personnes peut être interprété comme plusieurs « personnes », chacune ayant une forme distincte et pouvant être comptée en tant que chose, ou comme une « foule » singulière et sans forme particulière.

Bien que la plupart des efforts de détection d'objets se concentrent principalement sur les classes d'objets, il est important de prendre en compte que les ensembles (ciel, murs, étages, sol) constituent la majeure partie de notre contexte visuel. Les ensembles constituent un point de données essentiel pour identifier des objets, et vice versa : une chose métallique sur une route est généralement une voiture ; le fond bleu derrière un bateau est probablement de l'eau, tandis que le fond bleu derrière un avion est probablement le ciel. Ceci est particulièrement important pour les modèles d’apprentissage profond.

Si les méthodes de segmentation basées sur l'apprentissage profond sont capables d'une plus grande précision et d'une analyse d'image plus sophistiquée, en particulier les tâches comme la segmentation panoptique qui nécessitent beaucoup d'informations contextuelles, les méthodes traditionnelles sont beaucoup moins coûteuses et exigeantes en termes de calcul, et peuvent résoudre certains problèmes de manière plus efficace.

Les techniques les plus répandues de segmentation d'images traditionnelles (dites « classiques ») comprennent :

• Le seuillage : les méthodes de seuillage créent des images binaires en classant les pixels selon que leur intensité est supérieure ou inférieure à une « valeur seuil » donnée. La méthode d'Otsu est souvent utilisée pour déterminer la valeur seuil qui minimise la variation intra-classe.

• Les histogrammes : les histogrammes, qui proposent un diagramme de la fréquence de certaines valeurs de pixel dans une image, sont souvent utilisés pour définir des seuils. Par exemple, ils peuvent déduire les valeurs des pixels d'arrière-plan, ce qui permet d'isoler les pixels des objets.

• La détection des arêtes : les méthodes de détection des arêtes identifient les contours des objets ou des classes en détectant les variations de luminosité ou de contraste.

• La ligne de partage des eaux : les algorithmes de partage des eaux transforment les images en niveaux de gris, puis génèrent une carte topographique dans laquelle « l'élévation » de chaque pixel est déterminée par sa luminosité. Les régions, les contours et les objets peuvent être déduits de la forme des « vallées », des « crêtes » et des « bassins versants ».

• La segmentation par régions : en commençant par un ou plusieurs « pixels de départ », les algorithmes de création des régions regroupent les pixels voisins présentant des caractéristiques similaires. Les algorithmes peuvent être agglomérants ou diviseurs.

• La segmentation par regroupement : les algorithmes de regroupement sont une méthode d'apprentissage non supervisé qui consiste à diviser les données visuelles en grappes de pixels présentant des valeurs similaires. Une variante commune est le regroupement par K-moyennes, dans laquelle K représente le nombre de grappes : les valeurs de pixel sont exprimées sous forme de points de données, et des points aléatoires K sont sélectionnés comme centre d'une grappe (et appelés « centroïdes »). Chaque pixel est attribué à un groupe en fonction du centroïde le plus proche, c'est-à-dire le plus similaire. Les centroïdes sont ensuite déplacés vers la moyenne de chaque grappe et le processus est répété, en déplaçant les centroïdes à chaque itération jusqu'à ce que les grappes soient stabilisées. Le processus est expliqué sous forme visuelle ici (lien externe à ibm.com).

Malgré les compromis en termes d'exigences informatiques et de temps d'apprentissage, les modèles d'apprentissage profond sont toujours plus performants que les modèles traditionnels et constituent la base de la plupart des progrès actuels dans le domaine de la vision par ordinateur.

Les modèles d'apprentissage profond les plus importants utilisés dans la segmentation d'image sont les suivants :

• Les réseaux entièrement convolutifs (FCN) : les FCN sont souvent utilisés pour la segmentation sémantique et sont un type de réseau neuronal convolutif (CNN) sans couche fixe. Un réseau d'encodeurs fait passer les données visuelles d'entrée à travers des couches convolutives afin d'extraire les caractéristiques pertinentes pour la segmentation ou la classification, et compresse (ou sous-échantillonne) ces caractéristiques pour supprimer les informations non essentielles. Ces données compressées sont ensuite introduites dans des couches de décodeurs , en sur-échantillonnant les caractéristiques extraites pour reconstruire l'image d'entrée à l'aide de masques de segmentation.

• Les réseaux U-Net : ils modifient l'architecture des FCN afin de réduire la perte de données lors du sous-échantillonnage grâce à des connexions résiduelles, préservant davantage de détails en contournant de manière sélective certaines couches convolutives à mesure que les informations et les gradients se déplacent à travers le réseau neuronal. Leur nom vient de la forme des diagrammes démontrant l'agencement des couches.

• Deeplab : tout comme les U-Nets, Deeplab est une architecture FCN modifiée. En plus des connexions résiduelles, il utilise une convolution dilatée (dite « à trous ») pour générer des cartes de sortie plus grandes sans nécessiter de puissance de calcul supplémentaire.

• Les Mask R-CNN : il s'agit d'un modèle leader en matière de segmentation d'instance. Les Mask R-CNN associent d'une part un réseau de proposition de région (RPN) qui génère des cadres de délimitation pour chaque instance potentielle, et d'autre part une « tête de masque » basée sur le FCN qui génère des masques de segmentation dans chaque cadre de délimitation confirmé.

• Les transformeurs : inspirés par le succès des modèles de transformeurs comme GPT et BLOOM dans le traitement automatique du langage naturel, de nouveaux modèles comme Vision Transformer (ViT) utilisant des mécanismes d’attention à la place des couches convolutives ont égalé voire dépassé les performances des CNN pour les tâches de vision par ordinateur.

Des tâches différentes nécessitent des données d'entraînement différentes : un système de vision par ordinateur pour voitures sans conducteur est formé sur des images étiquetées à l'aide de classes sémantiques telles que « personne », « voiture », « voie » et « arrêt », tandis que les modèles d'imagerie médicale nécessitent une optimisation des classes spécifiques de tissus physiques, de tumeurs ou d'autres pathologies.

Les ensembles de données d'entraînement doivent être soigneusement pré-étiquetés par des experts humains, ce qui peut être extrêmement laborieux. La plupart des modèles de segmentation d'image utilisent de grands ensembles de données open source. Ces ensembles de données publics servent également de « vérité terrain » lors de l'évaluation du succès des modèles entraînés : les indicateurs de performance sont souvent exprimés en pourcentage des résultats correspondant avec précision aux annotations de l'ensemble de données d'entraînement.

Les jeux de données d'entraînement les plus populaires pour les modèles de segmentation des images par apprentissage profond sont les suivants :

• COCO (Common Objects in Context) : un jeu de données à grande échelle contenant plus de 330 000 images avec des segments annotés dans 80 catégories de choses et 91 catégories d'ensembles.

• ADE20K : un jeu de données de segmentation de scènes créé par le MIT, contenant plus de 20000 et plus de 150 classes sémantiques.

• Cityscapes : un jeu de données à grande échelle axé sur les rues des villes. Ses données ont été capturées dans 50 villes à divers jours et périodes de l'année et dans diverses conditions météorologiques.

• Imagerie médicale : la segmentation d’image a de nombreuses applications dans les domaines de la radiographie, de l’imagerie par résonance magnétique (IRM), de l'échographie et de la tomodensitométrie (TDM). Elle permet de faciliter des tâches comme la détection de tumeurs, la segmentation du cerveau, le diagnostic de maladies et la planification chirurgicale.

• Véhicules sans conducteur : la segmentation des images permet aux voitures sans conducteur d'éviter les obstacles tels que les piétons et les autres voitures, ainsi que d'identifier les voies et les panneaux de signalisation. Elle est également utilisée pour informer la navigation dans la robotique.

• Imagerie satellite : la segmentation sémantique et la segmentation d'instance permettent d'automatiser l’identification de différents terrains et caractéristiques topographiques.

• Villes intelligentes : la segmentation des images alimente des tâches telles que la surveillance et la gestion du trafic en temps réel.

• Industrie : en plus d'alimenter les tâches robotiques, la segmentation d'image alimente le tri des produits et la détection des défauts.

• Agriculture : la segmentation d'image aide les agriculteurs à estimer les rendements des cultures et à détecter les mauvaises herbes à enlever.