Qu’est-ce que la segmentation sémantique ?

La segmentation sémantique identifie les ensembles de pixels et les classe en fonction de différentes caractéristiques. Les deux autres sous-catégories de la segmentation d’image sont la segmentation d’instances et la segmentation panoptique.

La segmentation d’image est un processus d’analyse d’image de bout en bout qui consiste à diviser une image numérique en plusieurs segments et à classer les informations contenues dans chaque région.

Lors des trois types de tâches de segmentation d’image (segmentation sémantique, d’instance et panoptique), on attribue une étiquette à chaque pixel de l’image afin de délimiter les contours et la forme des différents objets et régions de l’image. Leur classement se fait selon divers critères : couleur, contraste, position dans l’image, etc.

La segmentation sémantique associe une étiquette à chaque pixel contenu dans une image selon sa classe sémantique, tandis la segmentation d’instance et la segmentation panoptique sont utilisées à des fin de classification différentes.

Les modèles de segmentation d’instance se concentrent uniquement sur les classes sémantiques que l’on peut compter dans une image (entités et objets tels que les personnes, les animaux, les arbres, les voitures ou encore les hydrants). Ces modèles détectent chaque objet, ou instance, puis ils génèrent un masque de segmentation et une étiquette d’identification qu’ils lui attribuent.

Les modèles de segmentation panoptique combinent les deux types d’informations : en plus de procéder à une segmentation sémantique, ils détectent et segmentent chaque instance d’objet. Ils attribuent à chaque pixel une étiquette sémantique, mais aussi un identifiant d’instance unique (le cas échéant).

Les tâches de segmentation sémantique permettent aux machines de distinguer les différentes classes d’objets et régions d’arrière-plan dans une image. Avec l’essor de l’intelligence artificielle (IA) et du machine learning (ML), la segmentation d’image et la création de cartes de segmentation permettent d’entraîner les ordinateurs à comprendre le contexte important dans les images numériques telles que les paysages, les photos de personnes, l’imagerie médicale et bien plus encore.

Les modèles d’apprentissage conçus pour la segmentation d’image permettent aux machines de traiter l’information visuelle de la même manière que le cerveau humain. Bien que les modèles de segmentation d’image et les modèles de détection d’objets aient quelques usages en commun, un aspect important les différencie. En effet, pour identifier les différentes entités contenues dans une image, la segmentation d’image se concentre sur les pixels au lieu d’approximer l’information à l’aide d’une boîte de délimitation. En gros, sachant que les modèles de classification d’image déterminent ce que contient l’image (sans procéder à une localisation), et que les modèles de détection d’objets déterminent la position de l’objet dans l’image, seuls les modèles de segmentation d’image sont capables de déterminer la forme et les contours des entités dans une image.¹

Grâce à l’efficacité des algorithmes d’apprentissage profond qui les aident à interpréter les images comme des données, les machines identifient de mieux en mieux les objets. Alors que la classification leur permet de comprendre quelles informations sont contenues dans une image, la segmentation sémantique aident les machines à identifier l’emplacement précis des différents types d’informations visuelles et à déterminer où commence et où se termine chaque unité.

Les modèles de segmentation sémantique créent une carte de segmentation de l’image en entrée. Cette carte de segmentation est une reconstruction de l’image initiale, dans laquelle chaque pixel se voit attribuer un code couleur en fonction de sa classe sémantique pour générer des masques de segmentation. Le masque de segmentation n’est rien d’autre qu’une partie de l’image qui a été isolée des autres régions. Par exemple, la carte de segmentation d’un arbre dans un champ désert comporterait trois masques de segmentation : un pour l’arbre, un pour le sol et un pour le ciel en arrière-plan.

Pour ce faire, les modèles de segmentation sémantique s’appuient sur des réseaux neuronaux complexes qui leur permettent de regrouper avec précision les pixels connexes en masques de segmentation et d’identifier correctement la classe sémantique réelle de chaque groupe de pixels (ou segment). Ces méthodes d’apprentissage profond exigent un modèle qui soit entraîné sur des jeux de données volumineux, pré-étiquetés et annotés par l’humain pour ajuster ses pondérations et éliminer les biais grâce à des techniques de machine learning telles que la rétropropagation et la descente de gradient.

Les méthodes d’apprentissage profond ont fini par remplacer les algorithmes de machine learning « traditionnels » tels que les machines à vecteurs de support (SVM) et les forêts d’arbres décisionnels. Bien que leur entraînement requière plus de temps, de données et de ressources de calcul, les réseaux neuronaux profonds s’avèrent plus efficaces que les autres méthodes. Au vu du succès rencontré par les premières innovations en la matière, ils se sont rapidement imposés comme premier choix.

Pour être précise, la classification des données d’image requiert des jeux de données composés de valeurs de pixels qui représentent des masques correspondant aux différents objets ou aux étiquettes de classe contenus dans une image. Étant donné la complexité des données d’entraînement impliquées dans la segmentation d’image, ces types de jeux de données sont généralement plus volumineux et plus complexes que les autres jeux de données de machine learning.

Il existe une multitude de jeux de données de segmentation open source, couvrant un large éventail de classes sémantiques avec des milliers d’exemples et d’annotations détaillées pour chacune. Prenons l’exemple d’une tâche de segmentation qui vise à entraîner la vision par ordinateur d’une voiture autonome à reconnaître tous les objets devant lesquels elle devra freiner, comme les piétons, les vélos et les autres véhicules. La vision par ordinateur de la voiture doit être entraînée à tous les reconnaître systématiquement, sinon elle risquerait de ne pas demander à la voiture de freiner quand il le faut. Cet entraînement doit être extrêmement précis, car il s’agit également d’éviter que la voiture ne freine constamment : il ne faudrait pas classer par erreur des éléments visuels anodins comme des objets d’intérêt.

Voici les principaux jeux de données open source utilisés dans la segmentation sémantique et la segmentation d’image :

Pascal Visual Object Classes (Pascal VOC) : le jeu de données Pascal VOC associe une multitude de classes d’objets, de cadres de délimitation et de cartes de segmentation robustes.

MS COCO : MS COCO comporte environ 330 000 images et annotations pour la détection, la segmentation et le sous-titrage d’image, ainsi que d’autres tâches.

Cityscapes : très connu, Cityscapes interprète les données des environnements urbains et compte 5 000 images, 20 000 annotations et 30 étiquettes de classe.

Pour fonctionner correctement, les modèles entraînés nécessitent une architecture robuste. Voici quelques modèles de segmentation sémantique largement utilisés.

Un réseau entièrement convolutif (FCN) est une architecture de réseau neuronal de pointe utilisée à des fins de segmentation sémantique, qui dépend de plusieurs couches connectées et convolutives. Les architectures de réseaux neuronaux convolutifs (CNN) traditionnelles associent des couches de convolution et des couches plates qui génèrent des étiquettes uniques, tandis que les modèles FCN remplacent certaines de ces couches plates par des blocs convolutifs 1:1, qui permettent d’extraire davantage d’informations sur l’image. En remplaçant les couches plates et denses par des couches de convolution, de pooling ou de sur-échantillonnage, les réseaux FCN s’avèrent plus faciles à entraîner.

• Sur-échantillonnage et sous-échantillonnage : étant donné que le réseau regroupe davantage de couches convolutives, la taille de l’image est réduite, ce qui entraîne une diminution de la quantité d’informations spatiales et d’informations au niveau du pixel. Indispensable, ce processus est connu sous le nom de sous-échantillonnage. À l’issue de ce processus, les ingénieurs de données optimisent les images. Pour ce faire, ils agrandissent, ou sur-échantillonnent, la carte des caractéristiques créée pour revenir à la forme de l’image en entrée.
  
  
• Max-pooling : il s’agit d’un autre outil indispensable pour extraire des informations à partir des différentes régions d’une image à des fins d’analyse. Le max-pooling choisit l’élément le plus important de la région analysée afin de produire une carte qui comporte les principales caractéristiques de la carte précédente.

Introduite en 2015 pour modifier l’architecture FCN initiale, l’architecture U-Net améliore les résultats, et ce de façon constante. Elle est composée de deux parties, un encodeur et un décodeur. La partie encodeur empile les couches convolutives qui échantillonnent systématiquement l’image pour en extraire des informations, tandis que la partie décodeur reconstruit les caractéristiques de l’image grâce au processus de déconvolution. L’architecture U-Net est principalement utilisée dans le domaine médical pour détecter les tumeurs malignes ou bénignes des poumons et du cerveau.

• Connexions résiduelles : U-Net a révolutionné l’architecture des FCN en introduisant les connexions résiduelles. Il s’agit de connecter la sortie d’une couche convolutive à une autre qui n’est pas adjacente. Ce processus permet de limiter les pertes de données lors du sous-échantillonnage et améliore la résolution des sorties. Chaque couche convolutive est échantillonnée séparément et combinée aux caractéristiques provenant d’autres couches de manière à ce que la sortie finale représente fidèlement l’image analysée.

Le modèle de segmentation sémantique DeepLab a été développé par Google en 2015 pour améliorer l’architecture FCN initiale, ainsi que la précision des résultats. Alors que les piles de couches des modèles FCN réduisent considérablement la résolution de l’image, l’architecture DeepLab sur-échantillonne les données grâce à un processus appelé convolution dilatée. Ce processus consiste à supprimer une partie des informations contenues dans l’image et à laisser des espaces entre les paramètres des noyaux de convolution.

L’approche de convolution dilatée adoptée par DeepLab permet d’extraire des données à partir d’un champ réceptif étendu, tout en conservant la même résolution. L’espace des caractéristiques est ensuite extrait à l’aide d’un algorithme de champs aléatoires conditionnels (CRF) entièrement connectés, afin que davantage de détails puissent être saisis et utilisés pour la fonction de perte par pixel, et que le masque de segmentation obtenu soit plus clair et plus précis.

En 2017, un nouvel algorithme de segmentation d’image a été introduit. PSPNet déploie un module d’analyse pyramidale qui rassemble des jeux de données d’image contextuelles avec plus de précision que ses prédécesseurs. À l’instar de ces derniers, l’architecture PSPNet repose sur une approche de type encodeur-décodeur, mais là où DeepLab procède à une mise à l’échelle pour effectuer ses calculs pour chaque pixel, PSPNet ajoute une nouvelle couche de pooling pyramidal. L’agrégation multi-échelle permet à PSPNet de réunir davantage d’informations d’image à analyser que les autres modèles.