¿Qué es la segmentación semántica?

La segmentación semántica identifica colecciones de píxeles y las clasifica según diversas características. Las otras dos subcategorías de segmentación de imágenes son segmentación de instancias y segmentación panóptica.

La segmentación de imágenes es un proceso de análisis de imágenes de extremo a extremo que divide una imagen digital en varios segmentos y clasifica la información contenida en cada región.

Los tres tipos de tareas de segmentación de imágenes (segmentación semántica, de instancias y panóptica) asignan etiquetas a píxeles individuales de la imagen para marcar los límites y formas específicos de diferentes objetos y regiones de la imagen, clasificándolos mediante el uso de información como el color, el contraste, la ubicación dentro de la imagen y otros atributos.

Mientras que la segmentación semántica etiqueta cada píxel contenido en una imagen por su clase semántica, la segmentación de instancias y la segmentación panóptica se utilizan para diferentes tareas de clasificación.

Los modelos de segmentación de instancias se centran únicamente en las clases semánticas contenidas en una imagen que se pueden contar: entidades y objetos como personas, animales, árboles, automóviles o bocas de incendio. Detecta cualquier objeto individual, o instancia, y luego genera una máscara de segmentación y una etiqueta de identificación específica para cada uno.

Los modelos de segmentación panóptica conllevan ambos tipos de información: realizan una segmentación semántica y detectan y segmentan instancias de objetos individuales, proporcionando un análisis más completo de la imagen al asignar a cada píxel tanto una etiqueta semántica como (cuando proceda) un identificador de instancia único.

Las tareas de segmentación semántica ayudan a los equipos a distinguir las diferentes clases de objetos y regiones de fondo de una imagen. Con el auge de la inteligencia artificial (IA) y el machine learning (ML), la segmentación de imágenes y la creación de mapas de segmentación desempeñan un papel importante en el entrenamiento de las computadoras para reconocer contextos importantes en imágenes digitales como panoramas, fotos de personas, imágenes médicas y mucho más.

Los modelos de aprendizaje de segmentación de imágenes permiten a los equipos interpretar la información visual de manera similar al cerebro humano. Si bien los modelos de segmentación de imágenes comparten ciertos usos con los modelos de detección de objetos, difieren en un aspecto crucial: identifican diferentes entidades contenidas en una imagen a nivel de píxel, en lugar de aproximar esa información con un cuadro delimitador. Básicamente, mientras que un modelo de clasificación de imágenes puede determinar lo que contiene una imagen (pero no realizar ninguna localización) y un modelo de detección de objetos puede determinar en qué parte de una imagen se encuentra el objeto, para determinar las formas y los límites específicos de las entidades de la imagen se requiere un modelo de segmentación de imágenes¹.

Con el creciente éxito de los algoritmos de deep learning para ayudar a los equipos a interpretar imágenes como datos, los equipos son cada vez mejores en la identificación de objetos. Aunque la tarea de clasificación de imágenes ayuda al equipo a entender qué información contiene una imagen, la segmentación semántica permite al equipo identificar las ubicaciones precisas de diferentes tipos de información visual, así como dónde comienza y termina.

Los modelos semánticos de segmentación crean un mapa de segmentación de una imagen de entrada. Un mapa de segmentación es, básicamente, una reconstrucción de la imagen original en la que cada píxel ha sido codificado por su clase semántica para crear máscaras de segmentación. Una máscara de segmentación es simplemente una parte de la imagen que se ha diferenciado de otras regiones de la imagen. Por ejemplo, un mapa de segmentación de un árbol en un campo vacío probablemente contendría tres máscaras de segmentación: una para el árbol, una para el suelo y otra para el cielo en el fondo.

Para ello, los modelos de segmentación semántica utilizan redes neuronales complejas para agrupar con precisión los píxeles relacionados en máscaras de segmentación y reconocer correctamente la clase semántica del mundo real para cada grupo de píxeles (o segmento). Estos métodos de deep learning (DL) requieren que un modelo se entrene en grandes conjuntos de datos previamente etiquetados anotados por expertos humanos, ajustando sus ponderaciones y sesgos mediante técnicas de machine learning como la retropropagación y el descenso del gradiente.

Los métodos de DL han llegado a reemplazar a otros algoritmos de machine learning "tradicionales", como las máquinas de vectores de soporte (SVM) y el bosque aleatorio. Aunque las redes neuronales profundas requieren más tiempo, datos y recursos informáticos para entrenarse, superan a otros métodos y se convirtieron rápidamente en el enfoque elegido después de que las primeras innovaciones demostraran su éxito.

La tarea de clasificar con precisión los datos de la imagen requiere conjuntos de datos que consten de valores de píxel que representen máscaras para diferentes objetos o etiquetas de clase contenidas en una imagen. Normalmente, debido a la complejidad de los datos de entrenamiento involucrados en la segmentación de imágenes, estos tipos de conjuntos de datos son más grandes y complejos que otros conjuntos de datos de machine learning.

Existen muchos conjuntos de datos de segmentación de imágenes de código abierto disponibles, que abarcan una amplia variedad de clases semánticas con miles de ejemplos y anotaciones detalladas para cada uno. Por ejemplo, imagine un problema de segmentación en el que se enseña a la visión artificial en un automóvil sin conductor a reconocer todos los distintos objetos ante los que tendrá que frenar, como peatones, bicicletas y otros automóviles. La visión artificial del coche debe estar entrenada para reconocerlos todos sistemáticamente o, de lo contrario, no siempre le indicará que frene; su entrenamiento también debe ser extremadamente exacto y preciso o, de lo contrario, podría frenar constantemente tras clasificar erróneamente visuales inocuos como objetos preocupantes.

Estos son algunos de los conjuntos de datos de código abierto más populares utilizados en la segmentación semántica y de imágenes:

Clases de objetos visuales de Pascal (Pascal VOC): el conjunto de datos de Pascal VOC incluye muchas clases de objetos diferentes, cuadros delimitadores y mapas de segmentación sólidos.

MS COCO: MS COCO contiene alrededor de 330 000 imágenes y anotaciones para muchas tareas, como la detección, la segmentación y el subtitulado de imágenes.

Cityscapes: el popular conjunto de datos de cityscapes interpreta datos de entornos urbanos y está compuesto por 5000 imágenes con 20 000 anotaciones y 30 etiquetas de clase.

Los modelos entrenados exigen una arquitectura sólida para funcionar correctamente. Estos son algunos modelos de segmentación semántica ampliamente utilizados.

Una red totalmente convolucional (FCN) es una arquitectura de red neuronal de última generación utilizada para la segmentación semántica que depende de varias capas convolucionales conectadas. Mientras que la arquitectura tradicional de las redes neuronales (CNN) se compone de capas convolucionales y capas planas que emiten etiquetas únicas, los modelos FCN sustituyen algunas de esas capas planas por bloques convolucionales 1:1 que pueden extraer más información sobre la imagen. Evitar el uso de capas planas y densas a favor de las capas de convolución, agrupamiento o sobremuestreo hace que las redes FCN sean más fáciles de entrenar.

• Sobremuestreo y submuestreo: a medida que la red reúne más capas convolucionales, el tamaño de la imagen se reduce, lo que resulta en menos información espacial e información a nivel de píxeles, un proceso necesario conocido como submuestreo. Al final de este proceso, los ingenieros de datos optimizan la imagen expandiendo (o sobremuestreando) el mapa de características que se ha creado para devolverlo a la forma de la imagen de entrada.
  
  
• Max-pooling: el max-pooling es otra herramienta crítica en el proceso de extraer información de las regiones de una imagen y analizarlas. El max-pooling elige el elemento más grande de una región analizada para que su salida pueda dar como resultado un mapa de características que contenga los rasgos más destacados del mapa de características anterior.

La arquitectura U-Net es una modificación de la arquitectura original de FCN que se introdujo en 2015 y logra de forma constante mejores resultados. Consta de dos partes, un codificador y un decodificador. Mientras el codificador apila capas convolucionales que reducen constantemente la resolución de la imagen para extraer información de ella, el decodificador reconstruye las características de la imagen mediante el proceso de deconvolución. La arquitectura U-Net se utiliza principalmente en el campo médico para identificar tumores cancerosos y no cancerosos en los pulmones y el cerebro.

• Conexiones de salto: una innovación importante introducida por U-Net en las FCN se conoce como conexiones de salto, que se utilizan para conectar la salida de una capa convolucional a otra que no es adyacente. Este proceso de conexiones de salto reduce la pérdida de datos durante el submuestreo y permite una salida de mayor resolución. Cada capa convolucional se sobremuestrea de forma independiente y se combina con las características de otras capas hasta que el resultado final representa con precisión la imagen analizada.

Google desarrolló el modelo de segmentación semántica de DeepLab en 2015 para mejorar aún más la arquitectura del FCN original y ofrecer resultados aún más precisos. Si bien las pilas de capas en un modelo FCN reducen significativamente la resolución de la imagen, la arquitectura de DeepLab utiliza un proceso llamado convolución dilatada para el sobremuestreo de los datos. Con el proceso de convolución dilatada, los kernels de convolución pueden eliminar información de una imagen y dejar espacios entre los parámetros del kernel.

El enfoque de DeepLab para la convolución dilatada extrae los datos del campo de visión más amplio mientras mantiene la misma resolución. A continuación, el espacio de entidades se extrae a través de un algoritmo de campo aleatorio condicional (CRF) completamente conectado para capturar y utilizar más detalles para la función de pérdida de píxeles, lo que genera una máscara de segmentación más clara y precisa.

En 2017, se introdujo un nuevo algoritmo de segmentación para la segmentación de imágenes. PSPNet implementa un módulo de análisis piramidal que recopila conjuntos de datos de imágenes contextuales con una tasa de precisión mayor que sus predecesores. Al igual que sus predecesoras, la arquitectura PSPNet emplea el enfoque codificador-decodificador, pero donde DeepLab aplicaba el escalado ascendente para hacer sus cálculos a nivel de píxel, PSPNet añade una nueva capa de agrupación piramidal para lograr sus resultados. La agrupación multiescala de PSPNet le permite analizar una ventana más amplia de información de la imagen que otros modelos.