¿Qué es la segmentación de imágenes?

La clasificación de imágenes aplica una etiqueta de clase a toda una imagen. Por ejemplo, un modelo simple de clasificación de imágenes podría ser entrenado para categorizar imágenes de vehículos como “automóvil” o “camión”. Los sistemas convencionales de clasificación de imágenes son poco sofisticados, ya que no procesan las características individuales de la imagen por separado.

La detección de objetos combina la clasificación de imágenes con la localización de objetos, generando regiones rectangulares, llamadas “cuadros delimitadores”, en las que se ubican los objetos: en lugar de simplemente etiquetar la imagen de un vehículo como “automóvil” o “camión”, un modelo de detección de objetos podría indicar en qué parte de la imagen se encuentra/n el/los automóvil/es o camión/es. Si bien la detección de objetos puede clasificar varios elementos dentro de una imagen y aproximar el ancho y la altura de cada elemento, no puede discernir límites o formas precisos. Esto limita la capacidad de los modelos convencionales para delinear objetos que se encuentran demasiado juntos con cuadros delimitadores superpuestos.

La segmentación de imágenes procesa datos visuales a nivel de píxel, utilizando varias técnicas para anotar píxeles individuales como pertenecientes a una clase o instancia específica. Las técnicas “clásicas” de segmentación de imágenes determinan anotaciones mediante el análisis de cualidades inherentes de cada píxel (llamado “análisis heurístico”) como el color y la intensidad, mientras que los modelos de aprendizaje profundo emplean redes neuronales complejas para el reconocimiento de patrones sofisticados. Los resultados de esta anotación son máscaras de segmentación, que representan el límite y la forma específicos píxel por píxel de cada clase, que generalmente corresponde a diferentes objetos, características o regiones, en la imagen. 

A grandes rasgos, la segmentación de imágenes se utiliza para tres tipos de tareas: segmentación semántica, segmentación de instancias y segmentación panóptica.

Algunas clases, en determinadas condiciones de imagen, pueden ser a la vez cosas o elementos. Por ejemplo, un grupo numeroso de personas puede interpretarse como múltiples “personas” (cada una de ellas una cosa contable y con forma claramente definida) o como una “multitud” singular y amorfa.

Si bien la mayoría de las iniciativas de detección de objetos se centran principalmente en las clases de cosas, es importante tener en cuenta que los elementos (cielo, paredes, pisos, suelo) constituyen la mayor parte de nuestro contexto visual. Los elementos son un punto de datos esencial para identificar cosas, y viceversa: una cosa metálica en una carretera suele ser un coche; el fondo azul detrás de un barco es probablemente agua, mientras que el fondo azul detrás de un avión es probablemente cielo. Esto es de particular importancia para los modelos de aprendizaje profundo.

Si bien los métodos de segmentación basados en el aprendizaje profundo son capaces de brindar mayor precisión y un análisis de imágenes más sofisticado, especialmente tareas como la segmentación panóptica que requieren una gran cantidad de información contextual, los métodos tradicionales son mucho menos costosos y exigentes desde el punto de vista computacional, y pueden resolver determinados problemas de manera más eficaz.

Las técnicas comunes de segmentación de imágenes tradicionales (o “clásicas”) incluyen:

• Umbrales: Los métodos de umbral crean imágenes binarias, clasificando los píxeles en función de si su intensidad está por encima o por debajo de un “valor umbral” dado. A menudo se utiliza el método de Otsu para determinar el valor umbral que minimiza la variación dentro de una clase.

• Histogramas: los histogramas, que trazan la frecuencia de ciertos valores de píxel en una imagen, se utilizan a menudo para definir umbrales. Por ejemplo, los histogramas pueden inferir los valores de los píxeles de fondo, lo que ayuda a aislar los píxeles de objetos.

• Detección de bordes: los métodos de detección de bordes identifican los límites de objetos o clases detectando discontinuidades en el brillo o el contraste.

• Cuencas hidrográficas: los algoritmos de cuencas hidrográficas transforman las imágenes en escala de grises, luego generan un mapa topográfico en el que la “elevación” de cada píxel está determinada por su brillo. Se pueden inferir regiones, límites y objetos a partir de donde se forman “valles”, “crestas” y “cuencas fluviales”.

• Segmentación basada en regiones: a partir de uno o más “píxeles semilla”, los algoritmos de crecimiento de regiones agrupan píxeles contiguos con características similares. Los algoritmos pueden ser aglomerativos o divisivos.

• Segmentación basada en clústeres: los algoritmos de agrupación en clústeres, un método de aprendizaje no supervisado, dividen los datos visuales en grupos de píxeles con valores similares. Una variante común es la agrupación K-medias, en la que k es el número de clústeres (o agrupaciones): los valores de los píxeles se trazan como puntos de datos y se seleccionan puntos k aleatorios como centro de una agrupación (“centroide”). Cada píxel se asigna a un clúster en función del centroide más cercano, es decir, el más similar. A continuación, los centroides se reubican en la media de cada clúster y se repite el proceso, reubicando los centroides con cada iteración hasta que se hayan estabilizado. Puede visualizar el proceso aquí (enlace externo a ibm.com).

A pesar de las desventajas respecto de los requisitos informáticos y el tiempo de entrenamiento, los modelos de aprendizaje profundo superan sistemáticamente a los modelos tradicionales y forman la base de la mayoría de los avances continuos en la visión artificial.

Los modelos de aprendizaje profundo destacados que se utilizan en la segmentación de imágenes incluyen:

• Redes totalmente convolucionales (FCN): las FCN, que se utilizan a menudo para la segmentación semántica, son un tipo de red neuronal convolucional (CNN) sin capas fijas. Una red codificadora pasa datos de entrada visuales a través de capas convolucionales para extraer características relevantes para la segmentación o clasificación, y comprime los datos (downsampling) de esta característica para eliminar información no esencial. A continuación, estos datos comprimidos se introducen en las capas decodificadoras , interpolando los datos de características extraídos para reconstruir la imagen de entrada con máscaras de segmentación.

• U-Nets: las U-Nets modifican la arquitectura de las FCN para reducir la pérdida de datos durante el submuestreo con conexiones de omisión, conservando más detalles mediante la omisión selectiva de algunas capas convolucionales a medida que la información y los gradientes se mueven a través de la red neuronal. Su nombre se deriva de la forma de los diagramas que demuestran la disposición de sus capas.

• Deeplab: al igual que U-Nets, Deeplab es una arquitectura de FCN modificada. Además de las conexiones de omisión, utiliza convolución diluida (o “atrous”) para producir mapas de salida más grandes sin necesidad de tener potencia informática adicional.

• Arquitecturas Mask R-CNN: estas arquitecturas son un modelo líder para la segmentación de instancias. Combinan una red de propuestas de región (RPN), que genera cuadros delimitadores para cada posible instancia, con una cabeza de máscara (mask head) basada en FCN que genera máscaras de segmentación dentro de cada cuadro delimitador confirmado.

• Transformadores: inspirados por el éxito de los modelos de transformadores como GPT y BLOOM en el procesamiento de lenguaje natural, nuevos modelos como Vision Transformer (ViT), que utilizan mecanismos de atención en lugar de capas convolucionales han igualado o superado el rendimiento de las CNN en lo que respecta a tareas de visión artificial.

Diferentes tareas requieren diferentes datos de entrenamiento: un sistema de visión artificial para automóviles autónomos se entrena en imágenes etiquetadas con clases semánticas como “persona”, “automovil”, “carril” y “señal de alto”, mientras que los modelos de imágenes médicas requieren optimización para reconocer clases específicas de tejido físico, o tumores y otras patologías.

Los conjuntos de datos de entrenamiento deben ser etiquetados previamente por humanos expertos, lo cual es una tarea extremadamente laboriosa. La mayoría de los modelos de segmentación de imágenes utilizan grandes conjuntos de datos de código abierto. Estos conjuntos de datos públicos también sirven como “verdad fundamental” al evaluar el éxito de los modelos entrenados: las métricas de rendimiento a menudo se expresan como porcentaje de resultados que coinciden con precisión con las anotaciones en el conjunto de datos de entrenamiento.

Los conjuntos de datos de entrenamiento populares para modelos de segmentación de imágenes de aprendizaje profundo incluyen:

• COCO (objetos comunes en contexto): un conjunto de datos de gran escala que contiene más de 330 000 imágenes con segmentos anotados en 80 categorías de cosas y 91 categorías de elementos.

• ADE20K: un conjunto de datos de segmentación de escena creado por MIT que contiene más de 20 000 imágenes con más de 150 clases semánticas.

• Cityscapes: un conjunto de datos de gran escala centrado en las calles urbanas. Sus datos se capturaron en 50 ciudades en diversas horas del día, épocas del año y condiciones climáticas.

• Diagnóstico por imágenes: la segmentación de imágenes tiene muchas aplicaciones en el ámbito de la medicina, por ejemplo, radiografías, imágenes por resonancia magnética (IRM), ultrasonidos y tomografía computarizada (TC), ayudando así en tareas como la detección de tumores, la segmentación cerebral, el diagnóstico de enfermedades y la planificación quirúrgica.

• Vehículos autónomos: la segmentación de imágenes permite que los autos autónomos eviten obstáculos como peatones y otros autos, así como que identifiquen carriles y señales de tránsito. De igual manera se utiliza para fundamentar la navegación en robótica.

• Imágenes satelitales: la segmentación semántica y de instancias automatizan la identificación de diferentes características del terreno y topográficas.

• Ciudades inteligentes: la segmentación de imágenes impulsa tareas como el monitoreo y la vigilancia del tránsito en tiempo real.

• Fabricación: además de potenciar las tareas de robótica, la segmentación de imágenes potencia la clasificación de productos y la detección de defectos.

• Agricultura: la segmentación de imágenes ayuda a los agricultores a estimar los rendimientos de los cultivos y a detectar maleza para su eliminación.