O que é segmentação semântica?

A segmentação semântica identifica grupos de pixels e os classifica de acordo com diversas características. As outras duas subcategorias de segmentação de imagens são a segmentação de instâncias e a segmentação panóptica.

A segmentação de imagens é um processo completo de análise de imagens que divide uma imagem digital em múltiplos segmentos e classifica as informações presentes em cada região.

Os três tipos de tarefas de segmentação de imagem, semântica, instância e segmentação panótica, atribuem rótulos a pixels individuais na imagem para marcar os limites e formas específicos de objetos e regiões diferentes na imagem, classificando-os por meio de informações como cor, contraste, posicionamento dentro da imagem e outros atributos.

Enquanto a segmentação semântica rotula cada pixel contido em uma imagem por sua classe semântica, a segmentação de instância e a segmentação panótica são utilizados para diversas tarefas de classificação.

Os modelos de segmentação de instância concentram-se somente nas classes semânticas contidas em uma imagem que pode ser contabilizada: entidades e objetos como pessoas, animais, árvores, carros ou hidrantes. Detecta qualquer objeto individual ou instância e, em seguida, gera uma máscara de segmentação e uma tag de identificação específica para cada um.

Os modelos de segmentação panótica envolvem ambos os tipos de informações: executam segmentação semântica e detectam e segmentam instâncias de objetos individuais, proporcionando uma análise mais completa da imagem atribuindo a cada pixel um rótulo semântico e (quando apropriado) um identificador de instância exclusivo.

As tarefas de segmentação semântica ajudam as máquinas a distinguir as diversas classes de objetos e regiões de fundo em uma imagem. Com o surgimento da inteligência artificial (IA) e aprendizado de máquina (ML), a segmentação de imagens e a criação de mapas de segmentação desempenham um papel importante no treinamento de computadores para reconhecer contextos importantes em imagens digitais, como cenários, fotos de pessoas, imagens médicas e muito mais.

Modelos de aprendizado de segmentação de imagem possibilitam que as máquinas interpretem informações visuais da mesma forma que o cérebro humano. Embora os modelos de segmentação de imagem compartilhem determinados usos com modelos de detecção de objetos, diferem em um aspecto crítico: identificam entidades diferentes contidas em uma imagem no nível do pixel, em vez de aproximar essas informações com uma caixa delimitadora. Essencialmente, enquanto um modelo de classificação de imagem pode determinar o que está contido em uma imagem (mas não fazer nenhuma localização) e um modelo de detecção de objeto pode determinar onde o objeto se encontra em uma imagem, a determinação das formas e dos limites específicos das entidades na imagem exige um modelo de segmentação de imagem.¹

Com o sucesso crescente dos algoritmos de deep learning na ajuda das máquinas na interpretação de imagens como dados, as máquinas estão ficando cada vez melhores na identificação de objetos. Enquanto a tarefa de classificação de imagens ajuda a máquina a entender quais informações estão contidas em uma imagem, a segmentação semântica permite que a máquina identifique os locais precisos de diferentes tipos de informações visuais, bem como onde cada uma começa e termina.

Os modelos de segmenation semântica criam um mapa de segmentação de uma imagem de entrada. Um mapa de segmentação é, essencialmente, uma reconstrução da imagem original em que cada pixel foi codificado por sua classe semântica para criar máscaras de segmentação. Uma máscara de segmentação é apenas uma parte da imagem que foi diferenciada de outras regiões da imagem. Por exemplo, um mapa de segmentação de uma árvore em um campo vazio provavelmente conteria três máscaras de segmentação: uma para a árvore, uma para o solo e uma para o céu em segundo plano.

Para isso, os modelos de segmentação semântica usam redes neurais complexas para agrupar com precisão pixels relacionados em máscaras de segmentação e reconhecer corretamente a classe semântica do mundo real para cada grupo de pixels (ou segmento). Esses métodos de deep learning (DL) exigem que um modelo seja treinado em grandes conjuntos de dados rotulados previamente e anotados por especialistas humanos, ajustando seus pesos e vieses por meio de técnicas de aprendizado de máquina, como retropropagação e gradiente descendente.

Os métodos de DL substituíram outros algoritmos de aprendizado de máquina "tradicionais", como Support Vector Machines (SVM) e Random Forest. Embora as redes neurais profundas exijam mais tempo, dados e recursos computacionais para serem treinadas, superam outros métodos e tornaram-se rapidamente a abordagem escolhida depois que as primeiras inovações se mostraram bem-sucedidas.

A tarefa de classificar os dados da imagem com precisão exige conjuntos de dados que consistam em valores de pixels que representem máscaras para diversos objetos ou rótulos de classe contidos em uma imagem. Normalmente, devido à complexidade dos dados de treinamento envolvidos na segmentação de imagens, esses tipos de conjuntos de dados são maiores e mais complexos do que outros conjuntos de dados de aprendizado de máquina.

Existem vários conjuntos de dados de segmentação de imagens de código aberto disponíveis, abrangendo uma ampla variedade de classes semânticas, com milhares de exemplos e anotações detalhadas para cada um. Por exemplo, imagine um problema de segmentação em que a visão computacional em um carro sem motorista esteja sendo ensinada a reconhecer todos os vários objetos para os quais ele precisará frear, como pedestres, bicicletas e outros carros. A visão computacional do carro deve ser treinada para reconhecer todos eles de maneira uniforme, ou então nem sempre pode dizer ao carro para frear. Seu treinamento também deve ser extremamente preciso, sob pena de frear constantemente depois de classificar incorretamente imagens inócuas como objetos de preocupação.

Veja a seguir alguns dos conjuntos de dados de código aberto mais populares utilizados na segmentação semântica e de imagens:

Classes de Objetos Visuais de Pascal (Pascal VOC): o conjunto de dados de Pascal VOC consiste em muitas classes de objetos diferentes, caixas delimitadoras e mapas de segmentação robustos.

MS COCO: O MS COCO contém cerca de 330 mil imagens e anotações para muitas tarefas, incluindo detecção, segmentação e legendagem de imagens.

Cityscapes: o popular conjunto de dados Cityscapes interpreta dados de ambientes urbanos e é composto por 5.000 imagens com 20.000 anotações e 30 rótulos de classes.

Os modelos treinados exigem uma arquitetura robusta para funcionar corretamente. Aqui estão alguns modelos de segmentação semântica amplamente utilizados.

Uma rede totalmente convolucional (FCN) é uma arquitetura de rede neural de última geração utilizada na segmentação semântica que depende de várias camadas convolucionais conectadas. Enquanto a arquitetura tradicional de rede neural convolucional (CNN) é composta por camadas convolucionais e camadas planas que produzem rótulos únicos, os modelos FCN substituem algumas dessas camadas planas por blocos convolucionais 1:1, capazes de extrair ainda mais informações sobre a imagem. Evitar o uso de camadas planas e mais densas em favor de camadas de convolução, agrupamento ou aumento de amostragem torna as redes FCN mais fáceis de treinar.

• Upsampling e downsampling: à medida que a rede reúne mais camadas convolucionais, o tamanho da imagem é reduzido, resultando em menos informações espaciais, assim como informações em nível de pixel, um processo necessário conhecido como downsampling. No final desse processo, os engenheiros de dados executam a otimização da imagem expandindo ou ampliando o mapa de feição criado de acordo com a forma da imagem de entrada.
  
  
• Max-pooling: o max-pooling é outra ferramenta crítica no processo de extração e análise de informações de regiões de uma imagem. O max-pooling escolhe o maior elemento de uma região que estiver sendo analisada para que sua saída resulte em um mapa de funcionalidades contendo as funcionalidades mais proeminentes do mapa de funcionalidades anterior.

A arquitetura de rede tipo U é uma modificação da arquitetura original da FCN introduzida em 2015 e sempre alcança resultados melhores. Consiste em duas partes, um codificador e um decodificador. Enquanto o codificador empilha camadas convolucionais que estão constantemente reduzindo a amostragem da imagem para extrair informações dela, o decodificador reconstrói os recursos da imagem usando o processo de deconvolução. A arquitetura de rede U é utilizada principalmente no campo médico para identificar tumores cancerosos e não cancerosos nos pulmões e no cérebro.

• Conexões de salto: uma inovação importante introduzida nos FCNs pela U-Net é conhecida como conexões de salto, usadas para conectar a saída de uma camada convolucional a outra que não seja adjacente. Esse processo de saltar conexões reduz a perda de dados durante a redução da resolução e permite uma saída de alta resolução. Cada camada convolucional é ampliada e combinada de forma independente com funcionalidades de outras camadas até que a saída final represente precisamente a imagem que está sendo analisada.

O modelo de segmentação semântica da DeepLab foi desenvolvido pelo Google em 2015 para melhorar ainda mais a arquitetura da FCN original e entregar resultados ainda mais precisos. Enquanto as pilhas de camadas em um modelo FCN reduzem consideravelmente a resolução da imagem, a arquitetura do DeepLab utiliza um processo chamado convolução dilatada (ou "atrous") para aumentar a amostra dos dados. Com o processo de convolução dilatada, os kernels de convolução podem remover informações de uma imagem e deixar lacunas entre os parâmetros do kernel.

A abordagem do DeepLab para convolução dilatada extrai dados do campo de visão maior, mantendo a mesma resolução. O espaço de recurso é então puxado por meio de um algoritmo de campo aleatório condicional (CRF) totalmente conectado para que possam ser capturados e utilizados mais detalhes para a função de perda de pixels, resultando em uma máscara de segmentação mais clara e precisa.

Em 2017, foi introduzido um novo algoritmo de segmentação em segmentação de imagem. O PSPNet implementa um módulo de análise de pirâmide que reúne conjuntos de dados de imagens contextuais com uma taxa de precisão maior do que a dos seus antecessores. Como seus antecessores, a arquitetura PSPNet emprega a abordagem do codificador de codificação, mas onde a DeepLab aplicou upscaling para fazer seus cálculos em nível de pixel, a PSPNet adiciona uma nova camada de agrupamento de pirâmide para alcançar seus resultados. O agrupamento multiescala do PSPNet permite analisar uma janela de informações de imagem mais ampla do que outros modelos.