O que é detecção de objetos?

A detecção de objetos é uma tarefa da visão computacional que visa localizar objetos em imagens digitais. Dessa forma, é uma instância de inteligência artificial que consiste em treinar computadores para ver como os humanos, especificamente no reconhecimento e na classificação de objetos de acordo com categorias semânticas.¹ A localização de objetos é uma técnica para determinar a localização de objetos específicos em uma imagem, demarcando o objeto por meio de uma caixa delimitadora. A classificação de objetos é outra técnica que determina a categoria um objeto detectado. A tarefa de detecção de objetos combina subtarefas de localização e classificação de objetos para estimar simultaneamente a localização e o tipo de instâncias de objetos em uma ou mais imagens.²

A detecção de objetos se sobrepõe a outras técnicas de visão computacional, mas os desenvolvedores a tratam como um esforço discreto.

A classificação de imagens (ou reconhecimento de imagens) tem como objetivo classificar imagens de acordo com categorias definidas. Um exemplo rudimentar disso são os testes de imagem CAPTCHA, nos quais um grupo de imagens pode ser organizado como imagens com e sem sinais "pare". A classificação de imagens atribui uma etiqueta a toda uma imagem.

Já a detecção de objetos delineia objetos individuais em uma imagem de acordo com categorias especificadas. Enquanto a classificação de imagens divide as imagens entre as que têm sinais de pare e as que não têm, a detecção de objetos localiza e categoriza todos os sinais de trânsito em uma imagem, bem como outros objetos, como automóveis e pessoas.

Segmentação de imagens (ou segmentação semântica) é semelhante à detecção de objetos, mas mais precisa. Assim como a detecção de objetos, a segmentação delineia objetos em uma imagem de acordo com categorias semânticas. Mas em vez de marcar objetos usando caixas, a segmentação demarca os objetos no nível do pixel.

Entender as máquinas internas da detecção de objetos exige uma base em visão computacional e processamento de imagens digitais de forma mais ampla. Esta seção apresenta uma visão geral.

Na visão computacional, as imagens são expressas como funções contínuas em um plano de coordenadas 2D representado como f(x,y). Quando digitalizadas, as imagens passam por dois processos primários chamados de amostragem e quantização, que, juntos, convertem a função de imagem contínua em uma estrutura de grade discreta de elementos de pixels. Então o computador pode segmentar uma imagem em regiões discretas de acordo com a semelhança visual e a proximidade dos pixels.³

Rotulando imagens com uma interface de anotação, os usuários definem um objeto específico como uma região de funcionalidades específicas no nível de pixel (como área, valor de cinza e assim por diante). Ao receber uma imagem de entrada, o modelo de detecção de objetos reconhece regiões com funcionalidades semelhantes àquelas definidas no conjunto de dados de treinamento como o mesmo objeto. Dessa forma a detecção de objetos é uma forma de reconhecimento de padrões. Os modelos de detecção de objetos não reconhecem objetos em si, mas sim agregados de propriedades como tamanho, forma, cor e assim por diante, e classificam regiões de acordo com padrões visuais inferidos de dados de treinamento anotados manualmente.⁴

Um modelo de detecção de objetos para um carro autônomo, por exemplo, não reconhece pedestres, mas um conjunto de funcionalidades que formam o padrão geral que caracteriza os objetos pedestres (conforme definido nos dados de treinamento).

Embora famílias de modelos diferentes utilizem arquiteturas diferentes, os modelos de deep learning para detecção de objetos seguem uma estrutura geral. Eles consistem em uma espinha dorsal, pescoço e cabeça.

A espinha dorsal extrai funcionalidades de uma imagem de entrada. Frequentemente, a espinha dorsal é derivada de parte de um modelo de classificação treinado previamente. A extração de funcionalidades produz uma miríade de mapas de funcionalidades de diversas resoluções que a espinha dorsal passa para o pescoço. Essa última parte da estrutura concatena os mapas de funcionalidades de cada imagem. Então a arquitetura passa os mapas de funcionalidades em camadas para a cabeça, que prevê caixas delimitadoras e pontuações de classificação para cada conjunto de funcionalidades.

Detectores de dois estágios separam a localização e a classificação de objetos na cabeça, enquanto detectores de estágio único combinam essas tarefas. Os primeiros geralmente retornam maior precisão de localização, enquanto os segundos apresentam desempenho mais rápido.⁵

Intersecção sobre união (IoU) é uma métrica de avaliação comum utilizada em modelos de detecção de objetos. Uma caixa delimitadora é a produção do quadrado demarcando um objeto detectado conforme previsto pelo modelo. A IoU calcula a proporção da área de interseção de duas caixas delimitadoras (ou seja, a área das seções sobrepostas das caixas) sobre sua área de união (ou seja, a área total de ambas as caixas combinadas):⁶

Podemos visualizar essa equação como:

Os modelos utilizam a IoU para medir a precisão da previsão ao calcular a IoU entre uma caixa prevista e uma caixa de verdade terrestre. As arquiteturas de modelo também utilizam a IoU para gerar previsões finais de caixas delimitadoras. Como normalmente os modelos geram inicialmente várias centenas de previsões de caixas delimitadoras para um único objeto detectado, os modelos utilizam a IoU para ponderar e consolidar previsões de caixas delimitadoras em uma única caixa por objeto detectado.

Outras métricas podem ser utilizadas para diferentes avaliações de modelos de detecção de objetos. A intersecção generalizada sobre união (GIoU) é uma versão modificada da IoU que leva em conta melhorias na localização de objetos para os quais a IoU básica ainda pode retornar um valor nulo.⁷ A pesquisa de detecção de objetos também emprega métricas comuns de recuperação informativa, como precisão média e recall.

Há várias abordagens de aprendizado de máquina para tarefas de detecção de objetos. São exemplos a estrutura Viola-Jones⁸ e o histograma de gradientes orientados.⁹ A pesquisa e o desenvolvimento recentes de detecção de objetos, no entanto, concentraram-se amplamente em redes neurais convolucionais (CNNs). Dessa forma, esta página concentra-se em dois tipos de CNNs mais discutidos na pesquisa de detecção de objetos. Observe que esses modelos são testados e comparados utilizando-se conjuntos de dados de referência, como o conjunto de dados Microsoft COCO ou ImageNet.

A R-CNN (rede neural convolucional) é um detector de dois estágios que utiliza um método chamado propostas de região para gerar duas mil previsões de região por imagem. Em seguida, a R-CNN distorce as regiões extraídas para um tamanho uniforme e executa essas regiões por meio de redes separadas para extração e classificação de recursos. Cada região é classificada de acordo com a confiança de sua classificação. Em seguida, o R-CNN rejeita as regiões que têm uma certa sobreposição de IoU com uma região selecionada com pontuação mais alta. As regiões restantes não sobrepostas e classificadas com a pontuação mais alta são a produção do modelo¹⁰ Como esperado, essa arquitetura é cara e lenta em termos de computação. O Fast R-CNN e o Faster R-CNN são modificações posteriores que reduzem o tamanho da arquitetura do R-CNN e assim diminuem o tempo de processamento e também aumentam a precisão¹¹

YOLO (You Only Look Once) é uma família de arquiteturas de detecção de estágio único baseada em Darknet, uma estrutura de código aberto CNN. Desenvolvida pela primeira vez em 2016, a arquitetura YOLO prioriza a velocidade. De fato, a velocidade da YOLO a torna preferível para a detecção de objetos em tempo real e lhe rendeu o descritor comum de detector de objetos de última geração. A YOLO difere da R-CNN em vários aspectos. Enquanto a R-CNN passa regiões de imagens extraídas por várias redes que extraem recursos e classificam imagens em separado, a YOLO condensa essas ações em uma única rede. Em segundo lugar, em comparação com as cerca de duas mil propostas de regiões da R-CNN, a YOLO faz menos de cem previsões de caixas delimitadoras por imagem. Além de ser mais rápida do que a R-CNN, a YOLO também produz menos falsos positivos em segundo plano, embora tenha um erro de localização mais alto¹² A YOLO passou por muitas atualizações desde sua criação, geralmente com foco na velocidade e na precisão¹³

Embora originalmente desenvolvidos para detecção de objetos, versões posteriores do R-CNN e do YOLO também podem treinar modelos de classificação e segmentação. Especificamente, o Mask R-CNN combina detecção e segmentação de objetos, enquanto o YOLOv5 pode treinar modelos separados de classificação, detecção e segmentação.

Obviamente há muitas outras arquiteturas de modelo além de R-CNN e YOLO. SSD e Retinanet são dois modelos adicionais que utilizam uma arquitetura simplificada semelhante à YOLO.¹⁴ DETR é outra arquitetura desenvolvida pelo Facebook (agora Meta) que combina CNN com um modelo de transformador e mostra desempenho comparável ao R-CNN mais rápido.¹⁵

Em muitos casos de uso a detecção de objetos não é um fim em si mesmo, mas um estágio em uma tarefa maior de visão computacional.

Conjuntos de dados desequilibrados são um problema que afeta as tarefas de detecção de objetos, pois amostras negativas (ou sejam, imagens sem o objeto de interesse) superam em grande número as amostras positivas em muitos conjuntos de dados específicos de domínio. Isso é especialmente problemático em imagens médicas, onde é difícil obter amostras positivas de doenças. Pesquisas recentes utilizam aumento de dados para expandir e diversificar conjuntos de dados limitados, melhorando o desempenho dos modelos.¹⁹

Os desenvolvimentos anteriores na detecção de objetos concentravam-se principalmente nas imagens 2D. Mais recentemente, os pesquisadores recorreram a aplicativos de detecção de objetos para imagens e vídeos 3D. O desfoque de movimento e a mudança do foco da câmera causam problemas na identificação de objetos nos quadros de vídeo. Os pesquisadores exploraram uma variedade de métodos e arquiteturas para ajudar a acompanhar objetos nos quadros, apesar dessas condições, como a arquitetura de rede neural recorrente de memória de longo e curto prazos (LSTM)²⁰ e os modelos baseados em transformadores. ²¹ Os transformadores foram utilizados para acelerar modelos de detecção de objetos para tarefas de detecção em tempo real. Técnicas de processamento paralelo são mais uma área notável de estudo nesse esforço.²²