O que é um codificador automático?

Usando aprendizado de máquina não supervisionado, os codificadores automáticos são treinados para descobrir variáveis latentes dos dados de entrada: variáveis ocultas ou aleatórias que, apesar de não serem diretamente observáveis, fundamentalmente informam como os dados são distribuídos. Coletivamente, as variáveis latentes de um determinado conjunto de dados de entrada são chamadas de espaço latente. Durante o treinamento, o codificador automático aprende quais variáveis latentes podem ser utilizadas para reconstruir mais precisamente os dados originais: essa representação de espaço latente, portanto, representa somente as informações mais essenciais contidas na entrada original.

A maioria dos tipos de codificadores automáticos é utilizada para tarefas de inteligência artificial relacionadas à extração de feição, como compressão de dados, desnutrição de imagem, detecção de anomalias e reconhecimento facial. Certos tipos de autocodificadores, como autocodificadores variacionais (VAEs) e autocodificadores adversariais (AAEs), adaptam a arquitetura do autocodificador para uso em tarefas generativas, como geração de imagens ou geração de dados de séries temporais.

Embora todos os modelos de autocodificador incluam um codificador e um decodificador, nem todos os  modelos codificador-decodificador são autocodificadores.

Frameworks codificador-decodificador, nas quais uma rede codificadora extrai as principais funcionalidades dos dados de entrada e uma rede decodificadora utiliza essas funcionalidades extraídas, são aplicados em diversos modelos de deep learning, como as arquiteturas de redes neurais convolucionais (CNN) usadas em tarefas de computer vision, como segmentação de imagens, ou as arquiteturas de redes neurais recorrentes (RNN) aplicadas em tarefas de sequência para sequência (seq2seq).

Na maioria das aplicações dos modelos codificador-decodificador, a saída da rede neural é diferente do input. Por exemplo, nos modelos de segmentação de imagens como o U-Net, a rede codificadora extrai as funcionalidades da imagem de input para classificar semanticamente cada pixel. Com esse mapeamento de funcionalidades e as classificações individuais dos pixels, a rede decodificadora gera máscaras de segmentação para cada objeto ou região da imagem. O objetivo desses modelos codificador-decodificador é rotular os pixels corretamente de acordo com sua classe semântica. Eles são treinados por aprendizado supervisionado, ajustando suas previsões com base em um conjunto de dados de referência, no qual especialistas humanos rotularam as imagens.

autocodificadores são um subconjunto específico das arquiteturas codificador-decodificador, treinados por aprendizado não supervisionado para reconstruir seus próprios dados de input.

Como não dependem de dados de treinamento rotulados, os codificadores automáticos não são considerados um método de aprendizado supervisionado. Como todos os métodos de aprendizado não supervisionado, os codificadores automáticos são treinados para descobrir padrões ocultos em dados não rotulados, em vez de prever padrões conhecidos demonstrados em dados de treinamento rotulados. No entanto, como os modelos de aprendizado supervisionado e ao contrário da maioria dos exemplos de aprendizado não supervisionado, os codificadores automáticos têm uma verdade básica para medir sua saída: a entrada original em si (ou alguma versão modificada). Por esse motivo, são considerados “aprendizado autossupervisionado”, daí, codificador automático.

Os codificadores automáticos descobrem variáveis latentes passando os dados de entrada por um “gargalo” antes de chegarem ao decodificador. Isso força o codificador a aprender a extrair e transmitir somente as informações mais propícias à reconstrução precisa da entrada original.

Embora diferentes variantes de autocodificadores alterem determinados elementos de sua rede neural artificial para melhor atenderem a objetivos e tipos de dados específicos, todos os autocodificadores compartilham elementos estruturais importantes:

Em algumas aplicações de autocodificadores, o decodificador pode ser descartado após o treinamento. Nesses casos, ele serve apenas para treinar o codificador, de forma semelhante ao papel do discriminador em uma rede adversarial generativa (GAN), que posteriormente é usada como componente de outra rede neural. Em muitos autocodificadores, o decodificador continua sendo útil após o treinamento. Nos VAEs, por exemplo, ele gera novas amostras de dados.

Uma das principais vantagens dos autocodificadores em relação a outras técnicas de redução de dimensionalidade, como a análise de componentes principais (PCA), é sua capacidade de capturar correlações não lineares mais complexas. As funções de ativação usadas em autocodificadores geralmente são não lineares, como a função sigmoide.

Diferentes tipos de autocodificadores fazem adaptações nessa estrutura para melhor atender a diferentes tarefas e tipos de dados. Além de selecionar o tipo adequado de rede neural (como uma arquitetura CNN, uma arquitetura RNN como a  memória de longo prazo de curto prazo, uma arquitetura baseada em transformadores ou uma rede neural simples), a configuração de um autocodificadores envolve vários hiperparâmetros.

• Tamanho do código: O tamanho do gargalo define o nível de compressão dos dados. O tamanho do código também pode ser usado como um termo de regularização: ajustes nesse parâmetro ajudam a evitar sobreajuste ou subajuste.
• Número de camadas: A profundidade do autocodificador é definida pelo número de camadas no codificador e no decodificador. Uma maior profundidade aumenta a complexidade, enquanto uma menor profundidade melhora a velocidade de processamento.
• Número de nós por camada: Geralmente, o número de nós (ou "neurônios") diminui a cada camada do codificador, atinge um mínimo no gargalo e aumenta com cada camada do decodificador, embora em algumas variantes, como os autocodificadores sparse , isso possa variar. O número de neurônios também pode variar conforme a natureza dos dados de entrada: por exemplo, um autocodificador que processa imagens grandes precisará de mais neurônios do que um que lida com imagens menores.
• Função de perda: Durante o treinamento de um autocodificador, a função de perda, que mede a diferença de reconstrução entre saída e entrada, é usada para otimizar os pesos do modelo por meio do gradiente descendente durante a retropropagação. O algoritmo ideal para a função de perda depende da tarefa para a qual o autocodificador será utilizado.

Autocodificadores incompletos são uma estrutura de autoencoder simples utilizada principalmente para redução de dimensões. Suas camadas ocultas contêm menos nós do que suas camadas de entrada e saída, e a capacidade de seu gargalo é fixa.

O objetivo desse gargalo é evitar que o autoencoder se ajuste demais aos seus dados de treinamento. Sem limitar suficientemente a capacidade do gargalo, a rede tende a aprender a função de identidade entre a entrada e a saída: em outras palavras, pode aprender a minimizar a perda de reconstrução simplesmente copiando diretamente a entrada. Ao forçar a compressão significativa dos dados, a rede neural deve aprender a reter apenas os recursos mais essenciais para a reconstrução.

Mas se o codificador e o decodificador tiverem capacidade alta o suficiente, ou seja, se estiverem processando entradas de dados grandes ou complexas, o codificador automático (mesmo com um gargalo) ainda poderá aprender a função de identidade de qualquer forma, tornando-a inútil. Isso torna os codificadores automáticos incompletos inflexíveis e limita sua capacidade.

Os codificadores automáticos regulares abordam as deficiências dos codificadores automáticos não concluídos introduzindo regularização: técnicas que restringem ou modificam a forma como o modelo calcula o erro de reconstrução. Esses termos de regularização não só reduzem o sobreajuste, como também permitem que o codificador automático aprenda recursos ou funções úteis.

Os SAEs impõem uma restrição de escassez : em vez de criarem um gargalo de informações reduzindo o número de nós em cada camada oculta, os SAEs criam um gargalo reduzindo o número de nós que podem ser ativados ao mesmo tempo.

Considerando que um autocodificador incompleto padrão usará toda a rede neural para cada observação, os autocodificadores com uma função de escassez são penalizados para cada neurônio ativado além de um determinado limite. Isso permite que o codificador e o decodificador tenham uma capacidade maior sem um risco correspondente de sobreajuste para dados de treinamento (porque nem todos os neurônios serão ativados). Permite também que camadas ocultas contenham nós dedicados à descoberta de recursos específicos: a função de escassez garante que só "vale a pena" ativar esses nós se esses recursos estiverem presentes.

Embora o cálculo do erro de reconstrução e a subsequente otimização dos pesos de parâmetros através da backpropagation ocorram em separado, esta otimização é regularizada por essa função de escassez. O codificador automático é, portanto, forçado a aprender a representação de espaço latente mais eficaz dentro das restrições de escassez fornecidas.

As funções utilizadas para impor uma restrição de escassez são normalmente regularização L1 ou divergência KL.

A divergência de Kullback-Leibler (KL) mede a diferença entre duas distribuições de probabilidade. No contexto dos SAEs, a penalização aplicada à rede após cada lote de treinamento é proporcional à divergência KL entre a distribuição alvo dos valores de ativação (a esparsidade desejada) e a distribuição real dos valores de ativação. Como será discutido mais adiante neste artigo, a divergência KL também é utilizada para otimizar a precisão das distribuições de probabilidade aprendidas pelos autocodificadores variacionais (VAEs).

Introduzida pela primeira vez em 2011 por pesquisadores da Université de Montréal,¹ autocodificadores contráteis são projetados para serem insensíveis a pequenas variações (ou "ruído") em dados de entrada, a fim de reduzir o sobreajuste e capturar informações essenciais de forma mais eficaz.

Isso é alcançado pela adição de um termo de regularização no treinamento, penalizando a rede para alterar o resultado em resposta a mudanças insuficientemente grandes na entrada. Este termo de penalidade é calculado com dois conceitos matemáticos:

• A matriz Jacobiana contém todas as derivadas de primeira ordem de uma função que pode ser utilizada para retropropagação. Representa como os gradientes da rede mudam à medida que a entrada é alterada.
• A norma de Frobenius é calculada como "a raiz quadrada da soma dos quadrados absolutos de seus elementos.²"Ela mede o ganho médio da matriz ao longo de cada direção ortogonal no espaço.³

Especificamente, o termo de penalidade é a norma de Frobenius da matriz jacobiana de ativações de neurônios na rede do codificador em relação à entrada. Esse termo de penalidade e o algoritmo da função de perda utilizado para reduzir o erro de reconstrução são adversários: a função de perda de reconstrução tende a observar variações nos dados de entrada, enquanto o termo de penalidade tende a ignorá-los. Ao combinar ambos os termos, a rede é forçada a aprender uma representação comprimida da entrada que contém somente as variáveis mais consequentes.

Os autocodificadores de redução de ruído recebem dados de entrada parcialmente corrompidos e são treinados para restaurar a entrada original, removendo informações inúteis por meio da redução de dimensão.

Ao contrário da maioria dos codificadores automáticos, os codificadores automáticos de eliminação de ruído não têm os dados reais como entrada. Em vez disso, o ruído gaussiano é adicionado aos dados originais. Por exemplo, adicionando estática aleatória a uma imagem, e o autoencoder de eliminação de ruído (DAE) aprende a filtrá-lo. Durante o treinamento do modelo, o erro de reconstrução da saída sem ruído não é medido em relação aos dados de entrada corrompidos, mas em relação à imagem original.

Além de evitar o overfitting, essa técnica de treinamento também torna os autocodificadores de redução de ruído muito úteis para limpar arquivos de imagem e áudio ruidosos ou corrompidos. Os autocodificadores com redução de ruído também serviram como paradigmas de treinamento fundamentais para modelos de geração de imagem de última geração, como o Stable Diffusion.⁴

Autocodificadores variacionais (VAEs) são modelos generativos que aprendem representações comprimidas de seus dados de treinamento como distribuições de probabilidade, utilizadas para gerar novos dados de amostra criando variações dessas representações aprendidas.

A diferença fundamental entre VAEs e outros tipos de autocodificadores é que, embora a maioria dos autocodificadores aprenda modelos de espaço latente discretos, os VAEs aprendem modelos variáveis contínuos latentes. Em vez de um único vetor de codificação para o espaço latente, os VAEs modelam dois vetores diferentes: um vetor de médias, "μ", e um vetor de desvios padrão, "σ". Como esses vetores capturam atributos latentes como uma distribuição de probabilidade, ou seja, aprendem uma codificação estocástica em vez de uma codificação determinística , os VAEs permitem interpolação e amostragem aleatórias, expandindo muito seus recursos e casos de uso. Isso significa que VAEs são modelos de IA generativos.

Em termos mais simples, os VAEs aprendem a codificar aprendizados de recursos importantes a partir das entradas nos conjuntos de dados nos quais são treinados de uma maneira flexível e aproximada, que lhes permite gerar novas amostras que se assemelham aos dados de treinamento originais. A função de perda utilizada para minimizar o erro de reconstrução é regularizada pela divergência de KL entre a distribuição de probabilidade de dados de treinamento (a distribuição anterior) e a distribuição de variáveis latentes aprendidas pelo VAE (a distribuição posterior). Essa função de perda regularizada permite que os VAEs gerem novas amostras que se assemelham aos dados em que foram treinados, evitando sobreajuste, o que, neste caso, significaria gerar novas amostras muito idênticas aos dados originais.

Para gerar uma nova amostra, o VAE seleciona um vetor latente aleatório (ε) dentro da distribuição Gaussiana unitária, ou seja, escolhe um ponto de partida aleatório dentro da distribuição normal, desloca-o pela média da distribuição latente (μ) e o dimensiona pela variância da distribuição latente (σ). Esse processo, conhecido como truque de reparametrização,⁵ evita a amostragem direta da distribuição variacional: como o processo é aleatório, ele não possui derivada, o que elimina a necessidade de retropropagação na etapa de amostragem.

Quando um VAE está sendo utilizado para tarefas generativas, o codificador geralmente pode ser descartado após o treinamento. Evoluções mais avançadas dos VAEs, como os VAEs condicionais, dão ao usuário maior controle sobre as amostras geradas, apresentando entradas condicionais que modificam a saída do codificador.

Tanto os autocodificadores generativos quanto os determinísticos têm uma ampla variedade de casos de uso em diversos campos e tipos de dados.

• Compactação de dados: os codificadores automáticos aprendem naturalmente uma representação comprimida dos dados de entrada.
• Redução de dimensão: as codificações aprendidas pelos codificadores automáticos podem ser utilizadas como entrada para redes neurais maiores e compostas. A redução da dimensão dos dados complexos pode extrair recursos relevantes para outras tarefas, bem como aumentar a velocidade e a eficiência computacional.
• Detecção de anomalias e reconhecimento facial: as codificadoras automáticas podem detectar anomalias, fraudes ou outros defeitos e, por outro lado, confirmar uma combinação genuína, determinando a perda de reconstrução de dados examinados em relação ao exemplo "normal" ou "genuíno" com que é comparado.
• Eliminação de ruído de imagem e áudio: os autocodificadores de eliminação de ruídos removem artefatos estranhos ou corrupções que não correspondem à representação de espaço latente aprendida pela rede.
• Reconstrução da imagem: pela inversão de técnicas aprendidas para eliminação de ruído, os autocodificadores podem preencher elementos ausentes de uma imagem. Podem ser igualmente utilizados para colorir imagens.
• Tarefas generativas: os VAEs e os autocodificadores adversariais (AAEs), que aprendem distribuições probabilísticas semelhantes àquelas aprendidas pelos VAEs, mas que utilizam uma rede de discriminadores adversariais (semelhante às redes adversariais generativas) em vez da divergência de KL, vem sendo utilizados com grande sucesso em tarefas generativas. As aplicações generativas proeminentes de autocodificadores incluem o modelo original dl Dall-E da OpenAI para geração de imagens⁶ e até a geração de estruturas moleculares utilizadas em medicamentos.⁷