O que é um modelo de codificadores-decodificadores?

Em deep learning, a arquitetura de codificadores-decodificadores é um tipo de rede neural mais amplamente associada à arquitetura de transformação e utilizada no aprendizado de sequência a sequência. Portanto, a literatura se refere a codificadores-decodificadores às vezes como uma forma de modelo de sequência para sequência (modelo seq2sea). Grande parte da pesquisa sobre aprendizado de máquina se concentra em modelos de codificadores-decodificadores para tarefas de processamento de linguagem natural (NLP) que envolvem grandes modelos de linguagem (LLMs).

Modelos de codificadores-decodificadores são usados para lidar com dados sequenciais, mapeando especificamente sequências de entrada para sequências de saída de diferentes comprimentos, como tradução automática neural, sumarização de texto, legendas de imagens e reconhecimento de fala. Nessas tarefas, o mapeamento de um token na entrada para um na saída geralmente é indireto. Por exemplo, considere a tradução automática: em alguns idiomas, o verbo aparece próximo ao início da frase (como em inglês), em outros no final (como o alemão) e, em alguns, a localização do verbo pode ser mais variável (por exemplo, latim). Uma rede de codificadores-decodificadores gera sequências de saída de comprimento variável, mas contextualmente apropriadas, para corresponder a uma determinada sequência de entrada.¹

Como pode ser inferido a partir de seus respectivos nomes, o codificador codifica uma determinada entrada em uma representação vetorial, e o decodificador decodifica esse vetor no mesmo tipo de dado do conjunto de dados de entrada original.

Tanto o codificador quanto o decodificador são redes neurais separadas e totalmente conectadas. Podem ser redes neurais recorrentes (RNNs) — mais suas variantes memória de longo prazo (LSTM), unidades recorrentes fechadas (GRUs) — e redes neurais convolucionais (CNNs), bem como modelos de transformadores. Um modelo de codificadores-decodificadores normalmente contém vários codificadores e vários decodificadores.

Cada codificador consiste em duas camadas: a camada de autoatenção (ou mecanismo de autoatenção) e a rede neural feed-forward. A primeira camada orienta o codificador no levantamento e foco em outras palavras relacionadas em um determinada entrada, pois codifica uma palavra específica nela. A rede neural feed-forward processa ainda mais as codificações para que sejam aceitáveis para as camadas de codificadores ou decodificadores subsequentes.

A parte do decodificador também consiste em uma camada de autoatenção e uma rede neural feed-forward, bem como uma terceira camada adicional: a camada de atenção de codificadores-decodificadores. Essa camada concentra a atenção da rede em partes específicas da saída do codificador. A camada de atenção de várias cabeças mapeia tokens de duas sequências diferentes.²

A literatura amplamente apresenta os modelos de codificadores-decodificadores como composto por três componentes: o codificador, o vetor de contexto e o decodificador.³

O componente principal do codificador é o mecanismo de autoatenção. O mecanismo de autoatenção determina os pesos do token em uma entrada de texto para refletir as relações entre tokens. Em contraste com a embedding tradicional que ignora a ordem das palavras, a autoatenção processa toda a sequência de texto de entrada para calcular a embedding média ponderada de cada token, que leva em conta a distância desse token de todos os outros tokens na sequência de texto. Ele calcula essa embedding média como uma combinação linear de todas as embeddings para a sequência de entrada de acordo com a seguinte fórmula:

Aqui, x_j é um token de entrada fornecido na j-ésima posição na string de texto de entrada, e x_i é o token de saída correspondente na i-ésima posição na string de texto de entrada. O coeficiente w_ij é o peso de atenção, que é calculado usando o que é chamado de função softmax e representa o quão importante é aquele token no texto de saída para a sequência de origem correspondente. Em outras palavras, esse coeficiente sinaliza quanta atenção o codificador deve dar a cada token no texto de saída em relação à importância do token original no texto de origem.⁴

O codificador passa essa embedding de token para a camada feed-forward, que adiciona uma codificação posicional (ou embedding posicional) à embedding do token. Essa codificação posicional é responsável pela ordem dos tokens em um texto, especificamente a distância entre os tokens. Juntas, essa embedding de token e a embedding posicional compõem o estado oculto transmitido ao decodificador.⁵

A literatura chama amplamente o estado oculto final do codificador de vetor de contexto. É uma representação numérica condensada do texto de entrada inicial do codificador. Mais simplesmente, é a embedding e a codificação posicional produzidas pelo codificador para cada palavra na sequência de entrada.

A literatura frequentemente define o vetor de contexto usando a seguinte função, na qual o vetor de contexto X é definido como cada token (x) na iª posição na sequência de entrada:⁶

Assim como o codificador, o decodificador é composto por uma camada de autoatenção e uma rede feed-forward. Entre eles, o decodificador contém uma camada de mascaramento de atenção de várias cabeças. Isso marca a diferença entre o codificador e o decodificador. Enquanto o codificador gera embeddings de token contextualizados simultaneamente, a camada de atenção de várias cabeças do decodificador utiliza mascaramento autorregressivo.

Primeiro, o decodificador recebe o vetor de contexto do codificador. O decodificador usa esses embeddings posicionais para calcular as pontuações de atenção para cada token. Essas pontuações de atenção determinam em que grau cada token da sequência de entrada afetará tokens posteriores nele; em outras palavras, as pontuações determinam quanto peso cada token tem nas determinações de outros tokens ao gerar sequências de saída.

Uma funcionalidade importante disso, no entanto, é que o decodificador não usará tokens futuros para determinar tokens anteriores na mesma sequência. A saída gerada por cada token depende apenas dos tokens anteriores; em outras palavras, ao gerar a saída de um token, o decodificador não considera as próximas palavras ou tokens após o atual. Como acontece com muitas técnicas de inteligência artificial, ela visa imitar os entendimentos convencionais de como os humanos processam informações, especificamente a linguagem. Essa abordagem do processamento de informações é chamada de autorregressiva.⁷

Uma das principais vantagens dos modelos de codificadores-decodificadores para tarefas de NLP posteriores, como análise de sentimento ou modelagem de linguagem mascarada, é sua saída de embeddings contextualizadas. Essas embeddings são distintas das embeddings de palavras fixas usadas nos modelos de bag of words.

Primeiro, as embeddings fixas não levam em conta a ordem das palavras. Assim, eles ignoram as relações entre tokens em uma sequência de texto. As embeddings contextualizadas, no entanto, levam em conta a ordem das palavras por meio de codificações posicionais. Além disso, as embeddings contextualizadas tentam capturar a relação entre os tokens por meio do mecanismo de atenção que considera a distância entre os tokens em uma determinada sequência ao produzir as embeddings.

As embeddings fixas geram uma embedding para um determinado token, combinando todas as instâncias desse token. Os modelos de codificadores-decodificadores produzem embeddings contextualizados para cada instância de token de um token. Como resultado, as embeddings contextualizadas lidam de forma mais hábil com palavras polissêmicas, ou seja, palavras com múltiplos significados. Por exemplo, moscas podem significar uma ação ou um inseto. Uma embedding de palavra fixa recolhe os múltiplos significados dessa palavra criando uma única embedding para o token ou palavra. Mas um modelo de codificadores-decodificadores gera embeddings contextualizadas individuais para cada ocorrência da palavra flies, e, assim, captura uma infinidade de significados por meio de múltiplas embeddings distintas.⁸

Como pode ser esperado, a arquitetura de codificadores-decodificadores tem muitas variantes, cada uma com seu caso de uso principal em ciência de dados e aprendizado de máquina.

Somente codificador. Esses modelos (também descritos como autocodificadores) usam apenas a stack de codificadores, evitando decodificadores. Esses modelos, portanto, não têm modelagem mascarada autorregressiva e têm acesso a todos os tokens na entrada inicial. Dessa forma, esses modelos são descritos como bidirecionais, pois usam todos os tokens circundantes (tanto anteriores quanto posteriores) para fazer previsões para um determinado token. Modelos de codificadores bem conhecidos são a família de modelos BERT, como BERT,⁹ RoBERTa,¹⁰ e ELECTRA,¹¹ bem como os modelos IBM Slate. Modelos somente de codificador são frequentemente utilizados para tarefas que exigem a compreensão de uma entrada de texto inteiro, como classificação de texto ou named entity recognition.

Somente decodificadores. Esses modelos (também chamados de modelos autorregressivos) usam apenas a stack de decodificadores, renunciando a quaisquer codificadores. Assim, ao fazer previsões de tokens, as camadas de atenção do modelo só podem acessar os tokens que precedem o token em consideração. Os modelos somente de decodificadores são frequentemente usados para tarefas de geração de texto, como responder a perguntas, escrever código ou chatbots, como o ChatGPT. Um exemplo de modelo somente de decodificadores é a família IBM Granite de modelos de base da IBM.¹²