¿Qué es un modelo codificador-decodificador?

En el deep learning, la arquitectura de codificador-decodificador es un tipo de red neuronal más ampliamente asociada con la arquitectura del transformador y utilizada en el aprendizaje de secuencia a secuencia. Por lo tanto, la literatura se refiere a los codificadores-decodificadores a veces como una forma de modelo de secuencia a secuencia ( modeloseq2seq). Gran parte de la investigación de machine learning se centra en modelos codificadores-decodificadores para tareas de procesamiento del lenguaje natural (PLN) que implican modelos de lenguaje de gran tamaño (LLM).

Los modelos de codificador-decodificador se utilizan para manejar datos secuenciales, específicamente asignando secuencias de entrada a secuencias de output de diferentes longitudes, como traducción automática neuronal, resumen de texto, subtítulos de imágenes y reconocimiento de voz. En tales tareas, la asignación de un token en la entrada a uno en el output suele ser indirecta. Por ejemplo, la traducción automática: en algunos idiomas, el verbo aparece cerca del principio de la oración (como en inglés), en otros al final (como el alemán) y en algunos, la ubicación del verbo puede ser más variable (por ejemplo, latín). Una red codificador-decodificador genera secuencias de output de longitud variable pero contextualmente apropiadas para corresponder a una secuencia de entrada determinada.¹

Como puede deducirse de sus respectivos nombres, el codificador codifica una entrada determinada en una representación vectorial, y el decodificador decodifica este vector en el mismo tipo de datos que el conjunto de datos de entrada original.

Tanto el codificador como el decodificador son redes neuronales independientes y totalmente conectadas. Pueden ser redes neuronales (RNN) recurrentes, junto con sus variantes de memoria a largo y corto plazo (LSTM), unidades recurrentes cerradas (GRUs) y redes neuronales convolucionales (CNNs), así como modelos de transformadores. Un modelo de codificador-decodificador suele contener varios codificadores y varios decodificadores.

Cada codificador consta de dos capas: la capa de autoatención (o mecanismo de autoatención) y la red neuronal de avance. La primera capa guía al codificador en la encuesta y el enfoque en otras palabras relacionadas en una entrada determinada, ya que codifica una palabra específica en ella. La red neuronal de avance procesa aún más las codificaciones para que sean aceptables para las capas de codificador o decodificador posteriores.

La parte del decodificador también consta de una capa de autoatención y redes neuronales, así como de una tercera capa adicional: la capa de atención del codificador-decodificador. Esta capa centra la atención de la red en partes específicas de la output del codificador. La capa de atención multitesta asigna tokens de dos secuencias diferentes.²

La literatura presenta ampliamente los modelos codificador-decodificador que constan de tres componentes: el codificador, el vector de contexto y el decodificador.³

El componente principal del codificador es el mecanismo de autoatención. El mecanismo de autoatención determina los pesos de los tokens en una entrada de texto para reflejar las relaciones entre tokens. A diferencia de un embedding tradicional de palabras que ignora el orden de las palabras, la autoatención procesa toda la secuencia de texto de entrada para calcular el embedding promedio ponderado de cada token que tiene en cuenta la distancia de ese token de todos los demás tokens de la secuencia de texto. Calcula este embedding promedio como una combinación lineal de todos los embeddings para la secuencia de entrada de acuerdo con la siguiente fórmula:

Aquí, x_j es un token de entrada dado en la j-ésima posición en la cadena de texto de entrada y x_i es el token de output correspondiente en la i-ésima posición en la cadena de texto de entrada. El coeficiente w_ij es el peso de la atención, que se calcula utilizando lo que se denomina la función softmax y representa la importancia de ese token en el output para la secuencia de origen correspondiente. En otras palabras, este coeficiente indica cuánta atención debe prestar el codificador a cada token en el output con respecto a la importancia del token original en el texto de origen.⁴

El codificador pasa este embedding de token a la capa de retroalimentación, que agrega una codificación posicional (o embedding posicional) al embedding de token. Esta codificación posicional explica el orden de los tokens en un texto, específicamente la distancia entre los tokens. Juntos, este embedding de tokens y el embedding posicional conforman el estado oculto que se transmite al decodificador.⁵

La literatura especializada suele denominar "vector de contexto" al estado oculto final del codificador. Es una representación numérica condensada del texto de entrada inicial del codificador. En términos más sencillos, se trata del embedding y la codificación posicional producidos por el codificador para cada palabra de la secuencia de entrada.

La literatura suele definir el vector de contexto utilizando la siguiente función, en la que el vector de contexto X se define como cada token (x) en la i-ésima posición de la secuencia de entrada:⁶

Al igual que el codificador, el decodificador se compone de una capa de autoatención y una red de avance. Entre ellas, el decodificador contiene una capa de enmascaramiento de atención multitesta. Esto marca la diferencia entre el codificador y el decodificador. Mientras que el codificador genera embeddings de token contextualizados simultáneamente, la capa de atención multitesta del decodificador utiliza un enmascaramiento autorregresivo.

En primer lugar, el decodificador recibe el vector de contexto del codificador. El decodificador utiliza estos embeddings posicionales para calcular las puntuaciones de atención de cada token. Estas puntuaciones de atención determinan en qué medida cada token de la secuencia de entrada afectará a los tokens posteriores; en otras palabras, las puntuaciones determinan cuánto peso tiene cada token en las determinaciones de otros tokens al generar secuencias de output.

Sin embargo, una característica importante de esto es que el decodificador no utilizará tokens futuros para determinar tokens anteriores en esa misma secuencia. El output generado por cada token depende solo de los tokens anteriores; en otras palabras, al generar la output de un token, el decodificador no considera las siguientes palabras o tokens después del actual. Como es el caso de muchas técnicas de inteligencia artificial, esto tiene como objetivo imitar la comprensión convencional de cómo los humanos procesan la información, específicamente el lenguaje. Este enfoque del procesamiento de la información se denomina autorregresivo.⁷

Una de las principales ventajas de los modelos codificador-decodificador para tareas de PLN posteriores como el análisis de sentimientos o el modelado de lenguaje enmascarado es su producción de embeddings contextualizados. Estos embeddings son distintos de los embeddings de palabras fijas utilizados en los modelos Bag of words.

En primer lugar, los embeddings fijos no tienen en cuenta el orden de las palabras. Por lo tanto, ignoran las relaciones entre los tokens en una secuencia de texto. Sin embargo, los embeddings contextualizados tienen en cuenta el orden de las palabras mediante codificaciones posicionales. Además, los embeddings contextualizados intentan capturar la relación entre los tokens a través del mecanismo de atención que considera la distancia entre los tokens en una secuencia determinada al producir los embeddings.

Los embeddings fijos generan una embedding para un token determinado, fusionando todas las instancias de ese token. Los modelos codificador-decodificador producen embeddings contextualizados para cada instancia de un token. Como resultado, los embeddings contextualizados manejan mejor las palabras polisémicas, es decir, las palabras con múltiples significados. Por ejemplo, la palabra en inglés "fly" puede significar una acción ("volar") o un insecto ("mosca"). Una palabra fija de embedding colapsa los múltiples significados de esta palabra creando una única palabra de embedding para el token o la palabra. Pero un modelo codificador-decodificador genera embeddings individuales contextualizados para cada aparición de la palabra "fly", por lo que captura innumerables significados a través de múltiples embeddings distintos.⁸

Como era de esperar, la arquitectura de codificador-decodificador tiene muchas variantes, cada una con sus propios casos de uso principales en ciencia de datos y machine learning.

Solo codificador. Estos modelos (también descritos como autocodificadores) utilizan solo la pila de codificadores, evitando los decodificadores. Por lo tanto, estos modelos carecen de modelado autorregresivo enmascarado y tienen acceso a todos los tokens en la entrada inicial. Como tales, estos modelos se describen como bidireccionales, ya que utilizan todos los tokens circundantes (tanto anteriores como posteriores) para hacer predicciones para un token determinado. Los modelos de codificador más conocidos son la familia de modelos BERT, como BERT,⁹ RoBERTa,¹⁰ y ELECTRA,^11, así como los modelos IBM Slate. Los modelos basados únicamente en codificadores se utilizan a menudo para tareas que requieren comprender todo el texto de entrada, como la clasificación de textos o el reconocimiento de entidades nombradas.

Solo decodificador. Estos modelos (también llamados modelos autorregresivos) utilizan solo la pila de decodificadores, prescindiendo de cualquier codificador. Por lo tanto, al hacer predicciones de tokens, las capas de atención del modelo solo pueden acceder a los tokens anteriores al token que se está considerando. Los modelos solo decodificadores se utilizan a menudo para tareas de generación de texto como respuesta a preguntas, escritura de código o chatbots como ChatGPT. Un ejemplo de un modelo de solo decodificador es la familia de modelos fundacionales IBM® Granite . ¹²