Un autocodificador es un tipo de arquitectura de red neuronal diseñada para comprimir (codificar) eficazmente los datos de entrada hasta reducirlos a sus características esenciales y, a continuación, reconstruir (decodificar) la entrada original a partir de esta representación comprimida.
Mediante el machine learning no supervisado, los autocodificadores se entrenan para descubrir variables latentes de los datos de entrada: variables ocultas o aleatorias que, a pesar de no ser directamente observables, informan de manera fundamental sobre la forma en que se distribuyen los datos. En conjunto, las variables latentes de un conjunto dado de datos de entrada se denominan espacio latente. Durante el entrenamiento, el autocodificador aprende qué variables latentes pueden utilizarse para reconstruir con mayor precisión los datos originales: esta representación del espacio latente representa así únicamente la información más esencial contenida en la entrada original.
La mayoría de los diferentes tipos de autocodificadores se utilizan para tareas de inteligencia artificial relacionadas con la extracción de características, como la compresión de datos, la eliminación de ruido en imágenes, la detección de anomalías y el reconocimiento facial. Ciertos tipos de autocodificadores, como los autocodificadores variacionales (VAE) y los autocodificadores adversariales (AAE), adaptan la arquitectura de los autocodificadores para su uso en tareas generativas, como la generación de imágenes o la generación de datos de series temporales.
Boletín del sector
Obtenga conocimientos organizados sobre las noticias más importantes e intrigantes de la IA. Suscríbase a nuestro boletín semanal Think. Consulte la Declaración de privacidad de IBM.
Su suscripción se enviará en inglés. Encontrará un enlace para darse de baja en cada boletín. Puede gestionar sus suscripciones o darse de baja aquí. Consulte nuestra Declaración de privacidad de IBM para obtener más información.
Aunque todos los modelos de autocodificador incluyen tanto un codificador como un decodificador, no todos los modelos de codificador-decodificador son autocodificadores.
Los marcos de codificador-decodificador, en los que una red codificadora extrae características clave de los datos de entrada y una red decodificadora utiliza esos datos de características extraídos como su entrada, se utilizan en una variedad de modelos de deep learning, como las arquitecturas de redes neuronales convolucionales (CNN) utilizadas en tareas de visión artificial como la segmentación de imágenes o las arquitecturas de redes neuronales recurrentes (RNN) utilizadas en tareas de secuencia a secuencia (seq2seq).
En la mayoría de las aplicaciones de modelos de codificador-decodificador, la salida de las redes neuronales es diferente de su entrada. Por ejemplo, en modelos de segmentación de imágenes como U-Net, la red codificadora extrae datos de características de la imagen de entrada para determinar la clasificación semántica de los distintos píxeles; utilizando ese mapa de características y esas clasificaciones por píxeles, la red decodificadora construye entonces máscaras de segmentación para cada objeto o región de la imagen. El objetivo de estos modelos de codificador-decodificador es etiquetar con precisión los píxeles según su clase semántica: se entrenan mediante aprendizaje supervisado, lo que optimiza las predicciones del modelo frente a un conjunto de datos "verdad-terreno" de imágenes etiquetadas por expertos humanos.
Los autocodificadores se refieren a un subconjunto específico de arquitecturas de codificador-decodificador que se entrenan mediante aprendizaje no supervisado para reconstruir sus propios datos de entrada.
Al no depender de datos de entrenamiento etiquetados, los autocodificadores no se consideran un método de aprendizaje supervisado. Como todos los métodos de aprendizaje no supervisado, los autocodificadores se entrenan para descubrir patrones ocultos en datos no etiquetados, en lugar de predecir patrones conocidos demostrados en datos de entrenamiento etiquetados. Sin embargo, al igual que los modelos de aprendizaje supervisado (y a diferencia de la mayoría de los ejemplos de aprendizaje no supervisado), los autocodificadores tienen una verdad-terreno para medir su resultado: la propia entrada original (o alguna versión modificada de la misma). Por esa razón, se consideran “aprendizaje autosupervisado” y de ahí su nombre: autocodificadores.
Los autocodificadores descubren variables latentes haciendo pasar los datos de entrada por un "cuello de botella" antes de que lleguen al decodificador. Esto obliga al codificador a aprender a extraer y pasar sólo la información más propicia para reconstruir con precisión la entrada original.
Aunque las distintas variantes de autocodificadores modifican ciertos elementos de sus redes neuronales artificiales para adaptarse mejor a objetivos y tipos de datos específicos, todos los autocodificadores comparten elementos estructurales clave:
El codificador comprende capas que codifican una representación comprimida de los datos de entrada a través de la reducción de dimensionalidad. En un autocodificador típico, las capas ocultas de las redes neuronales contienen un número progresivamente menor de nodos que la capa de entrada: a medida que los datos atraviesan las capas del codificador, se comprimen mediante el proceso de "estrujarse" en menos dimensiones.
El cuello de botella (o "código") contiene la representación más comprimida de la entrada: es a la vez la capa de salida de la red codificadora y la capa de entrada de la red decodificadora. Un objetivo fundamental del diseño y el entrenamiento de un autocodificador es descubrir el número mínimo de características (o dimensiones) importantes necesarias para una reconstrucción eficaz de los datos de entrada. La representación del espacio latente, es decir, el código, que emerge de esta capa se introduce entonces en el decodificador.
El decodificador consta de capas ocultas con un número progresivamente mayor de nodos que descomprimen (o decodifican) la representación codificada de los datos, reconstruyéndolos finalmente a su forma original, previa a la codificación. Esta salida reconstruida se compara con la "verdad-terreno", que en la mayoría de los casos es simplemente la entrada original, para medir la eficacia del autocodificador. La diferencia entre la salida y la verdad-terreno se llama error de reconstrucción.
En algunas aplicaciones de los autocodificadores, el decodificador puede descartarse tras el entrenamiento: en tales casos, el único propósito del decodificador es entrenar al codificador, similar al papel del discriminador en una red generativa adversarial (GAN), que luego se utiliza como componente de unas redes neuronales diferentes. En muchos autocodificadores, el decodificador sigue cumpliendo una función después del entrenamiento: por ejemplo, en los VAE, el decodificador produce nuevas muestras de datos.
Una de las principales ventajas de utilizar autocodificadores frente a otras técnicas de dimensionalidad, como el análisis de componentes principales (PCA), es que los autocodificadores pueden captar correlaciones no lineales complejas. En consecuencia, las funciones de activación utilizadas en los autocodificadores suelen ser funciones no lineales, como la función sigmoidea.
Los diferentes tipos de autocodificadores realizan adaptaciones a esta estructura para adaptarse mejor a diferentes tareas y tipos de datos. Además de seleccionar el tipo adecuado de red neuronal (por ejemplo, una arquitectura basada en CNN, una arquitectura basada en RNN como memoria a largo plazo y corto plazo, una arquitectura del transformador o una simple red neuronal prealimentada), el diseño de un autocodificador implica varios hiperparámetros:
Los autocodificadores incompletos son una estructura de autocodificador simple utilizada principalmente para la reducción de la dimensionalidad. Sus capas ocultas contienen menos nodos que sus capas de entrada y salida, y la capacidad de su cuello de botella es fija.
El objetivo de este cuello de botella es evitar que el autocodificador se ajuste en exceso a sus datos de entrenamiento. Sin limitar suficientemente la capacidad del cuello de botella, la red tiende a aprender la función de identidad entre la entrada y la salida: en otras palabras, puede aprender a minimizar la pérdida de reconstrucción simplemente copiando la entrada directamente. Al forzar una compresión significativa de los datos, las redes neuronales deben aprender a conservar sólo las características más esenciales para la reconstrucción.
Pero si el codificador y el decodificador tienen una capacidad suficientemente alta, es decir, si procesan entradas de datos grandes o complejas, entonces el autocodificador (incluso con un cuello de botella) puede aprender la función de identidad de todos modos, haciéndola inútil. Esto hace que los autocodificadores incompletos sean poco flexibles y limita su capacidad.
Los autocodificadores regularizados abordan las deficiencias de los autocodificadores incompletos introduciendo la regularización: técnicas que restringen o modifican la forma en que el modelo calcula el error de reconstrucción. Estos términos de regularización no sólo reducen el sobreajuste, sino que también permiten al autocodificador aprender características o funciones útiles.
Los autocodificadores dispersos (SAE) imponen una restricción de dispersión: en lugar de crear un cuello de botella de información reduciendo el número de nodos en cada capa oculta, los SAE crean un cuello de botella reduciendo el número de nodos que pueden activarse al mismo tiempo.
Mientras que un autocodificador incompleto estándar utilizará todas las redes neuronales para cada observación, los autocodificadores con una función de dispersión se penalizan por cada neurona que se haya activado por encima de un determinado umbral. Esto permite que el codificador y el decodificador tengan una mayor capacidad sin el correspondiente riesgo de sobreajuste de los datos de entrenamiento (porque no todas las neuronas se activarán). También permite que las capas ocultas contengan nodos dedicados a descubrir características específicas: la función de dispersión garantiza que sólo "merezca la pena" activar esos nodos si dichas características están presentes.
Aunque el cálculo del error de reconstrucción y la posterior optimización de los pesos de los parámetros mediante retropropagación se producen por separado, esta optimización se regulariza mediante esta función de dispersión. De este modo, el autocodificador se ve obligado a aprender la representación del espacio latente más eficaz dentro de las restricciones de dispersión dadas.
Las funciones utilizadas para imponer una restricción de dispersión suelen ser la regularización L1 o la divergencia KL.
La divergencia de Kullback-Leibler (KL) mide la diferencia entre dos distribuciones de probabilidad. Cuando se utiliza en el contexto de los EEA, la penalización aplicada a la red después de cada lote de entrenamiento es proporcional a la divergencia KL entre la distribución objetivo de los valores de activación (la dispersión deseada) y la distribución real de los valores de activación. Como se verá más adelante en este artículo, la divergencia KL también se utiliza para optimizar la precisión de las distribuciones de probabilidad aprendidas por los autocodificadores variacionales (VAE).
Introducidos por primera vez en 2011 por investigadores de la Universidad de Montreal,1 los autocodificadores contractivos están diseñados para ser insensibles a pequeñas variaciones (o "ruido") en los datos de entrada con el fin de reducir el sobreajuste y capturar con mayor eficacia la información esencial.
Esto se consigue añadiendo un término de regularización en el entrenamiento, que penaliza a la red por cambiar la salida en respuesta a cambios insuficientemente grandes en la entrada. Este término de penalización se calcula utilizando dos conceptos matemáticos:
Específicamente, el término de penalización es la norma Frobenius de la matriz jacobiana de activaciones neuronales en la red codificadora con respecto a la entrada. Este término de penalización y el algoritmo de función de pérdida utilizado para reducir el error de reconstrucción son contradictorios: la función de pérdida de reconstrucción tiende a observar las variaciones en los datos de entrada, mientras que el término de penalización tiende a ignorarlas. Al combinar ambos términos, la red se ve obligada a aprender una representación comprimida de la entrada que sólo contiene las variables más importantes.
Los autocodificadores de eliminación de ruido reciben datos de entrada parcialmente corruptos y se entrenan para restaurar la entrada original eliminando la información inútil mediante la reducción de la dimensionalidad.
A diferencia de la mayoría de los autocodificadores, los autocodificadores de eliminación de ruido no tienen los datos reales como entrada. En su lugar, se añade ruido gaussiano a los datos originales (por ejemplo, añadiendo estática aleatoria a una imagen) y el autocodificador de eliminación de ruido (DAE) aprende a filtrarlo. Durante el entrenamiento del modelo, el error de reconstrucción del resultado de la eliminación de ruido no se mide con respecto a los datos de entrada corruptos, sino con respecto a la imagen original.
Además de evitar el sobreajuste, esta técnica de entrenamiento también hace que los autocodificadores de eliminación de ruido sean muy útiles para limpiar archivos de imagen y audio ruidosos o dañados. Los autocodificadores de eliminación de ruido también han servido como paradigmas de entrenamiento fundamentales para los modelos de generación de imágenes más avanzados, como la difusión estable.4
Los autocodificadores variacionales (VAE) son modelos generativos que aprenden representaciones comprimidas de sus datos de entrenamiento como distribuciones de probabilidad, que se utilizan para generar nuevos datos de muestra creando variaciones de esas representaciones aprendidas.
La diferencia fundamental entre los VAE y otros tipos de autocodificadores es que, mientras que la mayoría de autocodificadores aprenden modelos espaciales latentes discretos, los VAE aprenden modelos variables latentes continuos. En lugar de un único vector de codificación para el espacio latente, los VAE modelan dos vectores diferentes: un vector de medias, "μ", y un vector de desviaciones estándar, "σ". Dado que estos vectores capturan los atributos latentes como una distribución de probabilidad (es decir, aprenden una codificación estocástica en lugar de una codificación determinista ), los VAE permiten la interpolación y el muestreo aleatorio, lo que amplía enormemente sus capacidades y casos prácticos. Esto significa que los VAE son modelos de IA generativa.
En términos más sencillos, los VAE aprenden a codificar los aprendizajes de características importantes de las entradas de los conjuntos de datos en los que se entrenan de una forma flexible y aproximada que les permite generar nuevas muestras que se asemejan a los datos de entrenamiento originales. La función de pérdida utilizada para minimizar el error de reconstrucción está regularizada por la divergencia KL entre la distribución de probabilidad de los datos de entrenamiento (la distribución previa) y la distribución de las variables latentes aprendidas por el VAE (la distribución posterior). Esta función de pérdida regularizada permite a los VAE generar nuevas muestras que se asemejan a los datos con los que fueron entrenados, evitando al mismo tiempo el sobreajuste, que en este caso significaría generar nuevas muestras demasiado idénticas a los datos originales.
Para generar una nueva muestra, el VAE muestrea un vector latente aleatorio (ε) desde dentro de la unidad gaussiana, en otras palabras, selecciona un punto de inicio aleatorio dentro de la distribución normal, lo desplaza por la media de la distribución latente (μ) y lo escala por la varianza de la distribución latente (σ). Este proceso, llamado truco de reparametrización,5 evita el muestreo directo de la distribución variacional: debido a que el proceso es aleatorio, no tiene derivada, lo que elimina la necesidad de retropropagación durante el proceso de muestreo.
Cuando se utiliza un VAE para tareas generativas, el codificador puede descartarse a menudo tras el entrenamiento. Las evoluciones más avanzadas de los VAE, como los VAE condicionales, ofrecen al usuario un mayor control sobre las muestras generadas al proporcionar entradas condicionales que modifican la salida del codificador.
Tanto los autocodificadores generativos como los deterministas tienen una amplia variedad de casos de uso en distintos campos y tipos de datos.
Entrene, valide, ajuste e implemente IA generativa, modelos fundacionales y capacidades de machine learning con IBM watsonx.ai, un estudio empresarial de nueva generación para desarrolladores de IA. Cree aplicaciones de IA en menos tiempo y con menos datos.
Ponga la IA a trabajar en su negocio con la experiencia líder en IA del sector de IBM y junto a su cartera de soluciones.
Reinvente las operaciones y flujos de trabajo críticos añadiendo IA para maximizar las experiencias, la toma de decisiones en tiempo real y el valor empresarial.