¿Qué es un modelo generativo?

El acto de generar contenido es lo que separa a los modelos de IA generativa de otros tipos de IA. Los modelos generativos son redes neuronales avanzadas que imitan la estructura del cerebro humano y aplican algoritmos complejos de machine learning para procesar datos de entrenamiento y fabricar resultados novedosos. 

Los modelos de IA generativa y sus desarrolladores impulsaron principalmente el espíritu de la IA de los últimos años. Los modelos generativos siguen recibiendo la mayor parte de la cobertura de noticias relacionadas con la IA y captan una atención e inversión significativas. 

La IA generativa es un tipo de IA que utiliza modelos sofisticados para generar nuevo contenido de acuerdo con una entrada. El modelo generativo es el programa informático que emplea datos y algoritmos para facilitar la práctica de IA generativa. Los casos de uso de IA generativa incluyen resumen de texto, generación de texto y generación de imágenes, así como modelado 3D y creación de audio. 

Los modelos generativos funcionan identificando patrones y distribuciones en sus datos de entrenamiento y, a continuación, aplicando esos hallazgos a la generación de nuevos datos basados en las entradas del usuario. El proceso de entrenamiento enseña al modelo a reconocer las distribuciones de probabilidad conjuntas de las características en el conjunto de datos de entrenamiento. A continuación, el modelo se basa en lo que aprendió para crear nuevas muestras de datos similares a sus datos de entrenamiento. 

Los modelos generativos suelen entrenarse con técnicas de aprendizaje no supervisado: cuando se les alimenta con una masa de datos sin etiquetar y los clasifican por sí mismos. Los modelos descubren la distribución de los datos, que es cómo cultivan la lógica interna que luego emplean para crear nuevos datos. 

Durante el entrenamiento, el modelo aplica una función de pérdida para medir la brecha entre los resultados del mundo real y las predicciones del modelo. El objetivo del entrenamiento es minimizar la función de pérdida, acercando los resultados generados lo más posible a la realidad. 

La generación de contenido es un proceso probabilístico. Los modelos generativos no saben las cosas de la misma manera que los humanos. Más bien, un modelo generativo utiliza ecuaciones matemáticas complicadas para predecir el resultado más probable en función de las reglas que aprendió durante el entrenamiento. 

Los modelos generativos intentan generar nuevos datos de una determinada clase. Los modelos discriminantes separan los elementos en grupos conocidos, mientras que los modelos de agrupamiento determinan cómo agrupar los elementos de un conjunto de datos. Los modelos predictivos realizan estimaciones sobre sucesos o estados futuros basar en datos históricos. 

• Los modelos discriminativos se emplean en tareas de aprendizaje supervisadas en las que se conocen las etiquetas o categorías de los datos. Muchos modelos discriminativos son clasificadores que intentan identificar las relaciones entre características y etiquetas, y luego asignan etiquetas de clase a nuevos datos en función de la probabilidad condicional de esas etiquetas.

  Por ejemplo, un modelo discriminativo entrenado para diferenciar entre imágenes de peces y aves puede adivinar si es más probable que las imágenes sean peces o aves. El reconocimiento de imágenes, un tipo de clasificación en el machine learning, es una aplicación común para los modelos discriminativos.

  Mientras que los modelos generativos y los modelos discriminativos tienen diferencias claras, a menudo funcionan juntos, como en una red generativa adversaria (GAN). 

• Los modelos de agrupación en clústeres se emplean en tareas de aprendizaje no supervisadas para agrupar registros dentro de un conjunto de datos en clústeres. Pueden identificar elementos similares y también aprender qué separa esos elementos de otros grupos en el conjunto de datos.

  Los modelos de agrupación carecen de conocimiento previo de los elementos del conjunto de datos, incluido el conocimiento de cuántos grupos puede haber. Un investigador de mercado podría emplear un modelo de agrupación para identificar a los compradores dentro de su objetivo demográfico. 

• Los modelos predictivos procesan datos históricos para hacer predicciones sobre eventos futuros mediante el machine learning y el análisis estadístico. A menudo, se emplean para ayudar a los líderes empresariales a tomar decisiones basadas en datos. Los modelos predictivos también impulsan los servicios de texto predictivo, el software de reconocimiento facial, la detección de fraude y las soluciones de gestión de la cadena de suministro. 

• Los modelos generativos reciben datos sin etiquetar durante el entrenamiento. Aplican ingeniería inversa a los criterios de categorización. Dada una etiqueta específica, ¿cuáles son las características que hacen que un punto de datos reciba esa etiqueta? Los modelos generativos quieren predecir las características de una etiqueta y luego usar esas características para generar nuevos ejemplos de esos datos.

  Un modelo generativo entrenado para generar imágenes de animales puede intentar crear una imagen de un pez basar en lo que cree que diferencia a un pez de otros animales. La generación de imágenes es un caso de uso frecuente para los modelos generativos.

Existen muchos tipos de modelos generativos, cada uno con su propia arquitectura definitoria: la estructura del modelo que rige su funcionamiento. Los modelos generativos profundos son un subtipo de modelos generativos que emplean estructuras de redes neuronales de aprendizaje profundo para comprender relaciones complicadas y multifacéticas entre puntos de datos en un conjunto de datos. 

• Los modelos autorregresivos predicen el siguiente punto de datos en una secuencia basar en instancias de datos anteriores. Los transformadores se destacan en las tareas de procesamiento de lenguaje natural (PLN) debido a su mayor capacidad para procesar el contexto. 

• Los modelos de difusión crean nuevos datos agregando gradualmente ruido a un conjunto de datos y luego descubriendo cómo eliminar el ruido y producir resultados novedosos. 

• Las redes generativas adversariales (GAN) emparejan un modelo discriminativo y otro generativo en una competencia, con el objetivo de que el generador cree una salida que engañe al discriminador. 

• Los autocodificadores variacionales (VAE) comprimen los datos de entrada con un codificador y luego invierten el proceso con un decodificador para crear nuevos datos similares. 

• Los modelos basados en flujo aprenden las relaciones entre distribuciones de datos simples y complejas a través de operaciones matemáticas reversibles. 

Los modelos autorregresivos predicen el siguiente elemento de una secuencia basar en los elementos anteriores. Evalúan los componentes de la secuencia para determinar la correlación probabilística entre ellos y, a continuación, emplean esa información para identificar un nuevo componente que probablemente le seguiría. 

La autorregresión es un tipo de regresión lineal, que es una técnica estadística que predice el valor de una variable en función de los valores de 1 o más variables. La autorregresión limita el enfoque a la variable objetivo, pero considera sus valores a lo largo del tiempo. La autorregresión también difiere de la regresión logística en que predice valores definidos, mientras que la última produce un porcentaje de probabilidad de que ocurra un evento específico. 

Los modelos autorregresivos toman la forma de redes neuronales recurrentes (RNN) o arquitecturas transformadoras. 

Surgidos por primera vez en 2017¹, los modelos transformadores eclipsaron rápidamente a los RNN, que hasta entonces eran la principal forma de modelo autorregresivo. El transformador abordó varias debilidades evidentes de RNN. Las RNN tenían dificultades para capturar dependencias de largo alcance (relaciones entre elementos de distancia en una secuencia) y eran ineficientes desde el punto de vista informático porque procesaban los elementos secuencialmente, 1 por 1. 

Los transformadores introdujeron 2 innovaciones que superaron a la arquitectura de los RNN y los convirtieron en el estándar de facto para los modelos de lenguaje grandes (LLM) en la IA generativa: 

• Procesamiento paralelo: los transformadores procesan todos los elementos en una secuencia simultáneamente, mejorando la eficiencia sobre los RNN secuenciales. Los transformadores se pueden entrenar en mucho menos tiempo, especialmente con los conjuntos de datos a gran escala requeridos para el máximo rendimiento de LLM. 

• Mecanismos de autoatención: los transformadores pueden considerar la importancia relativa de todos los elementos en una secuencia al procesar elementos. La autoatención permite a los transformadores capturar relaciones clave entre elementos distantes en una serie, lo que permite una comprensión contextual de la que carecían los RNN. La capacidad de procesar el contexto en grandes secuencias de entrada lleva a los transformadores a sobresalir en tareas de PLN, como la generación de texto y la traducción de idiomas. 

De los 3 tipos de modelos de transformadores (codificadores, decodificadores y codificadores-decodificadores), los últimos 2 contienen componentes autorregresivos. Los decodificadores son el componente generativo y utilizan la autorregresión para generar tokens informados por tokens generados previamente. 

Los modelos autorregresivos, especialmente los transformadores, son de uso generalizado en la actualidad. Muchos de los principales modelos de IA son transformadores, como el GPT de OpenAi y GPT-4o Claude de Anthropics, Llama de Meta, Gemini de Google y Granite de IBM. 

Los casos de uso del modelo autorregresivo incluyen: 

• Procesamiento de lenguaje natural: los transformadores pueden procesar consultas complejas en lenguaje natural y responder de manera conversacional con generación automatizada de texto, lo que los hace ideales para usarse como chatbots. Por ejemplo, ChatGPT es la implementación de chatbot de OpenAI de su modelo generativo GPT. Otras aplicaciones de procesamiento de lenguaje natural incluyen análisis de sentimientos, reconocimiento de voz, aplicaciones Text to Speech (TTS) y resumen de documentos. 

• Soporte de programación: las mismas capacidades autorregresivas que permiten que los transformadores sobresalgan en la generación de texto también les permiten depurar código y generar fragmentos de código. 

• Pronóstico de series temporales: la autorregresión se puede aplicar fácilmente al pronóstico de series temporales, en el que un modelo predice valores futuros basados en tendencias anteriores. El forecasting de series temporales se aplica con frecuencia a la elaboración de modelos financieros, las predicciones de mercado y el forecasting meteorológico. 

• Aprendizaje por refuerzo: los transformadores comenzaron a ver su uso en el aprendizaje por refuerzo, una técnica de entrenamiento de machine learning que enseña la toma de decisiones autónoma. Los transformadores también se están aplicando a las tareas de clasificación. 

Los modelos de difusión ofuscan o difunden gradualmente los datos de entrada mediante la incorporación de ruido, y luego refinan el desorden que crearon en datos nuevos y similares. Generan nuevos datos aprendiendo a refinar el ruido en datos que son similares a su conjunto de datos de entrenamiento. Los modelos de difusión funcionan a través de un proceso de 3 etapas: 

• Paso 1: Difusión: durante el entrenamiento, el modelo introduce gradualmente ruido en sus datos de entrada hasta que los datos ya no son reconocibles. El modelo agrega una pequeña cantidad de ruido gaussiano a los datos en cada paso de un proceso matemático conocido como cadena de Markov.

  Imagine el proceso de difusión cuando un guitarrista sube lentamente la perilla de ganancia de su amplificador hasta que el sonido de su guitarra se convierte en una pared de pura estática. Así es como los guitarristas de rock obtienen un sonido distorsionado en su música, aunque no suele ser así. 

• Paso 2: Aprendizaje: el modelo rastrea la evolución de los datos ahora destruidos para comprender cómo se alteraron a través del proceso de ruido. Los modelos de difusión repiten este proceso en cada etapa del ruido. 

• Paso 3: Difusión inversa: al comprender cómo el ruido altera los datos, el modelo de difusión aprende a revertir el proceso de ruido y reconstruir los datos de entrada. El objetivo de la difusión inversa es viajar hacia atrás a través de la cadena de Markov, eliminando el ruido gaussiano hasta que solo queden los datos puros. El guitarrista del Paso 1 recibió una severa conversación de sus compañeros de banda y está bajando la ganancia a un nivel aceptable. 

Los pasos 1 y 2 se aplican para entrenar modelos de difusión. Luego del entrenamiento, los modelos de difusión generan datos mediante la difusión inversa de ruido aleatorio para "encontrar" los datos solicitados por la instrucción del usuario.

A menudo utilizados para la generación de imágenes, los modelos de difusión también tienen otros casos de uso destacados. Las aplicaciones del modelo de difusión incluyen: 

• Generación de imágenes: los modelos de difusión impulsan las principales herramientas de generación y síntesis de imágenes como Midjourney, Stable Diffusion y DALL-E 2 de OpenAI. Estos modelos generan imágenes en respuesta a las instrucciones del usuario. Los modelos de difusión pueden generar imágenes realistas de alta calidad, incluidas las de rostros humanos.

  En 2023, la US Copyright Office dictaminó que las imágenes generadas por IA no son elegibles para protecciones de derechos de autor. Mientras tanto, numerosas demandas en curso² finalmente determinarán si las imágenes generadas por IA se consideran violaciones de derechos de autor. 

• Repintado y despintado: repintado es el proceso de agregar o quitar contenido dentro de una imagen, mientras que despintado expande una imagen más allá de sus bordes originales. 

• Modelado 3D: DreamFusion de Google y Magic3D de NVIDIA son modelos de difusión que crean modelos 3D a partir de entradas de texto. 

• Investigación de mercado: los modelos de difusión muestran cómo evolucionan las cosas con el tiempo, lo que los hace útiles para comprender cómo reaccionan los consumidores ante un producto. 

• Detección de anomalías: debido a que pueden aprender cómo cambian los datos a lo largo del tiempo, los modelos de difusión pueden identificar cuándo los puntos de datos no se ajustan a las tendencias establecido. Las aplicaciones de detección de anomalías incluyen ciberseguridad, prevención de fraude y detección de enfermedades. 

Introducidas en 2014, las redes generativas adversariales (GAN) se encuentran entre los primeros tipos de modelos de IA generativa que emparejan 2 modelos en un concurso. Un modelo generativo crea resultados que un modelo discriminador debe considerar como auténticos o falsos. El objetivo del concurso es que el generador cree contenidos que el discriminador considere auténticos. 

Si el generador es un falsificador de arte, el discriminador es un autenticador de arte. Un marchante puede obtener una obra falsificada e intentar venderla a un museo, pero no antes de que la obra pase la autenticación. A medida que el falsificador se vuelve mejor imitando a los grandes maestros, el autenticador podría tener dificultades para detectar falsificaciones posteriores. En un plazo de tiempo, el museo organiza una exposición llena de obras forjadas. 

El mismo proceso de entrenamiento que conduce a resultados realistas también puede provocar un colapso modal: cuando el generador omite algunos de sus datos de entrenamiento y se limita a un rango estrecho de tipos de muestra. Las GAN, así como los modelos de difusión y los transformadores, requieren conjuntos de datos de entrenamiento masivos para un rendimiento eficaz. 

Ambas redes en una GAN son a menudo redes neuronales convolucionales (CNN), un tipo temprano de red neuronal notable por su gran rendimiento en tareas de visión artificial.

Las GAN se emplean principalmente en el campo de la visión artificial y otras tareas relacionadas con los gráficos. 

• Visión artificial: la visión artificial es el uso del machine learning para procesar información a partir de imágenes. Las tareas comunes de visión artificial incluyen la detección y clasificación de objetos, el reconocimiento facial, la traducción del lenguaje de señas y el seguimiento de objetos. 

• Generación de imágenes: las GAN pueden superar a los modelos de difusión en la generación de imágenes realistas. También requieren menos tiempo de entrenamiento y son más eficientes desde el punto de vista informático, aunque los modelos de difusión ofrecen un control más preciso, mayor versatilidad y más estabilidad. El marco Diffusion-GAN³ entrena una GAN con difusión para maximizar los beneficios de ambos tipos de modelos.

• Detección de anomalías: cuando se entrenan para generar conjuntos de datos normales, las GAN se pueden aplicar a tareas de detección de anomalías. La GAN crea un conjunto de datos sintéticos modelado a partir de los datos del mundo real y, al comparar los dos, se destacan las anomalías en estos últimos. El discriminador también puede detectar anomalías declarando que ciertos puntos de datos tienen más probabilidades de ser falsos. 

• Aumento de datos: el aumento de datos (el uso de datos preexistentes para crear más muestras de datos) puede aumentar aún más el rendimiento de la visión artificial con las CNN. Este proceso difiere de los datos sintéticos en que se amplía a partir de datos reales, en lugar de generar algo desde cero.

Los autocodificadores variacionales (VAE) comprimen los datos de entrada y, a continuación, expanden o descodifican esa compresión para generar nuevos datos similares. Las VAE aprenden la distribución de un conjunto de datos de entrenamiento y aplican esas expectativas al generar nuevos datos a partir de muestras codificadas. Al igual que todos los autocodificadores, los VAE constan de 2 componentes: un codificador y un decodificador. 

El trabajo del codificador es aprender las variables latentes en un conjunto de datos. Las variables latentes no son directamente observables, pero desempeñan un papel importante en la distribución de datos. Espacio latente es el nombre colectivo de todas las variables latentes en un conjunto de datos. El codificador modela el espacio latente de una manera que captura la información necesaria para reconstruir con precisión los datos. Todas las demás variables se omiten. 

El decodificador toma la representación comprimida de los datos, conocida como cuello de botella, y la extrapola a la forma original de los datos. Un decodificador eficaz produce una salida similar a los datos originales precomprimidos.

Los VAE tienen dificultades en las tareas de generación de imágenes en comparación con los modelos de difusión y las GAN, pero se destacan en otras áreas. 

• Generación de imágenes: los VAE se utilizan en la generación de imágenes, aunque con las aplicaciones de generación de imágenes convencionales, los modelos de difusión los han reemplazado ampliamente. En comparación con otros generadores de imágenes, los VAE tienden a producir imágenes más borrosas debido a su “promedio” del espacio latente. 

• Genómica: los VAE ayudan a los genetistas a calcular los valores de cría (el valor proyectado que un animal proporcionará con su descendencia), así como a asignar puntajes de riesgo de enfermedad. 

• Detección de anomalías: los VAE son más baratos y fáciles de entrenar que las GAN y los difusores, lo que los convierte en una opción atractiva para las tareas de detección de anomalías. Los datos recreados se comparan con los datos originales para aislar las instancias que se desvían de la distribución proyectada. 

• Imputación de datos: los VAE pueden generar nuevos datos para reemplazar datos faltantes y restaurar archivos dañados. Los ejemplos incluyen la limpieza de archivos de audio y la eliminación de ruido de videos, así como imágenes médicas. Si bien los VAE tienden a generar imágenes borrosas desde cero, pueden restaurar imágenes borrosas preexistentes eliminando el ruido de la imagen. 

• Aprendizaje semisupervisado: los VAE ayudan a entrenar a los clasificadores mediante la captura de distribuciones de datos en conjuntos de datos con etiquetado incompleto. Los VAE también pueden realizar un aumento de datos para generar muestras de entrenamiento adicionales para el clasificador.

Los modelos basados en flujos aprenden la distribución de datos a través de una serie de transformaciones matemáticas invertibles o reversibles. Los datos pueden progresar sin pérdidas a través de esta canalización, conocida como flujo de normalización, en cualquier dirección. Mientras que los VAE y los GANs estiman distribuciones de datos, los modelos basados en flujo aprenden explícitamente la función de densidad de probabilidad para el conjunto de datos. 

En un conjunto de datos determinado, la función de densidad de probabilidad describe cómo se distribuyen los datos. Los flujos de normalización progresan de distribuciones simples a distribuciones complejas hasta que se identifica la función de densidad de probabilidad de la variable objetivo.

Los modelos basados en flujos pueden generar nuevas muestras de datos que mantienen las mismas propiedades estadísticas del conjunto de datos inicial. Al igual que todos los modelos generativos, el proceso se basa en el concepto de extraer muestras de datos de entrenamiento y aplicar matemáticas estadísticas complejas para producir resultados similares y novedosos.

Los modelos basados en flujos brillan en los casos en los que tener una evaluación precisa de la distribución de datos es primordial.

• Generación de imágenes: los modelos basados en flujo generan imágenes ejecutando ruido muestreado aleatoriamente a través de flujos de normalización para producir una imagen limpia. PixelCNN es un notable modelo de generación de imágenes 2016 que aplica la autorregresión a la secuencia de transformaciones, modelando imágenes píxel a píxel. 

• Estimación precisa de la densidad: la estimación de la densidad es el desafío de identificar la función de densidad de probabilidad de un conjunto de datos basado en datos observables. Si bien los modelos basados en flujo pueden representar con precisión distribuciones de datos complejas, tienen dificultades para capturar dependencias de largo alcance en comparación con los transformadores. 

• Generación de gráficos moleculares: los modelos basados en flujo han encontrado uso en la generación de gráficos moleculares, en la que los modelos de IA modelan nuevas estructuras moleculares como gráficos. La generación de gráficos moleculares es una herramienta importante para ayudar a los científicos e ingenieros en el descubrimiento de nuevos fármacos y materiales.

Los mismos procesos que a menudo conducen a Resultados impresionantes son también los que hacen que los modelos generativos tengan alucinaciones: cuando generan información incorrecta o engañosa. Las alucinaciones o confabulaciones se producen cuando los modelos perciben patrones en sus conjuntos de datos de entrenamiento que no existen en el mundo real. 

Por ejemplo, indicar a ChatGPT-4o mini la pregunta "¿En qué episodio de Seinfeld va Kramer a Bangladesh?" arrojó esta respuesta: 

Kramer viaja a Bangladés en el episodio titulado “The Little Jerry”, que es el episodio 145 de Seinfeld. Es el episodio 145 del programa y se emitió originalmente durante la temporada 8. En este episodio, Kramer participa en un plan para importar un juguete de Bangladés.

Si bien The Little Jerry es el episodio 145 de Seinfeld y se emitió durante la temporada 8, presenta a Kramer comprando y entrenando a un gallo, el epónimo Little Jerry. Incitar al chatbot nuevamente con la misma pregunta devolvió una segunda alucinación diferente: 

Kramer va a Bangladesh en el episodio titulado "The Maldives", que es el episodio 18 de la temporada 9. En este episodio, intenta comenzar una nueva vida después de su viaje, y la historia gira en torno a la idea de que se convierta en un pescador de "Bangladesh".

En realidad, el episodio 18 de la temporada 9 de Seinfeld es The Frogger, y en él, Kramer solo llega a la estación de policía. No hay ningún episodio de Seinfeld llamado The Maldives, y en ningún momento durante todo el programa Kramer va a Bangladesh. 

Así como se sabe que los modelos autorregresivos como GPT alucinan con hechos inventados, otros tipos de modelos pueden alucinar a su manera respectiva. Los modelos de difusión utilizados para la generación de imágenes a veces representan objetos del mundo real de maneras que no coinciden con la realidad.

Aunque todavía no es posible eliminar por completo la posibilidad de que los modelos de IA alucinen, las mejores prácticas para mitigar la alucinación incluyen: 

• Instrucción clara: cuanto más explícita es la instrucción del usuario, más enfocada puede ser la respuesta de la IA. Dele espacio a la IA dentro de la instrucción para responder con detalle. 

• Dirección enfocada: Dar a una IA un papel claro e instruirla para que proporcione información veraz y verificable puede ayudar a garantizar que sus respuestas reflejen mejor la realidad.

• Datos de alta calidad: cuanto más actuales y relevantes sean los datos de entrenamiento de un modelo de IA, menor será la posibilidad de que sus respuestas estén sesgadas.

• Verificación humana: los resultados generados por IA no deben emplearse sin ser verificados primero por humanos con conocimientos. 

• RAG y ajuste fino: el uso de RAG para aumentar una IA con datos creíbles y el ajuste fino de los modelos para que sean más específicos del dominio son ambos eficaces para reducir las alucinaciones.