¿Qué es el colapso del modelo?

Un adagio común en el desarrollo de la IA y la informática es que un modelo de inteligencia artificial (IA) es tan bueno como los datos con los que se entrenó. En los últimos años, los investigadores han descubierto que los modelos generativos entrenados únicamente en la salida de sus predecesores producen resultados cada vez más inexactos. Estos modelos, acosados por "defectos irreversibles", acaban por resultar inútiles.¹ Esto se debe a que cualquier error presente en los resultados de un modelo durante su ajuste se incluye posteriormente en el entrenamiento de su sucesor. Entonces, el nuevo modelo también produce sus propios errores. El colapso del modelo progresa a medida que los errores se agravan con las generaciones sucesivas.²

Estos errores ocurren porque los modelos de IA generativa producen conjuntos de datos con menos variación que las distribuciones de datos originales. Ilia Shumailov, Zakhar Shumaylov, Yiren Zhao y un equipo de investigadores de universidades británicas y canadienses escribieron un informe ampliamente citado sobre el colapso del modelo. A través de experimentos con modelos de IA, el equipo descubrió que los modelos entrenados con datos generados por IA, también conocidos como datos sintéticos, inicialmente perdían información de las colas, o extremos, de la verdadera distribución de los datos, lo que llamaron “colapso temprano del modelo”. En posteriores iteraciones del modelo, la distribución de datos convergió tanto que no se parecía en nada a los datos originales, lo que los investigadores denominaron “colapso tardío del modelo”.³

En escenarios del mundo real, el colapso del modelo puede ocurrir debido a los procesos de entrenamiento utilizados para los grandes modelos de IA, como los modelos de lenguaje de gran tamaño (LLM). Los LLM se entrenan sobre todo con datos generados por humanos y extraídos de Internet. Sin embargo, cuanto más proliferen en la red los contenidos generados por la IA, más podrían utilizarse para entrenar futuros modelos en lugar de datos generados por humanos, lo que podría precipitar el colapso de los modelos.

El fenómeno del colapso de los modelos plantea graves ramificaciones para el desarrollo de la IA, lo que lleva a los investigadores a proponer varias soluciones. Estas soluciones incluyen el seguimiento de la procedencia de los datos, la preservación del acceso a las fuentes de datos originales y la combinación de datos acumulados generados por IA con datos reales para entrenar modelos de IA.

Los modelos de IA generativa han aparecido en los titulares en los últimos años por crear resultados inexactos y absurdos, también llamados alucinaciones de la IA. Por ejemplo, el chatbot de Google Bard hizo una afirmación errónea sobre el telescopio espacial James Webb, mientras que la tendencia a que las imágenes de humanos generadas por IA posean dedos de más es omnipresente.

Aunque los resultados inexactos y sin sentido son molestos y a veces divertidos, las consecuencias del colapso de un modelo también pueden ser de gran alcance:

Los resultados inexactos del colapso del modelo pueden tener consecuencias costosas para las empresas que utilizan la IA en la toma de decisiones. Todo, desde los chatbots del servicio de atención al cliente hasta las herramientas de diagnóstico médico con IA, podría verse afectado. Imaginemos, por ejemplo, un modelo de diagnóstico de IA que no consigue diagnosticar correctamente a un paciente que padece una enfermedad rara porque la afección de baja probabilidad se olvidó con el tiempo y se eliminó de los conjuntos de datos de entrenamiento en anteriores generaciones de modelos.

Bajo el colapso del modelo, los modelos podrían descartar puntos de datos periféricos relacionados con interacciones y preferencias humanas reales. Como resultado, los usuarios que buscan contenido menos popular o único podrían sentirse decepcionados con los output del modelo.⁴ Por ejemplo, pensemos en un sistema de recomendación de IA para compradores en línea: si un consumidor prefiere unos zapatos verde lima, pero el sistema le recomienda continuamente unos blancos y negros porque son los más vendidos, el consumidor podría inclinarse por buscar ayuda en otra parte.

Si los sistemas de IA ampliamente utilizados que sufren el colapso del modelo producen perpetuamente output más estrechos, las ideas de "cola larga" podrían desaparecer de la conciencia del público, limitando el alcance del conocimiento humano y exacerbando los sesgos comunes en la sociedad.⁵ Por ejemplo, los científicos de hoy en día pueden recurrir a herramientas de investigación con IA para estudios que sirvan de base para sus investigaciones. Sin embargo, las herramientas afectadas por el colapso del modelo podrían proporcionar solo estudios ampliamente citados para su reseñas, lo que podría privar a los usuarios de información clave que podría conducir a descubrimientos importantes.

Los diferentes tipos de modelos de IA generativa son vulnerables a los diferentes impactos del colapso de los modelos.

En los LLM, el colapso de los modelos puede manifestarse en outputs cada vez más irrelevantes, absurdas y repetitivas. En un experimento, los investigadores perfeccionaron OPT-125M, un modelo de lenguaje de código abierto publicado por Meta. Generaciones del modelo se formaron con los datos producidos por sus predecesores. Tras una entrada inicial en inglés sobre arquitectura, una generación de modelos finalmente produjo un output sobre conejos jack con colas de diferentes colores.⁶

El colapso del modelo es especialmente notable en los modelos generadores de imágenes, ya que el resultado de la imagen disminuye en calidad, diversidad y precisión. Un experimento utilizó un conjunto de datos de números distintos escritos a mano para entrenar un autocodificador variacional (VAE). Después de varios ciclos de entrenamiento iterativos, las generaciones posteriores del modelo arrojaron resultados en los que muchos de los dígitos se parecían entre sí.⁷ Un estudio diferente que incluyó un modelo de red generativa adversaria (GAN) entrenado con diversas imágenes de rostros descubrió que el modelo finalmente producía rostros más homogéneos.⁸

Los modelos de mezcla gaussiana pueden organizar datos en grupos, pero los investigadores han descubierto que un GMM encargado de separar datos en dos grupos funcionó significativamente peor después de unas pocas docenas de Iterations. La percepción del modelo de la distribución de datos subyacente cambió con el tiempo y en su iteración número 2000, su resultado mostró muy poca variación.⁹

El colapso del modelo es uno de los múltiples fenómenos de degradación del modelo observados en el machine learning. Otros incluyen el olvido catastrófico, el colapso modal, la desviación del modelo y la predicción performativa. Cada uno tiene similitudes con el colapso del modelo, pero es distinto.

Tanto el olvido catastrófico como el colapso del modelo implican una pérdida de información por parte de los sistemas de IA. Sin embargo, el olvido catastrófico es distinto del colapso del modelo. El olvido catastrófico se produce cuando un mismo modelo aprende información nueva y "olvida" la información anterior, lo que da lugar a un rendimiento degradado cuando ese modelo se aplica a una tarea que requiere el uso de la información más antigua. El colapso de los modelos es diferente porque implica un declive del rendimiento a lo largo de sucesivas generaciones de modelos, en lugar de la pérdida de datos y el deterioro del rendimiento dentro de un mismo modelo.¹⁰

Aunque tiene un nombre similar al colapso del modelo, el colapso del modo es un fenómeno específico de los modelos GAN. Estos modelos constan de dos partes diferentes, un generador y un discriminador, que ayudan a producir datos sintéticos que son estadísticamente similares a los datos reales. El generador se encarga de crear los datos, mientras que el discriminador sirve como control continuo del proceso, identificando los datos que parecen no auténticos. El colapso del modo se produce cuando la salida del generador carece de varianza y este defecto no es detectado por el discriminador, lo que se traduce en un rendimiento degradado.

La deriva del modelo se refiere a la degradación del rendimiento del modelo de machine learning debido a los cambios en los datos o en las relaciones entre las variables de entrada y salida. Modelos que se construyen con datos históricos pueden estancarse. Si el entrenamiento de un modelo de IA, basado en datos de entrenamiento antiguos, no se alinea con los datos entrantes, no puede interpretarlos con precisión ni utilizarlos para realizar predicciones precisas y confiables. El colapso del modelo es diferente porque implica entrenar modelos con datos nuevos generados por IA en ciclos iterativos.

Los investigadores han comparado el colapso del modelo en los modelos de IA generativa con la predicción performativa en los modelos de aprendizaje supervisado, porque ambos implican la contaminación de los conjuntos de entrenamiento por entradas previas del modelo de aprendizaje automático. La predicción performativa se produce cuando la output de un modelo de aprendizaje supervisado influye en los resultados del mundo real de una manera que se ajusta a la predicción del modelo. Esto, a su vez, influye en los resultados futuros del modelo, produciendo una "profecía autocumplida". La predicción performativa también se conoce como ciclo de equidad feedback cuando este proceso afianza la discriminación.¹¹ Por ejemplo, un modelo de decisión de préstamos hipotecarios con IA, entrenado con datos de la era discriminatoria de los EE. UU., puede alentar a los prestamistas a replicar inadvertidamente tal discriminación en la actualidad.

Hay varias estrategias que podrían ayudar a los desarrolladores de IA y a las organizaciones a evitar el colapso del modelo. Entre las que se encuentran:

• Retención de fuentes de datos que no son de IA
• Determinación de la procedencia de los datos
• Aprovechamiento de la acumulación de datos
• Uso de mejores datos sintéticos
• Implementación de herramientas de gobierno del dato

Las fuentes de datos originales de alta calidad pueden proporcionar una variación importante que podría faltar en algunos datos generados por la IA. Garantizar que los modelos de IA sigan entrenándose con estos datos generados por humanos puede preservar la capacidad de los sistemas de IA para rendir bien cuando se les encarga la tarea de dar cuenta de sucesos de baja probabilidad, como que un consumidor prefiera un producto inusual o que un científico se beneficie de la información de un estudio raramente citado. En tales circunstancias, un resultado puede no ser común o popular, pero sigue siendo, de hecho, el más preciso.

Puede ser difícil diferenciar entre los datos generados por modelos y los datos generados por humanos en los ecosistemas de información, pero la coordinación entre los desarrolladores de LLM y los investigadores de IA podría ayudar a garantizar el acceso a la información sobre la procedencia de los datos. Uno de esos esfuerzos coordinados existe a través de The Data Provenance Initiative, un colectivo de investigadores de IA del MIT y otras universidades que ha auditado más de 4000 conjuntos de datos.¹²

Según un estudio, los desarrolladores de IA pueden evitar la degradación del rendimiento entrenando modelos de IA con datos reales y múltiples generaciones de datos sintéticos. Esta acumulación contrasta con la práctica de sustituir por completo los datos originales por datos generados por IA.¹³

A medida que los desarrolladores de IA exploran la acumulación de datos, también podrían beneficiarse de las mejoras en la calidad de los datos sintéticos producidos específicamente para fines de entrenamiento de machine learning. Los avances en los algoritmos de generación de datos pueden ayudar a mejorar la fiabilidad de los datos sintéticos y aumentar su utilidad. En el ámbito sanitario, por ejemplo, los datos sintéticos pueden utilizarse incluso para proporcionar una gama más amplia de escenarios para el entrenamiento de modelos, lo que permite mejorar la capacidad de diagnóstico.

Las herramientas de gobierno de la IA pueden ayudar a los desarrolladores y empresas de IA a mitigar el riesgo de reducir el rendimiento de la IA al potenciar la supervisión y el control de los sistemas de IA. Estas herramientas pueden incluir sistemas de detección automática de sesgos, desviaciones, rendimiento y anomalías, que pueden detectar el colapso del modelo antes de que afecte a los resultados de la organización.