¿Qué es el aprendizaje continuo?

El aprendizaje incremental permite a los modelos adquirir nuevos conocimientos y seguir el ritmo de la imprevisibilidad del mundo real sin olvidar los conocimientos antiguos. Los datos no estacionarios significan que las distribuciones de datos no son estáticas. Cuando se implementa con éxito, el aprendizaje continuo da como resultado modelos que mantienen el conocimiento específico de la tarea y también pueden generalizar a través de distribuciones de datos dinámicas. 

Los modelos de aprendizaje continuo están diseñados para aplicar nuevos datos de forma adaptativa en entornos cambiantes. También conocido como aprendizaje permanente, el aprendizaje continuo se inspira en conceptos de neurociencia relacionados con la forma en que los humanos aprenden cosas nuevas y, al mismo tiempo, conservan lo que ya saben. Si una persona aprende a andar en patineta, no olvida inmediatamente cómo andar en bicicleta.

Los sistemas tradicionales de machine learning entrenan modelos en grandes conjuntos de datos estáticos. El conjunto de datos pasa por el algoritmo del modelo en lotes a medida que el modelo actualiza sus ponderaciones o parámetros. El modelo procesa todo el conjunto de datos varias veces, y cada ciclo se conoce como época. 

Los desarrolladores identifican el propósito del modelo de aprendizaje profundo con anticipación, ensamblan un conjunto de datos de entrenamiento que se ajuste al objetivo de aprendizaje y entrenan el modelo con esos datos. Luego, el modelo se prueba, valida y despliega. Ajustar el modelo de machine learning con más datos puede adaptar su rendimiento a las nuevas tareas. 

Los métodos de aprendizaje tradicionales no reflejan completamente el dinamismo del mundo real. El aprendizaje supervisado utiliza conjuntos de datos estáticos con resultados conocidos. El aprendizaje no supervisado permite que un modelo clasifique los datos por sí solo, pero los datos de entrenamiento siguen siendo finitos e inmutables. El aprendizaje por refuerzo es igualmente seguro y restringido. 

A diferencia de los métodos de aprendizaje tradicionales, el aprendizaje continuo intenta aplicar la plasticidad del cerebro humano a las redes neuronales artificiales. La neuroplasticidad es la cualidad del cerebro que le permite adaptarse, aprendiendo sin olvidar los conocimientos previos a medida que se encuentra con circunstancias cambiantes. 

Algunos tipos de aprendizaje continuo todavía comienzan con el entrenamiento por lotes fuera de línea en múltiples épocas, similar al entrenamiento tradicional fuera de línea. El aprendizaje continuo en línea solo entrena modelos con un flujo de datos de un solo paso. 

El aprendizaje continuo ayuda a las redes neuronales a optimizar y adaptarse en entornos dinámicos. El machine learning tradicional requiere conjuntos de datos extensos y fijos, tiempo y computación suficientes para el entrenamiento y un propósito conocido para el modelo. Cuando no se cumplen uno o más de estos requisitos, el aprendizaje continuo proporciona una alternativa. 

• Mitigar el olvido catastrófico

• Pequeños conjuntos de datos de entrenamiento 

• Cambiar las distribuciones de datos

• Optimización de recursos 

• Tolerancia al ruido 

Cuando los modelos de aprendizaje profundo se entrenan con nuevos datos o nuevas distribuciones, pueden perder conocimientos previos. Conocido como olvido catastrófico, este fenómeno es consecuencia de un modelo que sobreajusta sus parámetros a nuevos datos. Los modelos actualizan sus ponderaciones internas hasta el punto de que los nuevos parámetros ya no son relevantes para el trabajo original del modelo. 

El aprendizaje continuo transmite datos de entrenamiento de forma incremental a través del modelo de IA. El modelo se alimenta de una secuencia de pequeños conjuntos de datos, que a veces constan de una sola muestra. El aprendizaje por transferencia,cuando un modelo aplica el aprendizaje previo a nuevas tareas, ayuda a minimizar la cantidad de nuevos datos necesarios. 

El mundo está en un estado de cambio constante. Los humanos y otros animales desarrollaron la capacidad de aprender para ayudarlos a prosperar en la adversidad. Por ejemplo, si se agota un suministro de alimentos, descubrir cómo comer algo más puede garantizar la supervivencia. 

Pero no todos los animales son tan capaces. Los koalas ni siquiera pueden reconocer su principal fuente de alimento, las hojas de eucalipto, si las hojas se quitan de un árbol y se colocan en una pila en un plato. Si bien los koalas a veces comen otras hojas de otros árboles, pueden concebir la comida solo como "hojas en los árboles". Sus suaves cerebros no pueden desviarse de esta expectativa. 

Considere un modelo de visión artificial diseñado para su uso en automóviles autónomos. El modelo debe saber cómo reconocer otros vehículos en la carretera, pero también peatones, ciclistas, motociclistas, animales y peligros. Debe percibir y adaptarse perfectamente a los cambios climáticos y a los patrones de tráfico, como un aguacero repentino o si se acerca un vehículo de emergencia con las luces y la sirena encendidas. 

Los idiomas cambian con el tiempo. Un modelo de procesamiento de lenguaje natural (PLN) debe ser capaz de procesar cambios en el significado de las palabras y cómo se utilizan. Del mismo modo, un modelo diseñado para robótica debe poder adaptarse si cambia el entorno del robot. 

Los modelos de IA consumen muchos recursos. Pueden costar millones de dólares entrenar y consumir grandes cantidades de electricidad y agua. No siempre es posible desplegar nuevos modelos cada vez que surgen nuevas tareas. Tampoco es factible desde el punto de vista computacional conservar todas las tareas anteriores en la memoria disponible de un modelo. 

El aprendizaje continuo permite que los modelos de lenguaje de gran tamaño (LLM) y otras neural networks se adapten a los casos de uso cambiantes sin olvidar cómo manejar los desafíos anteriores. Las empresas pueden minimizar el número de modelos en operaciones ampliando las capacidades potenciales de cada modelo que utilizan. 

Si se entrenan bien, los algoritmos de aprendizaje continuo deberían poder identificar con confianza los datos relevantes mientras ignoran el ruido: puntos de datos sin sentido que no reflejan con precisión los valores del mundo real. El ruido es el resultado de errores de señal, errores de medición y errores de entrada, y también cubre valores atípicos. Los valores atípicos son puntos de datos tan diferentes al resto de los datos que son irrelevantes. 

Los desafíos del aprendizaje continuo se pueden dividir ampliamente en tres categorías, dependiendo de cómo cambie el flujo de datos con el tiempo¹:

• Aprendizaje continuo incremental de tareas
   

• Aprendizaje continuo incremental de dominio
   

• Aprendizaje continuo incremental en la clase

El aprendizaje incremental de tareas es un enfoque paso a paso del aprendizaje multitarea en el que un algoritmo debe aprender a realizar una serie de tareas diferentes. Debe quedar claro para el algoritmo qué tarea se espera de él, ya sea que las tareas sean lo suficientemente distintas entre sí o etiquetando las entradas con la salida adecuada. 

Un ejemplo real de aprendizaje incremental de tareas sería aprender a hablar japonés, luego mandarín, luego checo y luego español. Por lo general, está claro qué idioma debe usar el hablante en un momento determinado. 

Debido a que las tareas se transmiten al modelo en secuencia, el desafío es ayudar a garantizar que el modelo pueda transferir suficientemente el aprendizaje de una a otra. El número total de tareas tampoco siempre se conoce de antemano, especialmente con modelos que ya están en despliegue. 

La prevención del olvido catastrófico es un hecho: lograr que el modelo aplique el aprendizaje por transferencia es el objetivo real con metodologías de aprendizaje incremental de tareas. 

El aprendizaje incremental de dominio cubre desafíos en los que la distribución de datos cambia, pero el tipo de desafío sigue siendo el mismo. Las condiciones que rodean la tarea han cambiado de alguna manera, pero los resultados potenciales no. A diferencia del aprendizaje incremental de tareas, no se requiere que el modelo identifique la tarea específica a resolver. 

Por ejemplo, un modelo creado para el reconocimiento óptico de caracteres (OCR) necesitaría reconocer varios formatos de documentos y estilos de fuente. No es importante saber cómo o por qué el entorno ha cambiado, sino reconocer que ha cambiado y completar la tarea independientemente. 

Los cambios en la distribución de datos son un desafío de larga data en el machine learning porque los modelos suelen entrenarse en un conjunto de datos estático y discreto. Cuando las distribuciones de datos cambian después del despliegue, el aprendizaje incremental de dominio puede ayudar a los modelos a mitigar las pérdidas de rendimiento.

El aprendizaje incremental de clases se produce cuando un modelo clasificador debe realizar una serie de tareas de clasificación con un número creciente de clases de salida. El modelo debe ser capaz de resolver correctamente cada instancia y, al mismo tiempo, recordar las clases encontradas en instancias anteriores. 

A un modelo entrenado para clasificar vehículos como automóviles o camiones se le puede pedir que identifique autobuses y motocicletas. Se espera que el modelo mantenga su comprensión de todas las clases aprendidas a lo largo del tiempo, no solo de las opciones en cada instancia. Si se entrena en “autos versus camiones” y luego se le da “autobuses versus motocicletas”, el modelo también debería determinar con éxito si un vehículo es un automóvil o un autobús. 

El aprendizaje incremental de clases de última generación es uno de los desafíos de aprendizaje continuo más difíciles porque la aparición de nuevas clases puede erosionar las distinciones entre clases previamente establecidas.

El objetivo de todas las técnicas de aprendizaje continuo es equilibrar el dilema estabilidad-plasticidad: hacer un modelo lo suficientemente estable como para retener el conocimiento aprendido previamente y, al mismo tiempo, lo suficientemente plástico como para cultivar nuevos conocimientos. Aunque los investigadores han identificado numerosos enfoques para el aprendizaje continuo, muchos se pueden asignar a una de tres categories:

• Técnicas de regularización
   

• Técnicas de aislamiento de parámetros
   

• Técnicas de repetir

La regularización es un conjunto de técnicas que restringen la capacidad de un modelo para sobreajustarse a nuevos datos. El modelo no puede actualizar su arquitectura durante el entrenamiento incremental, mientras que técnicas como la destilación del conocimiento, donde un modelo más grande "enseña" a uno más pequeño, ayudan a preservar el conocimiento. 

• La consolidación de peso elástico (EWC) agrega una penalización a la función de pérdida del algoritmo de aprendizaje que le impide realizar cambios drásticos en los parámetros de un modelo. Los algoritmos de optimización utilizan el gradiente de la función de pérdida como métrica para establecer un punto de referencia del rendimiento del modelo. 

• Inteligencia sináptica (SI), que limita las actualizaciones de parámetros en función de una comprensión acumulativa de la importancia relativa de cada parámetro. 

• Aprender sin olvidar (LWF) entrena modelos con nuevos datos de tareas y mantiene el conocimiento antiguo al preservar las probabilidades de salida de tareas anteriores.

Los métodos de aislamiento de parámetros alteran una parte de la arquitectura de un modelo para adaptarse a nuevas tareas mientras congelan los parámetros para tareas anteriores. El modelo se reconstruye para ampliar sus capacidades, pero con la advertencia de que algunos parámetros no se pueden ajustar. El entrenamiento posterior se realiza solo en los parámetros que son elegibles para nuevas tareas. 

Por ejemplo, redes neuronales progresivas (PNN) crean columnas de redes neuronales específicas de tarea para nuevas tareas. Las conexiones paralelas a otras columnas permiten transferir el aprendizaje y evitan que estas columnas se modifiquen.

Las técnicas de repetir implican exponer regularmente un modelo durante las activaciones de entrenamiento a muestras de conjuntos de datos de entrenamiento anteriores. El aprendizaje continuo basado en repetir guarda muestras de datos más antiguos en un búfer de memoria y las incorpora en ciclos de entrenamiento posteriores. La exposición continua a datos más antiguos evita que el modelo se sobreajuste a los nuevos datos. 

Las técnicas de memoria son confiablemente efectivas, pero tienen el costo del acceso regular a datos anteriores, lo que requiere suficiente espacio de almacenamiento. Las situaciones que implican el uso de datos personales confidenciales también pueden evitar problemas para la implementación de técnicas de memoria. 

La reproducción generativa utiliza un modelo generativo para sintetizar muestras de datos anteriores para alimentar el modelo que se está entrenando, como un clasificador que necesita aprender nuevas clases sin olvidar las antiguas.