¿Qué es el aprendizaje continuo?

El aprendizaje incremental permite a los modelos adquirir nuevos conocimientos y seguir el ritmo de la imprevisibilidad del mundo real sin olvidar los conocimientos antiguos. Los datos no estacionarios significan que las distribuciones de datos no son estáticas. Cuando se implementa con éxito, el aprendizaje continuo da como resultado modelos que mantienen el conocimiento específico de la tarea y también pueden generalizarse a través de distribuciones de datos dinámicas. 

Los modelos de aprendizaje continuo están diseñados para aplicar nuevos datos de forma adaptativa en entornos cambiantes. También conocido como aprendizaje permanente, el aprendizaje continuo se inspira en conceptos de neurociencia relacionados con la forma en que los humanos aprenden cosas nuevas al tiempo que conservan lo que ya saben. Si una persona aprende a andar en patineta, no olvida inmediatamente cómo andar en bicicleta.

Los sistemas tradicionales de machine learning entrenan modelos en grandes conjuntos de datos estáticos. El conjunto de datos pasa por el algoritmo del modelo en lotes a medida que el modelo actualiza sus pesos o parámetros. El modelo procesa todo el conjunto de datos varias veces y cada ciclo se conoce como época. 

Los desarrolladores identifican el propósito del modelo de deep learning con antelación, ensamblan un conjunto de datos de entrenamiento que se ajusta al objetivo de aprendizaje y entrenan el modelo con esos datos. A continuación, el modelo se prueba, valida e implementa. Afinar el modelo de machine learning con más datos puede adaptar su rendimiento a las nuevas tareas. 

Los métodos de aprendizaje tradicionales no reflejan plenamente el dinamismo del mundo real. El aprendizaje supervisado utiliza conjuntos de datos estáticos con resultados conocidos. El aprendizaje no supervisado permite que un modelo clasifique los datos por sí mismo, pero los datos de entrenamiento siguen siendo finitos e inmutables. El aprendizaje por refuerzo es igualmente seguro y limitado. 

A diferencia de los métodos de aprendizaje tradicionales, el aprendizaje continuo intenta aplicar la plasticidad del cerebro humano a las redes neuronales artificiales. La neuroplasticidad es la cualidad del cerebro que le permite adaptarse, aprendiendo sin olvidar los conocimientos previos a medida que se enfrenta a circunstancias cambiantes. 

Algunos tipos de aprendizaje continuo todavía comienzan con el entrenamiento por lotes fuera de línea en varias épocas, similar al entrenamiento tradicional fuera de línea. El aprendizaje continuo en línea solo entrena modelos con un flujo de datos de un solo paso. 

El aprendizaje continuo ayuda a las redes neuronales a optimizarse y adaptarse en entornos dinámicos. El machine learning tradicional requiere conjuntos de datos extensos y fijos, tiempo y computación suficientes para el entrenamiento y un propósito conocido para el modelo. Cuando no se cumplen uno o más de estos requisitos, el aprendizaje continuo ofrece una alternativa. 

• Mitigar el olvido catastrófico

• Pequeños conjuntos de datos de entrenamiento 

• Cambiar las distribuciones de datos

• Optimización de los recursos 

• Tolerancia al ruido 

Cuando los modelos de deep learning se entrenan con nuevos datos o nuevas distribuciones, pueden perder conocimientos previos. Conocido como olvido catastrófico, este fenómeno es consecuencia de un modelo que sobreajusta sus parámetros a nuevos datos. Los modelos actualizan sus pesos internos hasta tal punto que los nuevos parámetros ya no son relevantes para la función original del modelo. 

El aprendizaje continuo transmite los datos de entrenamiento de forma incremental a través del modelo de IA. El modelo se alimenta de una secuencia de pequeños conjuntos de datos, que a veces consisten en una sola muestra. El aprendizaje por transferencia, cuando un modelo aplica el aprendizaje previo a nuevas tareas, ayuda a minimizar la cantidad de nuevos datos necesarios. 

El mundo está en constante cambio. Los humanos y otros animales desarrollaron la capacidad de aprender para ayudarlos a prosperar en la adversidad. Por ejemplo, si se agota un suministro de alimentos, descubrir cómo comer otra cosa puede garantizar la supervivencia. 

Pero no todos los animales son tan capaces. Los koalas ni siquiera pueden reconocer su principal fuente de alimento, las hojas de eucalipto, si las hojas se quitan de un árbol y se colocan en una pila en un plato. Aunque los koalas a veces comen otras hojas de otros árboles, solo pueden concebir la comida como "hojas en los árboles". Sus cerebros lisos no pueden desviarse de esta expectativa. 

Considere un modelo de visión artificial destinado a ser utilizado en coches autónomos. El modelo debe saber cómo reconocer otros vehículos en la carretera, pero también peatones, ciclistas, motociclistas, animales y peligros. Debe percibir y adaptarse perfectamente a los cambios meteorológicos y a los patrones de tráfico, como un aguacero repentino o si se acerca un vehículo de emergencia con las luces y la sirena encendidas. 

Los lenguajes cambian con el tiempo. Un modelo de procesamiento del lenguaje natural (PLN) debe ser capaz de procesar los cambios en el significado de las palabras y cómo se utilizan. Del mismo modo, un modelo diseñado para la robótica debe poder adaptarse si cambia el entorno del robot. 

Los modelos de IA consumen muchos recursos. Entrenarlos puede costar millones de dólares y consumir grandes cantidades de electricidad y agua. No siempre es posible implementar nuevos modelos cada vez que surgen nuevas tareas. Tampoco es factible desde el punto de vista computacional conservar todas las tareas anteriores en la memoria disponible de un modelo. 

El aprendizaje continuo permite que los modelos de lenguaje de gran tamaño (LLM) y otras redes neuronales se adapten a casos de uso cambiantes sin olvidar cómo manejar los desafíos anteriores. Las empresas pueden minimizar el número de modelos en operaciones ampliando las capacidades potenciales de cada modelo que utilizan. 

Si se entrenan bien, los algoritmos de aprendizaje continuo deberían ser capaces de identificar con confianza los datos relevantes ignorando el ruido: puntos de datos sin sentido que no reflejan con precisión los valores del mundo real. El ruido es el resultado de errores de señal, errores de medición y errores de entrada, y también cubre los valores atípicos. Los valores atípicos son puntos de datos tan diferentes al resto de los datos que resultan irrelevantes. 

Los retos del aprendizaje continuo se pueden dividir a grandes rasgos en tres categorías, en función de cómo cambia el flujo de datos con el tiempo¹:

• Aprendizaje continuo incremental de tareas
   

• Aprendizaje continuo incremental de dominio
   

• Aprendizaje continuo incremental de clase

El aprendizaje incremental de tareas es un enfoque paso a paso del aprendizaje multitarea en el que un algoritmo debe aprender a realizar una serie de tareas diferentes. El algoritmo debe tener claro qué tarea se espera de él, ya sea porque las tareas sean lo suficientemente distintas entre sí o porque las entradas estén etiquetadas con la salida adecuada. 

Un ejemplo real de aprendizaje incremental de tareas sería aprender a hablar japonés, luego mandarín, luego checo y luego español. Por lo general, está claro qué idioma debe usar el hablante en un momento determinado. 

Dado que las tareas se transmiten al modelo en secuencia, el reto consiste en ayudar a garantizar que el modelo pueda transferir suficientemente el aprendizaje de una a otra. El número total de tareas tampoco siempre se conoce de antemano, especialmente con modelos que ya están en implementación. 

La prevención del olvido catastrófico es un hecho: conseguir que el modelo aplique el aprendizaje por transferencia es el verdadero objetivo con las metodologías de aprendizaje incremental de tareas. 

El aprendizaje incremental de dominio cubre desafíos en los que la distribución de datos cambia, pero el tipo de desafío sigue siendo el mismo. Las condiciones que rodean la tarea han cambiado de alguna manera, pero los outputs potenciales no. A diferencia del aprendizaje incremental de tareas, no se requiere que el modelo identifique la tarea específica a resolver. 

Por ejemplo, un modelo creado para el reconocimiento óptico de caracteres (OCR) necesitaría reconocer varios formatos de documentos y estilos de fuente. No es importante saber cómo o por qué ha cambiado el entorno, sino reconocer que lo ha hecho y completar la tarea independientemente. 

Los cambios en la distribución de datos son un desafío desde hace tiempo en el machine learning, ya que los modelos suelen entrenarse con un conjunto de datos discreto y estático. Cuando las distribuciones de datos cambian después de la implementación, el aprendizaje incremental de dominio puede ayudar a los modelos a mitigar las pérdidas de rendimiento.

El aprendizaje incremental de clases se produce cuando un modelo clasificador debe realizar una serie de tareas de clasificación con un número creciente de clases de resultado. El modelo debe ser capaz de resolver correctamente cada instancia y, al mismo tiempo, recordar las clases encontradas en instancias anteriores. 

A un modelo entrenado para clasificar vehículos como coches o camiones se le puede pedir más tarde que identifique autobuses y motocicletas. Se espera que el modelo mantenga su comprensión de todas las clases aprendidas a lo largo del tiempo, no solo de las opciones en cada instancia. Si se entrena con "coches frente a camiones" y posteriormente se le proporciona "autobuses frente a motocicletas", el modelo también debería determinar correctamente si un vehículo es un coche o un autobús. 

El aprendizaje incremental de clase de última generación es uno de los desafíos de aprendizaje continuo más difíciles porque la aparición de nuevas clases puede erosionar las distinciones entre clases previamente establecidas.

El objetivo de todas las técnicas de aprendizaje continuo es equilibrar el dilema estabilidad-plasticidad: hacer un modelo lo suficientemente estable como para retener el conocimiento aprendido previamente y, al mismo tiempo, lo suficientemente plástico como para cultivar nuevos conocimientos. Aunque los investigadores han identificado numerosos enfoques para el aprendizaje continuo, muchos pueden clasificarse en una de estas tres categorías:

• Técnicas de regularización
   

• Técnicas de aislamiento de parámetros
   

• Técnicas de repetición

La regularización es un conjunto de técnicas que restringen la capacidad de un modelo para sobreajustarse a nuevos datos. El modelo no puede actualizar su arquitectura durante el entrenamiento incremental, mientras que técnicas como la destilación del conocimiento, en la que un modelo más grande "enseña" a uno más pequeño, ayudan a preservar el conocimiento. 

• La consolidación elástica del peso (EWC) añade una penalización a la función de pérdida del algoritmo de aprendizaje que le impide realizar cambios drásticos en los parámetros de un modelo. Los algoritmos de optimización utilizan el gradiente de la función de pérdida como métrica para medir el rendimiento del modelo con respecto a una referencia. 

• Inteligencia sináptica (SI), que limita las actualizaciones de parámetros en función de una comprensión acumulativa de la importancia relativa de cada parámetro. 

• Aprendizaje sin olvido (LWF) entrena modelos con nuevos datos de tareas y mantiene los conocimientos antiguos conservando las probabilidades de salida de tareas anteriores.

Los métodos de aislamiento de parámetros alteran una parte de la arquitectura de un modelo para dar cabida a nuevas tareas al tiempo que congelan los parámetros de las tareas anteriores. El modelo se reconstruye para ampliar sus capacidades, pero con la salvedad de que algunos parámetros no se pueden ajustar. El entrenamiento posterior se realiza solo en los parámetros que son elegibles para nuevas tareas. 

Por ejemplo, las redes neuronales progresivas (PNN) crean columnas de redes neuronales específicas de tareas para nuevas tareas. Las conexiones paralelas a otras columnas permiten transferir el aprendizaje al tiempo que evitan que estas columnas se modifiquen.

Las técnicas de repetición implican exponer regularmente a un modelo durante las activaciones de entrenamiento a muestras de conjuntos de datos de entrenamiento anteriores. El aprendizaje continuo basado en reproducir guarda muestras de datos más antiguos en un búfer de memoria y las incorpora en ciclos de entrenamiento posteriores. La exposición continua a datos más antiguos evita que el modelo se ajuste en exceso a los nuevos datos. 

Las técnicas de memoria son fiables y eficaces, pero tienen el coste de un acceso regular a los datos anteriores, lo que requiere suficiente espacio de almacenamiento. Las situaciones que implican el uso de datos personales confidenciales también pueden evitar problemas para la implementación de técnicas de memoria. 

La repetición generativa utiliza un modelo generativo para sintetizar muestras de datos anteriores para alimentar el modelo que se está entrenando, como un clasificador que necesita aprender nuevas clases sin olvidar las antiguas.