¿Qué es el aprendizaje few-shot?

El aprendizaje few-shot (FSL) es un subconjunto de lo que a veces se denomina aprendizaje n-shot, una categoría de inteligencia artificial que también incluye el aprendizaje one-shot (en el que solo hay un ejemplo etiquetado de cada clase para ser aprendido) y el aprendizaje zero-shot (en el que no hay ejemplos etiquetados en absoluto). Mientras que el aprendizaje one-shot es esencialmente una variante desafiante de FSL, el zero-shot learning es un problema de aprendizaje distinto que requiere sus propias metodologías únicas.

 En principio, el FSL tiene como objetivo emular la capacidad humana de aprender de un puñado de ejemplos. Esto contrasta con el aprendizaje supervisado convencional, que normalmente utiliza cientos (o miles) de puntos de datos etiquetados en muchas rondas de formación para enseñar modelos de IA a reconocer clases de datos. Si bien el aprendizaje supervisado es poco práctico en algunos entornos del mundo real: obtener ejemplos etiquetados a menudo es difícil debido a los costes prohibitivos, la experiencia específica del dominio necesaria para anotar los datos correctamente o, en escenarios como la escritura a mano única, las enfermedades raras o las especies en peligro de extinción y recién descubiertas, la escasez de muestras existentes.

Aunque algunos algoritmos específicos y arquitecturas de redes neuronales han logrado éxitos notables en tareas de FSL, el aprendizaje de pocos disparos se define por la naturaleza del problema de aprendizaje más que por el uso de un método o estructura de modelo específicos. Los métodos de aprendizaje few-shot varían ampliamente, desde la adaptación de modelos preentrenados para su uso en tareas similares hasta el uso de IA generativa para crear nuevas muestras, pasando por métodos de metaaprendizaje que entrenan modelos para generalizar bien a nuevos problemas de clasificación y diferentes clases de datos, en lugar de realizar cualquier tarea específica.

Aunque el aprendizaje few-shot puede utilizar una amplia variedad de algoritmos o arquitecturas de red neuronal, la mayoría de los métodos se crean en torno a transferir aprendizaje o meta aprendizaje (o una combinación de ambos).

Aunque el aprendizaje few-shot también se puede aplicar a las tareas de regresión (o incluso al aprendizaje por refuerzo), la mayoría de la literatura sobre el FSL se centra en los casos de uso de la clasificación. Algunos métodos FSL se pueden utilizar junto con otras soluciones que abordan la escasez de datos etiquetados: por ejemplo, en métodos de aprendizaje semisupervisado que incorporan información de grandes cantidades de datos no etiquetados junto con información del aprendizaje de tomas en las muestras limitadas disponibles.¹

Los métodos basados en el aprendizaje de transferencia se centran en la adaptación de un modelo previamente entrenado para aprender nuevas tareas o clases de datos nunca antes vistas.

Cuando hay pocas muestras etiquetadas disponibles, se utiliza el aprendizaje supervisado para entrenar un modelo desde cero, especialmente uno con un gran número de parámetros, como las redes neuronales convolucionales (CNN) que normalmente se utilizan en visión artificial o las redes basadas en transformadores utilizadas en el procesamiento del lenguaje natural (PLN), que a menudo conducen a un sobreajuste: el modelo puede funcionar bien en los datos de prueba, pero mal en los datos del mundo real. Sin embargo, la recopilación de una cantidad suficientemente grande de datos para evitar el sobreajuste suele ser un cuello de botella en el entrenamiento de modelos.

El aprendizaje por transferencia ofrece una solución práctica: aprovechar las características y representaciones útiles que un modelo entrenado ya ha aprendido. Un enfoque simple es afinar un modelo de clasificación para realizar la misma tarea para una nueva clase mediante el aprendizaje supervisado en un pequeño número de ejemplos etiquetados. Los enfoques más complejos enseñan nuevas habilidades mediante el diseño de tareas posteriores relevantes, a menudo tareas de metaaprendizaje, a un modelo que ha sido preentrenado mediante tareas de pretexto autosupervisadas: esto es cada vez más común en PNL, sobre todo en el contexto de los modelos fundacionales.

Los enfoques de aprendizaje por transferencia más complejos adaptan una red neuronal entrenada a través de cambios en la arquitectura de la red: por ejemplo, reemplazando o volviendo a entrenar las capas externas de una red neuronal, donde se produce la clasificación final, mientras se mantienen las capas internas donde se produce la extracción de características. Congelar (o regularizar de otro modo) las ponderaciones del modelo de todas las capas excepto las más externas puede garantizar que las actualizaciones posteriores no provoquen un "olvido catastrófico" de los conocimientos ya aprendidos. Esto permite un aprendizaje muy acelerado en un contexto few-shot.

El aprendizaje por transferencia tiene más éxito cuando el entrenamiento inicial del modelo es relevante para la nueva tarea. Por ejemplo, un modelo entrenado para determinadas especies de aves se generalizará bien a especies de aves no vistas tras un ajuste fino con sólo unas pocas muestras etiquetadas, porque los pesos aprendidos de los filtros que la CNN utiliza para las convoluciones ya están optimizados para captar características relevantes para la clasificación de aves (como el plumaje, los picos, el tamaño de las alas, etc.), pero si se utiliza el aprendizaje de pocas muestras para enseñar al mismo modelo a reconocer vehículos, el rendimiento será menos satisfactorio.

Una solución alternativa al problema de las muestras de datos etiquetadas limitadas es generar muestras de entrenamiento adicionales. Esto es particularmente útil cuando los ejemplos del mundo real de una clase determinada de datos son extremadamente escasos, como puede ser el caso cuando se trata de enfermedades raras o especies exóticas.

La generación de datos, a través de modelos generativos como las redes generativas adversarias (GAN) o los autocodificadores variacionales (VAE), puede producir suficientes muestras parecidas a las muestras etiquetadas originales para realizar el aprendizaje supervisado convencional, siempre que las muestras originales tuvieran suficiente diversidad para evitar el sobreajuste.

El aumento de datos, el proceso de crear nuevas muestras mediante la aplicación de diferentes transformaciones a las muestras originales, se puede combinar con otros métodos: por ejemplo, se puede utilizar para crear muestras coincidentes para utilizarlas en el metaaprendizaje de métricas en un proceso similar al aprendizaje autosupervisado contrastivo.

A diferencia del aprendizaje supervisado o fine-tuning, en el que un clasificador se entrena en las tareas exactas para las que se usará y el conjunto de entrenamiento contiene las mismas clases en las que se probará el modelo, el metaaprendizaje adopta un enfoque más amplio e indirecto. Mientras que los enfoques basados en el aprendizaje por transferencia adaptan modelos preentrenados, los métodos de metaaprendizaje suelen entrenar los sistemas de principio a fin desde cero. 

Según Santoro, et al, el "metaaprendizaje" se refiere a escenarios en los que se utilizan múltiples tareas para entrenar un modelo tanto a corto como a largo plazo. Dentro de cada tarea, el modelo aprende rápidamente a hacer predicciones relevantes para el dominio limitado de esa tarea específica; a través de las tareas, el modelo acumula conocimientos gradualmente capturando la forma en que los patrones y la estructura de la tarea varían a través de los dominios objetivo. Este proceso de dos niveles se describe a menudo como el modelo "aprendizaje para aprender". ²

Por ejemplo, el objetivo de muchos métodos destacados de metaaprendizaje es entrenar una función de modelo, a lo largo de múltiples episodios de entrenamiento, para obtener una predicción del grado de similitud entre los puntos de datos de cualquier clase, incluidas las clases que el modelo aún no ha visto, y, a continuación, utilizar los aprendizajes de ese proceso para resolver tareas posteriores (como problemas de clasificación definidos específicamente).

Algunos enfoques de metaaprendizaje funcionan en un nivel más abstracto, entrenando modelos para que sean fáciles de entrenar. En el aprendizaje supervisado tradicional, los parámetros de un modelo (como ponderaciones y sesgos) son lo que se "aprende", mientras que los hiperparámetros del modelo, como la tasa de aprendizaje o cómo se inicializan los parámetros, se configuran antes del entrenamiento y no forman parte del proceso de aprendizaje. El metaaprendizaje puede aproximarse a los beneficios del aprendizaje por transferencia al aprender puntos de partida ideales: inicializaciones de parámetros u otras opciones de hiperparámetros que se generalizarán bien a diferentes conjuntos de datos en una cantidad mínima de pasos de entrenamiento.

Aunque se puede utilizar una amplia variedad de arquitecturas de modelos de machine learning para el aprendizaje few-shot, la estructura del entrenamiento y la evaluación del FSL generalmente sigue un marco de N-way-K-shot, en el que N representa el número de clases y K representa el número de ejemplos (o "tomas") proporcionados para cada clase.

 En la clasificación N-way-K-shot, el modelo se somete a múltiples episodios de entrenamiento. Cada episodio de entrenamiento consta de una o más tareas de entrenamiento. Los modelos se evalúan a través de tareas de prueba, cuya estructura refleja la de las tareas de entrenamiento. Cada tarea de entrenamiento (y tarea de prueba) consta de dos conjuntos de datos:

• El conjunto de soporte contiene muestras de entrenamiento etiquetadas con K para cada una de las N clases. El modelo utiliza estas muestras de soporte para aprender representaciones generalizadas para cada clase. Por ejemplo, el conjunto de datos para una tarea de clasificación de 3-way-2-shot contiene tres clases de imágenes y proporciona dos ejemplos de cada una. Cuando K= 1, la tarea es un aprendizaje one-shot. Cuando K= 0, el problema es el aprendizaje zero-shot,que normalmente requiere soluciones únicas.
  
  
• El conjunto de consultas contiene uno o varios ejemplos nuevos para cada una de las N clases. Con las representaciones aprendidas del conjunto de compatibilidad, el modelo predice la clasificación de cada ejemplo del conjunto de consultas. Una función de pérdida mide la divergencia ("pérdida") entre las predicciones del modelo y las predicciones "correctas"; después de cada episodio de entrenamiento, los parámetros del modelo se ajustan (optimizan) para minimizar la pérdida. 

Dado que el objetivo del metaaprendizaje es entrenar modelos para generalizar bien a datos no vistos, en lugar de reconocer clases específicas de datos, cada tarea de entrenamiento suele incluir clases de datos diferentes a las utilizadas en las tareas de entrenamiento anteriores.

Para probar la capacidad del modelo para realizar predicciones de similitud precisas para clases nunca vistas hasta ahora, el conjunto de compatibilidad y el conjunto de consultas utilizados para las pruebas deben contener clases de datos completamente nuevas a las que el modelo aún no se ha expuesto en las tareas de entrenamiento.

Los algoritmos de metaaprendizaje basados en métricas funcionan según un principio similar al de K vecinos más próximos: en lugar de predecir la clasificación modelando directamente el límite de decisión entre clases, los enfoques basados en métricas generan un valor continuo (como una incrustación vectorial) para representar una muestra de datos determinada y hacen inferencias mediante el aprendizaje de una función que mide alguna métrica de distancia que representa la similitud entre este valor y el valor de las diferentes muestras o clases con las que se está comparando.

Un desarrollo relativamente temprano en algoritmos basados en métricas, las redes siamesas resuelven problemas de clasificación binaria mediante el uso del aprendizaje contrastivo: se muestran dos muestras, las redes siamesas predicen si se trata de un par positivo (coincidente) o negativo (no coincidente). La función de pérdida del modelo se utiliza para minimizar la distancia entre incrustaciones vectoriales de pares positivos y maximizar la distancia entre incrustaciones de pares negativos. Los modelos de pérdida de tripletes son bastante similares: dada una muestra “ancla” y dos muestras adicionales (una coincidente y otra no), el modelo predice cuál es una coincidencia positiva y cuál es negativa.

En ambos métodos, es importante que las muestras de entrenamiento sean relativamente difíciles de distinguir entre sí, de lo contrario, el modelo no se verá obligado a aprender parámetros que produzcan incrustaciones más efectivas. El aumento de datos se utiliza a menudo cuando las muestras coincidentes son escasas.

Mientras que las redes siamesas solo pueden resolver tareas de clasificación binaria, las redes coincidentes pueden realizar la clasificación multipunto. Como tal, se considera uno de los primeros algoritmos dedicados al aprendizaje de pocos disparos. 

Las redes coincidentes generan una incrustación para cada muestra en los conjuntos de compatibilidad y consulta mediante una red neuronal adecuada (como una CNN para tareas de imagen o LLM para tareas de lenguaje natural) y predicen la clasificación midiendo la distancia de coseno entre la incrustación de la muestra de consulta y la de las muestras de compatibilidad disponibles.

Las redes prototípicas calculan las entidades promedio de todas las muestras disponibles para cada clase para calcular un prototipo para cada clase. La clasificación de un punto de datos determinado viene determinada por su proximidad relativa a los prototipos de cada clase. A diferencia de las redes coincidentes, las redes prototípicas utilizan la distancia euclidiana en lugar de la distancia de coseno.

Se han propuesto muchos refinamientos para este enfoque: por ejemplo, Zhu y Koniusz propuestos utilizando la propagación de etiquetas para mejorar el proceso de prototipado.³

Una red de relaciones (RN) opera según el mismo principio general que las redes de emparejamiento y prototípicas. Los RN también utilizan un módulo de incrustación que aprende a calcular incrustaciones para imágenes de entrada y prototipos de clase, pero a diferencia de esos dos algoritmos, que predefinen la función de distancia utilizada para comparar incrustaciones, los RN agregan un módulo de relación que aprende una función de distancia no lineal que mejor se adapta a los problemas de clasificación específicos en cuestión.

Tradicionalmente, el deep learning requiere muchas actualizaciones iterativas de los parámetros del modelo a través de la retropropagación y el descenso del gradiente, que a su vez depende de una gran cantidad de ejemplos etiquetados para rellenar lotes de entrenamiento. Para entrenar de manera eficiente una red neuronal desde cero para un aprendizaje few-shot, se requiere una forma de optimizar los pesos del modelo en solo unos pocos pasos de actualización.

Los enfoques de metaaprendizaje basados en la optimización, también denominados metaaprendizaje basado en el gradiente (GMBL), tienen como objetivo aprender los parámetros iniciales del modelo o hiperparámetros de una red neuronal que puedan ajustarse eficazmente para las tareas pertinentes. Lo consiguen optimizando el proceso de descenso de gradiente, es decir, metaoptimizando el propio proceso de optimización.

MAML se encuentra entre los enfoques basados en optimización más destacados y ha servido como base para una serie de enfoques derivados de su metodología central. Como su nombre sugiere, el metaaprendizaje de modelo agnóstico no se centra en una tarea específica o en una arquitectura de modelo de IA: se puede utilizar en cualquier modelo que aprenda a través del descenso del gradiente.

MAML implica dos niveles diferentes de actualizaciones de parámetros en un conjunto de diversas tareas de formación FSL, p(T). En cada episodio de entrenamiento, se toma una muestra aleatoria de una nueva tarea T_i de p(T); el descenso en gradiente, realizado en K pasos de tamaño α, se utiliza para optimizar un vector de parámetros del modelo específicos de la tarea (θ'_i) después de cada tarea de entrenamiento. A lo largo de varios episodios de entrenamiento, se optimiza un conjunto de parámetros meta (θ) aplicando un descenso de gradiente, en metapasos de tamaño β, a esos parámetros específicos de la tarea θ'_i. En otras palabras, mientras que el descenso de gradiente ordinario calcula las derivadas con el fin de optimizar los parámetros de un modelo para una tarea determinada, MAML calcula las derivadas de las derivadas (o "derivadas de segundo orden") para optimizar los parámetros iniciales de un modelo para la posterior optimización específica de la tarea.  

Según el papel original, el objetivo es "encontrar parámetros de modelo sensibles a los cambios en la tarea, de modo que los pequeños cambios en los parámetros generen grandes mejoras en la función de pérdida de cualquier tarea extraída de p(T)". Esto produce beneficios similares a los del aprendizaje por transferencia, al tiempo que evita la necesidad de grandes cantidades de datos etiquetados para el entrenamiento previo.

Las adaptaciones propuestas a MAML incluyen:

• MAML de primer orden (FOMAML): la dependencia de MAML de las derivadas de segundo orden es costosa desde el punto de vista informático y requiere una gran cantidad de memoria. FOMAML simplifica el proceso a través de una serie de supuestos que permiten la metaoptimización utilizando solo derivados de primer orden.
   

• Reptile: Reptile presenta un punto medio entre la sofisticación de MAML y la simplicidad de FOMAML: utiliza derivadas de primer orden, pero implementa reglas únicas sobre cómo se actualizan los parámetros⁴
   .

• Optimización del tamaño de los escalones: variantes como Meta-SGD⁵ y Alpha MAML⁶ añaden la capacidad de optimizar el tamaño y la dirección de los escalones para α y β. Del mismo modo, MAML++⁷ introduce una serie de modificaciones para aumentar la estabilidad y la eficiencia computacional.
  

Los enfoques de metaaprendizaje pueden hacer uso de redes de memoria a largo y corto plazo (LSTM) basadas en RNN para entrenar un modelo de metaaprendizaje para capturar tanto el conocimiento a corto plazo de cada tarea de entrenamiento como el conocimiento a largo plazo común a cada tarea. A continuación, este metaaprendizaje se utiliza para entrenar un clasificador de redes neuronales.

En lugar de crear instancias y actualizar explícitamente un conjunto único de metaparámetros del modelo θ, la optimización de la incrustación latente aprende una distribución generativa de parámetros del modelo específicos de la tarea de manera similar a los autocodificadores variacionales (VAE), que sirve para el mismo propósito. Luego, la optimización del gradiente se puede realizar dentro de ese espacio de incrustación aprendido y de baja dimensión.

Las técnicas de aprendizaje few-shot tienen una amplia variedad de aplicaciones, ya que muchas industrias y campos de investigación se beneficiarán de la capacidad de aprender rápida y eficazmente a partir de relativamente pocos ejemplos.