¿Qué es el metaaprendizaje?

A diferencia del aprendizaje supervisado convencional, en el que los modelos se capacitan para resolver una tarea específica empleando un conjunto de datos de entrenamiento definido, el proceso de metaaprendizaje implica una variedad de tareas, cada una con su propio conjunto de datos asociado. A partir de estos múltiples eventos de aprendizaje, los modelos adquieren la capacidad de generalizar entre tareas, lo que les permite adaptarse rápidamente a nuevos escenarios incluso con pocos datos.

Los algoritmos de metaaprendizaje se entrenan con las predicciones y los metadatos de otros algoritmos de machine learning. Los algoritmos de metaaprendizaje luego generan predicciones propias e información que se puede utilizar para mejorar el rendimiento y los resultados de otros algoritmos de machine learning.

El metaaprendizaje implica dos etapas clave: meta entrenamiento y meta prueba.

En ambas etapas, un modelo de aprendizaje base ajusta y actualiza sus parámetros a medida que aprende. El conjunto de datos empleado se divide en un conjunto de soporte para meta entrenamiento y un conjunto de prueba para meta pruebas.

En la fase de meta entrenamiento, el modelo base de aprendizaje recibe una amplia gama de tareas. El objetivo del modelo es descubrir patrones comunes entre estas tareas y adquirir un amplio conocimiento que se pueda aplicar para resolver nuevas tareas.

Durante la fase de meta pruebas, el rendimiento del modelo base de aprendizaje se evalúa asignándole tareas que no encontró cuando se capacitó. La efectividad del modelo se mide por qué tan bien y qué tan rápido se adapta a estas nuevas tareas empleando su conocimiento aprendido y su comprensión generalizada.

Hay tres enfoques típicos para el metaaprendizaje:

1. Metaaprendizaje basado en métricas
2. Metaaprendizaje basado en modelos
3. Metaaprendizaje basado en la optimización

Así es como funciona cada enfoque y sus diferentes tipos:

El metaaprendizaje basado en métricas se centra en el aprendizaje de una función que calcula una métrica de distancia, que es la medida de la similitud entre dos puntos de datos. Este enfoque es similar al algoritmo k-vecinos más cercanos (KNN), que emplea la proximidad para realizar clasificaciones o predicciones.

Una red neuronal consta de redes neuronales convolucionales gemelas idénticas que comparten parámetros y ponderaciones. Las actualizaciones de parámetros se duplican en las dos redes. Ambas redes están unidas por una función de pérdida que calcula una métrica de distancia (normalmente similitud por pares).¹

El conjunto de datos de entrenamiento se compone de pares de muestras coincidentes y no coincidentes. Luego, las neural networks siamesas convolucionales aprenden a calcular la similitud por pares, maximizando la distancia euclidiana entre pares no coincidentes o diferentes y minimizando la distancia entre pares coincidentes o similares.¹

Las redes de coincidencia aprenden a predecir la clasificación midiendo una métrica de distancia conocida como similitud de coseno entre dos muestras.²

Una red de relaciones aprende una métrica de distancia no lineal profunda para comparar elementos. La red clasifica los elementos calculando puntajes de relación, que representan la similitud entre los elementos.³

Las redes prototípicas calculan la media de todas las muestras de una clase para crear un prototipo para esa clase. Luego, la red aprende un espacio métrico, donde las tareas de clasificación se realizan calculando la distancia euclidiana al cuadrado entre un punto de datos particular y la representación prototipo de una clase.⁴

El metaaprendizaje basado en modelos implica aprender los parámetros de un modelo, lo que puede facilitar el aprendizaje rápido a partir de datos dispersos.

Una Neural Network aumentada por la memoria (MANN) está equipada con un módulo de memoria externa que permite un almacenamiento estable y una codificación y recuperación rápidas de la información⁵

En el metaaprendizaje, los MANN pueden entrenarse para aprender una técnica general para los tipos de representaciones que se almacenarán en la memoria externa y un método para usar esas representaciones para hacer predicciones. Se demostró que los MANN funcionan bien en tareas de regression y clasificación.⁵

MetaNet (abreviatura de Meta Networks) es un modelo de metaaprendizaje que se puede aplicar en el aprendizaje por imitación y en el aprendizaje por refuerzo. Al igual que las MANN, las Meta Redes también tienen memoria externa.⁶

MetaNet se compone de un aprendiz base y un meta aprendiz que trabajan en niveles espaciales separados. El meta aprendiz adquiere conocimientos generales sobre diferentes tareas dentro de un meta espacio. El aprendiz base toma una tarea de entrada y envía meta información sobre el espacio de tareas actual al meta aprendiz. A partir de esta información, el meta aprendiz realiza una parametrización rápida para actualizar los pesos en ambos espacios^.6

El aprendizaje profundo suele requerir múltiples actualizaciones iterativas de los parámetros del modelo a través de la retropropagación y el algoritmo de optimización de descenso del gradiente.

En el metaaprendizaje basado en la optimización, a veces llamado metaaprendizaje basado en gradientes, el algoritmo aprende qué parámetros iniciales del modelo o hiperparámetros de neural networks se pueden ajustar de manera eficiente para tareas relevantes. Esto suele suponer una metaoptimización, es decir, optimizar el propio algoritmo de optimización.

Este método de metaaprendizaje basado en la optimización utiliza la arquitectura popular de la red neuronal recurrente llamada redes de memoria largo-corto plazo (LSTM) para capacitar al metaaprendizaje a adquirir conocimientos a largo plazo compartidos entre las tareas y conocimientos a corto plazo de cada tarea.

Aprende una inicialización de los parámetros del aprendiz para una rápida convergencia de entrenamiento y cómo actualizar esos parámetros de manera eficiente dado un pequeño conjunto de entrenamiento, ayudando al aprendiz a adaptarse rápidamente a las nuevas tareas.⁷

Como su nombre lo indica, este algoritmo de metaaprendizaje basado en optimización es independiente del modelo. Esto lo hace compatible con cualquier modelo capacitado mediante descenso de gradiente y adecuado para resolver diversos problemas de aprendizaje, como la clasificación, la regression y el aprendizaje por refuerzo.⁸

La idea central detrás de MAML es entrenar los parámetros iniciales del modelo de manera que unas pocas actualizaciones de gradiente den como resultado un rápido aprendizaje en una nueva tarea. El objetivo es determinar los parámetros del modelo que son sensibles a los cambios en una tarea, de modo que cambios menores en esos parámetros conduzcan a mejoras importantes en la función de pérdida de la tarea. La meta optimización en todas las tareas se realiza mediante el descenso de gradiente estocástico (SGD).⁸

A diferencia del descenso de gradiente, que calcula derivadas para optimizar los parámetros de un modelo para una determinada tarea, MAML calcula segundas derivadas para optimizar los parámetros iniciales de un modelo para la optimización específica de la tarea. Una versión modificada del metaaprendizaje independiente del modelo, conocida como MAML de primer orden o FOMAML, omite las segundas derivadas para un proceso menos costoso desde el punto de vista computacional.⁸

Reptile es un algoritmo de metaaprendizaje basado en gradientes de primer orden similar a FOMAML. Muestrea repetidamente una tarea, se entrena en esa tarea a través de muchos pasos de descenso de gradiente y mueve el peso del modelo hacia los nuevos parámetros.⁹

Para demostrar aún más la versatilidad del metaaprendizaje, aquí hay algunas formas en que se puede emplear dentro del propio ámbito del machine learning:

El metaaprendizaje se puede aplicar a diferentes áreas de la industria tecnológica, algunas de las cuales incluyen:

El metaaprendizaje tiene mucho potencial. Estas son algunos de sus beneficios:

El metaaprendizaje se puede emplear para crear modelos de IA más generalizados que puedan aprender a realizar muchas tareas relacionadas. Debido a esta flexibilidad, pueden adaptarse rápidamente a nuevas tareas y diferentes dominios.

El metaaprendizaje permite aprender a partir de unas pocas muestras, lo que podría eliminar la necesidad de grandes volúmenes de conjuntos de datos. Esto puede ser especialmente útil en ámbitos en los que la recopilación y preparación de datos puede requerir mucho trabajo y tiempo.

Debido a su eficiencia de datos y aprendizaje rápido, el metaaprendizaje puede resultar en un proceso de entrenamiento más rápido y costos de entrenamiento reducidos.

A pesar de la promesa del metaaprendizaje, también presenta desafíos. Estos son algunos de ellos:

A veces, la cantidad de datos para capacitar modelos de IA es insuficiente, especialmente para dominios de nicho. O, si hay datos disponibles, es posible que la calidad no sea adecuada para capacitar de manera eficiente los algoritmos de metaaprendizaje.

No tener suficiente variabilidad entre las tareas en el conjunto de soporte para el meta entrenamiento puede llevar a un sobreajuste. Esto significa que un algoritmo de metaaprendizaje solo podría ser aplicable a tareas específicas sin poder generalizar de manera efectiva en un amplio espectro de tareas.

Por el contrario, tener demasiada variabilidad entre las tareas en el conjunto de soporte para el meta entrenamiento puede derivarse en un desajuste. Esto significa que un algoritmo de metaaprendizaje podría no ser capaz de emplear su conocimiento para resolver otra tarea y podría tener dificultades para adaptarse a nuevos escenarios. Por lo tanto, un equilibrio en la variabilidad de las tareas es clave.