El aprendizaje zero-shot (ZSL) es un escenario de machine learning en el que se entrena un modelo de IA para reconocer y categorizar objetos o conceptos sin haber visto previamente ningún ejemplo de esas categorías o conceptos.
La mayoría de los modelos de deep learning de última generación para clasificación o regresión se entrenan mediante aprendizaje supervisado, lo que requiere muchos ejemplos etiquetados de clases de datos relevantes. Los modelos "aprenden" haciendo predicciones en un conjunto de datos de entrenamiento etiquetado; las etiquetas de datos proporcionan tanto la gama de posibles respuestas como las respuestas correctas (o la verdad fundamental) para cada ejemplo de entrenamiento. "Learning", aquí, significa ajustar las ponderaciones del modelo para minimizar la diferencia entre las predicciones del modelo y esa verdad del terreno. Este proceso requiere suficientes muestras etiquetadas para muchas rondas de entrenamiento y actualizaciones.
Si bien el aprendizaje supervisado es potente, no es práctico en algunos escenarios del mundo real. Anotar grandes cantidades de muestras de datos es costoso y requiere mucho tiempo, y en casos como enfermedades raras y especies recién descubiertas, los ejemplos pueden ser escasos o inexistentes. Considere las tareas de reconocimiento de imágenes: según un estudio, los humanos pueden reconocer aproximadamente 30 000 categorías de objetos distinguibles individualmente.1 No es factible, en términos de tiempo, coste y recursos computacionales, que los modelos de inteligencia artificial se acerquen de forma remota a las capacidades humanas si deben entrenarse explícitamente con datos etiquetados para cada clase.
La necesidad de que los modelos de machine learning puedan generalizarse rápidamente a un gran número de categorías semánticas con una sobrecarga mínima de formación ha dado lugar al aprendizaje n-shot: un subconjunto de machine learning que también incluye aprendizaje few-shot (FSL) y aprendizaje one-shot. Por lo general, el aprendizaje few-shot utiliza métodos basados en el aprendizaje por transferencia y el metaaprendizaje para entrenar modelos que reconozcan rápidamente nuevas clases con solo unos pocos ejemplos de entrenamiento etiquetados o, en el aprendizaje único, un solo ejemplo etiquetado.
El aprendizaje zero-shot, como todo el aprendizaje n-shot, no se refiere a ningún algoritmo específico o arquitectura de red neuronal, sino a la naturaleza del problema de aprendizaje en sí: en ZSL, el modelo no está entrenado en ningún ejemplo de las clases no vistas para hacer predicciones posteriores.
Esta configuración del problema no tiene en cuenta si esa clase estaba presente (aunque no estaba etiquetada) en los datos de entrenamiento. Por ejemplo, algunos modelos de lenguaje de gran tamaño (LLM) son adecuados para tareas ZSL, ya que están preentrenados a través del aprendizaje autosupervisado en un corpus masivo de textos que puede contener referencias incidentales o conocimientos sobre clases de datos no vistas. Sin ejemplos etiquetados sobre los que dibujar, los métodos ZSL dependen del uso de dicho conocimiento auxiliar para realizar predicciones.
Dada su versatilidad y su amplia gama de casos de uso, el aprendizaje zero-shot se ha convertido en un área cada vez más notable de investigación en ciencia de datos, especialmente en los campos de visión artificial y procesamiento del lenguaje natural (PLN).
En una configuración ZSL convencional, el modelo se prueba en un conjunto de datos que contiene muestras de clases de datos no vistas. Si bien es útil para desarrollar y validar metodologías zero-shot, no refleja las condiciones más comunes del mundo real: el aprendizaje generalizado zero-shot (GSZL) se refiere al problema específico de aprendizaje zero-shot en el que los puntos de datos que el modelo tiene la tarea de clasificar pueden pertenecer a clases no vistas o clases vistas: clases que el modelo ya ha "aprendido" a partir de ejemplos etiquetados.
GSZL debe superar un desafío adicional: la tendencia a los clasificadores a sesgar predicciones hacia las clases que ha visto en la formación sobre clases no vistas a las que aún no se ha expuesto. Como tal, GSZL a menudo requiere técnicas adicionales para mitigar ese sesgo.
En ausencia de ejemplos etiquetados de las categorías para cuyo aprendizaje se está entrenando el modelo, los problemas de aprendizaje zero-shot hacen uso de información auxiliar: descripciones textuales, atributos, representaciones incrustadas u otra información semántica relevante para la tarea en cuestión.
En lugar de modelar directamente los límites de decisión entre clases, las técnicas de aprendizaje zero-shot suelen generar un vector de probabilidad que representa la probabilidad de que una entrada determinada pertenezca a ciertas clases. Los métodos GSZL pueden agregar un discriminador preliminar que primero determina si la muestra pertenece a una clase vista o a una nueva clase y, a continuación, proceda en consecuencia.
En el aprendizaje supervisado, así como en el aprendizaje few-shot (FSL), el modelo aprende a reconocer diferentes clases observando directamente uno o más ejemplos etiquetados de cada clase. Sin estas anotaciones explícitas que les sirvan de guía, el aprendizaje zero-shot requiere una comprensión más profunda del significado de la etiqueta.
Para una analogía simple, imagina que un niño quiere saber cómo se ve un pájaro. En un proceso parecido al aprendizaje supervisado o al FSL, el niño aprende mirando imágenes etiquetadas como "pájaro" en un libro de fotos de animales. En el futuro, reconocerá a un pájaro porque se asemeja a las imágenes de pájaros que ya ha visto. Pero en un escenario ZSL, no hay ejemplos etiquetados disponibles. En cambio, el niño podría leer una entrada de la enciclopedia sobre aves y aprender que son animales de tamaño pequeño o mediano con plumas, picos y alas que pueden volar por el aire. Luego podrá reconocer a un pájaro en el mundo real, aunque nunca haya visto uno antes, porque ha aprendido el concepto de un pájaro.
Como se mencionó anteriormente, los LLM han demostrado potencial natural para ZSL, derivado de su capacidad para comprender fundamentalmente el significado de las palabras utilizadas para nombrar clases de datos.
Para minimizar el tiempo y los recursos necesarios para el entrenamiento, así como la cantidad de información auxiliar necesaria para identificar las clases invisibles, ZSL a menudo aprovecha el aprendizaje por transferencia (la reutilización de un modelo entrenado para una nueva tarea) en lugar de entrenar modelos desde cero.
El aprendizaje por transferencia se utiliza de forma prominente en métodos ZSL que representan clases y muestras como incrustaciones semánticas. Por ejemplo, un modelo que realiza una clasificación de texto zero-shot podría usar un modelo basado en transformadores como BERT, ya entrenado previamente en un corpus masivo de datos lingüísticos, para convertir palabras en incrustaciones vectoriales. Del mismo modo, un modelo de clasificación de imágenes zero-shot podría reutilizar una red neuronal convolucional (CNN) preentrenada como ResNet o U-Net, puesto que ya habrá aprendido pesos de filtro propicios para identificar las características de imagen importantes que podrían informar la clasificación.
El aprendizaje por transferencia es especialmente importante para GSZL, en el que el conocimiento del modelo de las clases vistas puede utilizarse como información auxiliar sobre las clases no vistas. Por ejemplo, imagine que un modelo de detección de objetos ya ha aprendido a reconocer osos pardos. En lugar de entrenarlo para que también reconozca a los osos polares proporcionándole ejemplos etiquetados de osos polares, se le puede entrenar para que comprenda que los osos polares se parecen a los osos pardos con pelaje blanco.
Este proceso de transferencia del conocimiento aprendido a nuevas tareas y diferentes clases también se conoce como adaptación de dominio.
Boletín del sector
Obtenga conocimientos organizados sobre las noticias más importantes e intrigantes de la IA. Suscríbase a nuestro boletín semanal Think. Consulte la Declaración de privacidad de IBM.
Su suscripción se enviará en inglés. Encontrará un enlace para darse de baja en cada boletín. Puede gestionar sus suscripciones o darse de baja aquí. Consulte nuestra Declaración de privacidad de IBM para obtener más información.
Los métodos de aprendizaje zero-shot basados en atributos utilizan una lógica similar a la del aprendizaje supervisado convencional. En lugar de entrenar directamente un clasificador en ejemplos etiquetados de cada clase de datos, los clasificadores se entrenan en características etiquetadas de ciertas clases de datos, como color, forma u otras características clave.
Aunque las clases de destino no se ven directamente en el entrenamiento, se puede inferir la etiqueta de una clase no vista si sus atributos se parecen a las clases de atributos presentes en los datos de entrenamiento.
Una vez que el clasificador ha aprendido todas las características relevantes, puede utilizar descripciones semánticas de diferentes clases. Este enfoque es especialmente útil cuando los ejemplos etiquetados de una clase de destino no están disponibles, pero los ejemplos etiquetados de sus entidades características son relativamente abundantes. Por ejemplo, un modelo puede aprender "rayas" de imágenes de tigres y cebras; puede aprender "amarillo" de imágenes de canarios e "insecto volador" de imágenes de moscas. El modelo ahora puede realizar una clasificación zero-shot de abejas, a pesar de la ausencia de imágenes de abejas en el conjunto de entrenamiento, porque puede entenderlas como una combinación de características aprendidas: "insectos voladores amarillos a rayas".
Si bien son versátiles y útiles en las circunstancias adecuadas, los métodos ZSL basados en atributos tienen importantes inconvenientes:
Muchos métodos ZSL representan clases y muestras como incrustaciones semánticas: representaciones vectoriales que se pueden utilizar para reflejar las entidades o el significado de (y la relación entre) diferentes puntos de datos. Entonces, la clasificación se determina midiendo la similitud entre la incrustación semántica de una muestra determinada y las incrustaciones de las diferentes clases en las que podría clasificarse.
Una vez que los puntos de datos se han representado como incrustaciones, la clasificación se determina utilizando principios similares a los de los algoritmos de K vecinos más cercanos: cierta métrica de distancia, como similitud coseno, distancia euclidiana o distancia de Wasserstein, se utiliza para medir la proximidad de la entrada de los datos a cada clase. Cuanto más cercana (o más similar) sea la incrustación de esa muestra de datos a la incrustación de una clase determinada, más probable es que pertenezca a esa clase.
Estas incrustaciones se pueden generar de varias maneras. Por ejemplo:
Los modelos preformados y algoritmos como BERT, word2vec o GloVe (Global Vectors) pueden generar fácilmente embeddings vectoriales de palabras (como los nombres de las etiquetas de clase).
Del mismo modo, las redes de codificadores de CNN preentrenados como ResNet (o codificadores de imágenes basados en transformadores como ViT) pueden hacer lo mismo para las imágenes.
Los codificadores automáticos pueden aprender representaciones latentes: codificaciones de menor dimensión comprimidas que aíslan las variables más distinguidas de una entrada de datos dada, como muestras o clases.
En lugar del aprendizaje por transferencia, se puede entrenar una variedad de arquitecturas de redes neuronales desde cero con datos de entrenamiento relevantes, como muestras de clases de datos relevantes para las que hay ejemplos etiquetados disponibles, para generar incrustaciones efectivas.
Dado que los métodos basados en incrustaciones suelen procesar información auxiliar e incrustaciones de espacio vectorial de diferentes formas (o modalidades) de datos, como incrustaciones de palabras que describen una etiqueta de clase y la incrustación de imágenes de una fotografía que podría pertenecer a esa clase, requieren una forma de facilitar la comparación entre incrustaciones de diferentes tipos de datos.
Para compararlas, las incrustaciones vectoriales de diferentes tipos y tamaños deben normalizarse y proyectarse en un espacio semántico de alta dimensión compartido, denominado espacio de incrustación conjunta, donde se pueden comparar en un entorno de manzana a manzana. En términos abstractos, esto funciona de forma similar al concepto de encontrar el mínimo común denominador para comparar fracciones diferentes. Un mapeo correlativo sólido entre diferentes fuentes de incrustación es esencial para el rendimiento de generalización de un modelo.3
Algunos modelos de aprendizaje zero-shot también utilizan el aprendizaje contrastivo para alinear mejor las incrustaciones semánticas de diferentes modelos o algoritmos: mediante el uso de pares de incrustaciones semánticas, el aprendizaje contrastivo entrena modelos para minimizar la distancia entre pares "positivos" (como la incrustación de una imagen de un perro y la de la palabra "perro") y maximizar la distancia entre pares "negativos" (no coincidentes).
Una manera eficaz de garantizar la alineación entre las incrustaciones de diferentes modelos es entrenar conjuntamente esos modelos uno al lado del otro. Por ejemplo, el modelo de preentrenamiento contrastivo lengua-imagen (CLIP) de OpenAI se entrenó en un enorme conjunto de datos no etiquetado de más de 400 millones de pares de imágenes y títulos extraídos de Internet.4
Estos emparejamientos se utilizaron para entrenar conjuntamente un codificador de imágenes y un codificador de texto desde cero, utilizando pérdida de contraste para maximizar la similitud del coseno entre las incrustaciones de imágenes y las incrustaciones de sus correspondientes leyendas. Esto dio una capacidad natural para la clasificación zero-shot: sin ajuste preciso, CLIP demostró un sólido rendimiento de clasificación en 27 conjuntos de datos de clasificación de imágenes diferentes.
La IA generativa ofrece una solución alternativa al problema del aprendizaje zero-shot: utilizar información auxiliar para generar datos de muestra, sin necesidad de ejemplos etiquetados para hacerlo.
Los métodos basados en generación pueden aprovechar las representaciones semánticas de clases invisibles para generar muestras que, una vez etiquetadas, se pueden usar para convertir el problema de aprendizaje en aprendizaje supervisado estándar. Aunque las muestras no etiquetadas (o representaciones de clases vistas estrechamente relacionadas) pueden ayudar en la síntesis de muestras, en un entorno zero-shot, este proceso a menudo se basa principalmente en descripciones semánticas.
Los LLM pueden reducir la mano de obra necesaria para producir descripciones de alta calidad: en el documento de lanzamiento de su modelo de generación de texto a imagen DALL-E 3, OpenAI señaló que los subtítulos sintéticos incluso mejoraban el rendimiento del modelo en comparación con los subtítulos con la "verdad básica".5
Los autocodificadores variacionales (VAE) son modelos generativos autosupervisados que aprenden representaciones latentes de datos de entrenamiento como una distribución parametrizada de variables latentes. En otras palabras, aprenden a codificar una clase de datos no como una incrustación semántica estática, sino como una distribución de probabilidad en el espacio latente. El decodificador se puede utilizar para generar una muestra aleatoria a partir de ese espacio latente. Los VAE condicionales (CVAE) pueden restringir las propiedades de las muestras sintetizadas maximizando la probabilidad de las variables elegidas.
Las redes generativas adversativas (GAN) constan de dos redes neuronales, entrenadas conjuntamente en un juego adversarial de suma cero: un generador que utiliza atributos semánticos y ruido gaussiano para sintetizar muestras y un discriminador que determina si las muestras son reales o "falsas" (es decir, sintetizadas por el generador). El feedback del discriminador se utiliza para entrenar al generador hasta que el discriminador ya no puede distinguir entre muestras reales y falsas. Desde el documento original de GAN en 2014, se han desarrollado una serie de modificaciones para refinar y estabilizar este proceso.
Tanto los VAE como las GAN presentan inconvenientes:
Los VAE son estables, pero tienden a generar imágenes borrosas debido a la naturaleza de cómo se reconstruyen las muestras a partir del espacio latente.
Las GAN aprenden a generar imágenes de alta calidad, pero son propensas a la desestabilización porque deben converger dos procesos de entrenamiento separados y distintos.
Aunque se han desarrollado varias modificaciones para refinar y estabilizar ambos procesos, la combinación de las dos arquitecturas de modelo ha dado lugar a resultados prometedores en un entorno de ajuste zero-shot.6
Los LLM también se pueden utilizar para sintetizar muestras etiquetadas: por ejemplo, utilizando un modelo autorregresivo como Llama 2 para generar muestras que se pueden utilizar para entrenar un modelo de lenguaje bidireccional como Sentence-BERT para tareas de clasificación de texto.
Entrene, valide, ajuste e implemente IA generativa, modelos fundacionales y capacidades de machine learning con IBM watsonx.ai, un estudio empresarial de nueva generación para desarrolladores de IA. Cree aplicaciones de IA en menos tiempo y con menos datos.
Ponga la IA a trabajar en su negocio con la experiencia líder en IA del sector de IBM y junto a su cartera de soluciones.
Reinvente las operaciones y flujos de trabajo críticos añadiendo IA para maximizar las experiencias, la toma de decisiones en tiempo real y el valor empresarial.