¿Qué es el aprendizaje autosupervisado?
Explore IBM® watsonx.ai
Ilustración de tecnología de Big Data y ciencia de datos

Publicado: 5 de diciembre de 2023
Colaborador: Dave Bergmann

¿Qué es el aprendizaje autosupervisado?

El aprendizaje autosupervisado es una técnica de aprendizaje automático que utiliza el aprendizaje no supervisado para tareas que convencionalmente requieren aprendizaje supervisado. En lugar de depender de conjuntos de datos etiquetados para las señales de supervisión, los modelos autosupervisados generan etiquetas implícitas a partir de datos no estructurados.

El aprendizaje autosupervisado (SSL) es particularmente útil en campos como la visión por computadora y el procesamiento del lenguaje natural (PNL) que requieren grandes cantidades de datos etiquetados para entrenar modelos de inteligencia artificial (IA) de última generación. Debido a que estos conjuntos de datos etiquetados requieren anotaciones que consumen mucho tiempo por parte de expertos humanos, recopilar datos suficientes puede ser prohibitivamente difícil. Los enfoques autosupervisados pueden ser más rentables y en tiempo, ya que reemplazan parte o todas las necesidades de etiquetar manualmente los datos de capacitación.

Para entrenar un modelo de aprendizaje profundo en tareas que requieren precisión, como la clasificación o la regresión, es necesario poder comparar las predicciones de salida del modelo para una entrada determinada con las predicciones "correctas" para esa entrada—lo que se suele denominar la verdad sobre el terreno. Habitualmente, los datos de entrenamiento etiquetados manualmente sirven como verdad base: dado que este método requiere la intervención humana directa, se denomina aprendizaje "supervisado". En el aprendizaje autosupervisado, las tareas están diseñadas de tal manera que la “verdad del fondo” pueda inferirse a partir de datos no etiquetados.

En SSL, las tareas se dividen en dos categorías: tareas de pretexto y tareas posteriores. En una tarea de pretexto, SSL se utiliza para entrenar a un sistema de IA a aprender representaciones significativas de datos no estructurados. Esas representaciones aprendidas se pueden utilizar posteriormente como entrada para una tarea posterior, como una tarea de aprendizaje supervisado o una tarea de aprendizaje de refuerzo. La reutilización de un modelo previamente entrenado en una nueva tarea se denomina "aprendizaje por transferencia".

El aprendizaje autosupervisado se utiliza en el entrenamiento de una amplia gama de arquitecturas sofisticadas de aprendizaje profundo para una variedad de tareas, desde modelos de lenguaje grande (LLMs) basados en transformadores como BERT y GPT hasta modelos de síntesis de imágenes como autocodificadores de variación (VAEs) y redes generativas antagonistas (GANs) hasta modelos de visión por computadora como SimCLR y Momentum Contrast (MoCo).

Haga un recorrido por IBM® watsonx.ai

Estudio empresarial de próxima generación para que los creadores de IA entrenen, validen, ajusten e implementen modelos de IA.

Contenido relacionado

Suscríbase a los boletines de IBM

Aprendizaje autosupervisado vs. aprendizaje supervisado vs. aprendizaje no supervisado

Aunque el aprendizaje autosupervisado es técnicamente un subconjunto del aprendizaje no supervisado (ya que no requiere conjuntos de datos etiquetados), está estrechamente relacionado con el aprendizaje supervisado en el sentido de que optimiza el rendimiento frente a una verdad base.

Este ajuste imperfecto con los dos paradigmas convencionales de aprendizaje automático llevó a que las diversas técnicas que ahora se consideran colectivamente "aprendizaje autosupervisado" recibieran su propia categorización.

La acuñación del término a menudo se atribuye a Yann LeCun, científico informático ganador del Premio Turing y figura clave en la aparición del aprendizaje profundo,1 quien declaró necesario desambiguar SSL del aprendizaje verdaderamente no supervisado (al que llamó “tanto un término cargado como confuso”).2 El nombre (y el concepto formal) pueden tener sus orígenes en un documento de 2007 de Raina, et al, titulado "Aprendizaje autodidacta: Transferir el aprendizaje de datos sin etiqueta".3 Algunos marcos de aprendizaje automático que ahora se consideran SSL, como los autocodificadores, son anteriores a la existencia del propio término por varios años.

Aprendizaje autosupervisado contra aprendizaje no supervisado

El aprendizaje autosupervisado es un subconjunto del aprendizaje no supervisado: todas las técnicas de aprendizaje autosupervisado son aprendizaje no supervisado, pero la mayoría del aprendizaje no supervisado no implica autosupervisión.

Ni el aprendizaje no supervisado ni autosupervisado utilizan etiquetas en el proceso de entrenamiento: ambos métodos aprenden correlaciones intrínsecas y patrones en datos no etiquetados, en lugar de correlaciones impuestas externamente a partir de conjuntos de datos anotados. Además de este enfoque compartido en los datos no etiquetados, las diferencias entre el aprendizaje autosupervisado y no supervisado reflejan en gran medida las diferencias entre el aprendizaje no supervisado y supervisado.

Los problemas de uso del aprendizaje convencional no supervisado no miden los resultados contra ninguna verdad básica previamente conocida. Por ejemplo, un modelo de asociación no supervisado podría impulsar un motor de recomendaciones de comercio electrónico aprendiendo qué productos se compran con frecuencia juntos. La utilidad del modelo no se deriva de replicar las predicciones humanas, sino de descubrir correlaciones que no son evidentes para los observadores humanos.

El aprendizaje autosupervisado mide los resultados con respecto a una verdad fundamental, aunque implícitamente derivada de datos de entrenamiento no etiquetados. Al igual que los modelos supervisados, los modelos autosupervisados se optimizan mediante una función de pérdida: un algoritmo que mide la divergencia (“pérdida”) entre la verdad fundamental y las predicciones del modelo. Durante el entrenamiento, los modelos autosupervisados utilizan el descenso de gradiente durante la retropropagación para ajustar los pesos del modelo de una manera que minimice la pérdida (y, por lo tanto, mejore la precisión).

Impulsados por esta diferencia clave, los dos métodos se centran en diferentes casos de uso: los modelos no supervisados se utilizan para tareas como la agrupación, la detección de anomalías y la reducción de la dimensionalidad que no requieren una función de pérdida, mientras que los modelos autosupervisados se utilizan para tareas de clasificación y regresión típicas del aprendizaje supervisado.

Aprendizaje autosupervisado contra aprendizaje supervisado

Aunque el aprendizaje supervisado y el autosupervisado se utilizan en gran medida para los mismos tipos de tareas y ambos requieren una verdad base para optimizar el rendimiento mediante una función de pérdida, los modelos autosupervisados se entrenan con datos no etiquetados, mientras que el aprendizaje supervisado requiere conjuntos de datos etiquetados para el entrenamiento.

Los conjuntos de datos etiquetados son muy eficaces en el entrenamiento de modelos: la anotación de datos de entrenamiento permite que un modelo aprenda directamente las características clave y las correlaciones que reflejan esas anotaciones. Al minimizar la divergencia entre las predicciones del modelo y las "predicciones" comentadas a mano de los expertos humanos durante la capacitación, los modelos supervisados aprenden a hacer inferencias correctas sobre los datos de entrada nuevos (no etiquetados).

Aunque los enfoques supervisados más avanzados pueden ofrecer una gran precisión, la anotación de grandes cantidades de datos de formación suele ser un cuello de botella en el proceso de investigación. Por ejemplo, en tareas de visión por computadora como la segmentación de instancias que requieren predicciones específicas de píxeles, se debe realizar una anotación de los datos de capacitación a nivel de píxeles. Esto es costoso y requiere mucho tiempo, lo que limita tanto la cantidad de datos de entrenamiento disponibles como la capacidad de la mayoría de las empresas e investigadores para obtenerlos.

Por el contrario, los modelos autosupervisados utilizan diversas técnicas para obtener señales de supervisión a partir de la estructura de los propios datos de entrada, evitando por completo las etiquetas. Por ejemplo, ocultando (o “enmascarando”) aleatoriamente partes de una oración y asignando a un modelo autosupervisado la tarea de predecir las palabras ocultas, utilizando la oración original (sin etiquetar) como verdad fundamental.

Aprendizaje autosupervisado contra aprendizaje semisupervisado

A diferencia del aprendizaje autosupervisado, que no implica datos etiquetados por seres humanos, el aprendizaje semisupervisado utiliza datos etiquetados y no etiquetados para entrenar modelos. Por ejemplo, un modelo semisupervisado puede usar una pequeña cantidad de puntos de datos etiquetados para inferir etiquetas para el resto de un conjunto de datos de capacitación no etiquetados, y luego seguir utilizando todo el conjunto de datos para el aprendizaje supervisado. Aunque sus motivaciones son similares, ya que ambos enfoques eluden la necesidad de grandes conjuntos de datos etiquetados en el aprendizaje supervisado, sus respectivas metodologías son diferentes.

¿Cómo funciona el aprendizaje autosupervisado?

Las tareas de aprendizaje autosupervisado se diseñan de forma que una función de pérdida pueda utilizar datos de entrada no etiquetados como verdad básica. Esto permite que el modelo aprenda representaciones precisas y significativas de los datos de entrada sin etiquetas ni anotaciones.

El objetivo del aprendizaje autosupervisado es minimizar o reemplazar por completo la necesidad de datos etiquetados. Si bien los datos etiquetados son relativamente escasos y costosos, los datos no etiquetados son abundantes y relativamente baratos. Esencialmente, las tareas de pretexto producen “pseudo etiquetas” a partir de datos no etiquetados. El término "pretexto" implica que la tarea de capacitación no es (necesariamente) útil en sí misma: es útil solo porque enseña modelos de representaciones de datos que son útiles para las tareas posteriores. Por lo tanto, las tareas de pretexto a menudo también se denominan aprendizaje de representación.

Los modelos previamente capacitados con SSL suelen ajustarse a sus tareas específicas posteriores: este ajuste a menudo implica un aprendizaje verdadero supervisado (aunque con una fracción de los datos etiquetados necesarios para capacitar un modelo solo con aprendizaje supervisado).

Aunque la disciplina de SSL es diversa tanto en metodología como en casos de uso, los modelos capacitados con SSL usan una (o ambas) de dos técnicas de aprendizaje automático: aprendizaje autopredictivo y aprendizaje contrastivo.

Aprendizaje autopredictivo

También conocidos como aprendizaje autosupervisado autoasociado, los métodos de autopredicción capacitan a un modelo para predecir parte de una muestra de datos individual, dada información sobre sus otras partes. Los modelos entrenados con estos métodos suelen ser modelos generativos, en lugar de discriminativos.

Yann LeCun caracterizó los métodos autosupervisados como una práctica estructurada de "llenar los espacios en blanco". En términos simples, describió ampliamente el proceso de aprendizaje de representaciones significativas de la estructura subyacente de datos no etiquetados: "presume que hay una parte de la entrada que no conoces y predice eso". 4 Por ejemplo:

  • Predecir cualquier parte de la entrada de cualquier otra parte
  • Predice el futuro desde el pasado
  • Predecir lo enmascarado desde lo visible
  • Predecir cualquier parte ocluida de todas las partes disponibles

Los sistemas autosupervisados basados en estas filosofías a menudo emplean ciertas arquitecturas modelo y técnicas de capacitación.
 

Autocodificadores
Un autocodificador es una red neural capacitada para comprimir (o codificar) datos de entrada, luego reconstruir (o decodificar) la entrada original utilizando esa representación comprimida. Están capacitados para minimizar el error de reconstrucción, utilizando la propia entrada original como verdad fundamental.

Aunque las arquitecturas del autocodificador varían, suelen introducir alguna forma de cuello de botella: a medida que los datos atraviesan la red del codificador, la capacidad de datos de cada capa se reduce progresivamente. Esto obliga a la red a aprender solo los patrones más importantes ocultos dentro de los datos de entrada—llamados variables latentes, o el espacio latente—para que la red de decodificadores pueda reconstruir con precisión la entrada original a pesar de ahora tener menos información.

Las modificaciones a este marco básico permiten a los autocodificadores aprender características y funciones útiles.

  • Los autocodificadores que eliminan el ruido reciben datos de entrada parcialmente corruptos y se entrenan para restaurar la entrada original eliminando información inútil (“ruido”). Esto reduce el sobreajuste y hace que estos modelos sean útiles para tareas como restaurar imágenes de entrada dañadas y datos de audio.
  • Mientras que la mayoría de los autocodificadores codifican modelos discretos de espacio latente, los autocodificadores de variación (VAEs) aprenden modelos continuos de espacio latente: al codificar representaciones latentes de datos de entrada como distribución de probabilidad, el decodificador puede generar nuevos datos mediante una muestra aleatoria.
     

Autorregresión
Los modelos autorregresivos utilizan el comportamiento pasado para predecir el comportamiento futuro. Trabajan bajo la lógica de que cualquier dato con un orden secuencial innato—como lenguaje, audio o video—se puede modelar con regresión.

Los algoritmos de autorregresión modelan datos de series de tiempo, utilizando los valores de los períodos anteriores para predecir el valor del siguiente período. Mientras que en algoritmos de regresión convencionales, como los utilizados para la regresión lineal, las variables independientes se utilizan para predecir un valor objetivo (o variable dependiente), en la autorregresión la variable independiente y dependiente es esencialmente una y la misma: se denomina regresión automáticaporque la regresión se realiza en la variable misma.

La autorregresión se utiliza de manera prominente en modelos de lenguaje causal como las familias GPT, LLaMa y Claude de LLMs que se destacan en tareas como la generación de texto y la respuesta a preguntas. En el pre-entrenamiento, se proporciona a los modelos de lenguaje el principio de frases de muestra extraídas de datos de entrenamiento sin etiquetar y se les asigna la tarea de predecir la siguiente palabra, sirviendo la siguiente palabra "real" de la frase de muestra como verdad de base.
 

Enmascaramiento
Otro método de aprendizaje autosupervisado consiste en enmascarar ciertas partes de una muestra de datos sin etiquetar y asignar a los modelos la tarea de predecir o reconstruir la información que falta. Las funciones de pérdida utilizan la entrada original (antes del enmascaramiento) como verdad básica. Por ejemplo, los autocodificadores enmascarados son como una inversión de audiocodificadores que eliminan el ruido: aprenden a predecir y restaurar la información faltante, en lugar de eliminar información extraña.

El enmascaramiento también se utiliza en el entrenamiento de modelos de lenguaje enmascarado: las palabras aleatorias se omiten de oraciones y modelos de muestra que se entrenen para llenarlas. Aunque los modelos de lenguaje enmascarado como BERT (y los muchos modelos construidos a partir de su arquitectura, como BART y RoBERTa) a menudo son menos adeptos a la generación de texto que los modelos autorregresivos, tienen la ventaja de ser bidireccionales: pueden predecir no solo la siguiente palabra, sino también palabras anteriores o palabras que se encuentran más adelante en una secuencia. Esto los hace muy adecuados para tareas que requieren una gran comprensión contextual, como la traducción, el resumen y la búsqueda.
 

Predicción de relaciones innatas
La predicción de relaciones innatas entrena a un modelo para mantener su comprensión de una muestra de datos después de que se transforme de alguna manera. Por ejemplo, rotar una imagen de entrada y realizar tareas a un modelo con la predicción del grado de cambio y la dirección de rotación en relación con la entrada original.5

Aprendizaje contrastivo

Los métodos de aprendizaje autosupervisado contrastivo proporcionan a los modelos muestras de datos múltiples y les asignan la tarea de predecir la relación entre ellas. Los modelos entrenados con estos métodos suelen ser modelos típicamente discriminativos, en lugar de generativos.

Los modelos contrastivos generalmente operan en pares de datos de datos para capacitación, mientras que los modelos autoasociativos operan en pares de etiquetas de datos (en los que la etiqueta se genera a partir de los datos). A partir de estos pares de datos, los métodos contrastivos entrenan modelos para distinguir entre cosas similares y disímiles.   

Estos pares a menudo se crean mediante el aumento de datos: aplicar diferentes tipos de transformaciones o perturbaciones a datos no etiquetados para crear nuevas instancias o vistas aumentadas. Por ejemplo, las técnicas de aumento comunes para los datos de imagen incluyen rotación, recorte aleatorio, giro, ruidos, filtrado y coloraciones. El aumento de datos aumenta la variabilidad de los datos y expone el modelo a diferentes perspectivas, lo que ayuda a garantizar que el modelo aprenda a capturar representaciones semánticas significativas y dinámicas.
 

Discriminación de instancias
Los modelos basados en discriminación de instancias enmarcan el entrenamiento como una serie de tareas de clasificación binaria: utilizando una muestra de datos como objetivo (o “ancla”), otras muestras de datos se determinan como “positivas” (coincidentes) o “negativas” (no coincidentes).

En la visión artificial, estos métodos—como SimCLR o MoCo—suelen comenzar con un lote de imágenes sin etiquetar y aplicar una combinación aleatoria de transformaciones para generar pares (o conjuntos) de muestras de imágenes aumentadas. Cada una de estas imágenes aumentadas se codifica en una representación vectorial, y se utiliza una función de pérdida contrastiva para minimizar la diferencia en las representaciones vectoriales entre coincidencias positivas—pares de imágenes aumentadas derivadas de la misma imagen original—y maximizar la diferencia entre coincidencias negativas.   

Por lo tanto, los métodos de discriminación de instancias entrenan a los modelos para que aprendan representaciones de diferentes categorías que, gracias a los aumentos aleatorios de datos, son resistentes a variaciones triviales (como el color, la perspectiva o las partes visibles en una imagen específica). Por lo tanto, estas representaciones se generalizan muy bien a las tareas posteriores.
 

Aprendizaje no contrastivo
Algo contradictorio, "aprendizaje no contrastivo" se refiere a un método estrechamente relacionado con el aprendizaje contrastivo (en lugar de, como uno podría adivinar, un catalizador general para métodos que no son de aprendizaje contrastivo). Los modelos se entrenan utilizando sólo pares positivos, aprendiendo a minimizar la diferencia entre sus representaciones–por lo tanto, no­–contrastantes).

En comparación con el aprendizaje contrastivo, los enfoques no contrastivos son relativamente sencillos: como sólo operan con muestras positivas, utilizan lotes de menor tamaño para las épocas de entrenamiento y no necesitan un banco de memoria para almacenar las muestras negativas. Esto ahorra memoria y costos computacionales durante el entrenamiento previo.

Los modelos no contrastivos como Bootstrap Your Own Latent (BYOL)6 y Barlow Twins7 han logrado resultados competitivos con los de resultados contrastivos y puramente supervisados.
 

Aprendizaje multimodal
Dados los puntos de datos de diferentes tipos—modalidades—los métodos contrastivos pueden aprender a mapear entre esas modalidades. Por ejemplo, Contrastive Language-Image Pre-training (CLIP) entrena conjuntamente un codificador de imágenes y un codificador de texto para predecir qué pie de foto va con qué imagen, utilizando millones de combinaciones sin etiquetar(imagen, texto) fácilmente disponibles y recogidos de Internet. Tras el pre-entrenamiento, se utiliza el procesamiento del lenguaje natural (PLN) para referenciar el aprendizaje de conceptos visuales en el entrenamiento (o incluso para describir nuevos conceptos visuales), lo que hace que los modelos entrenados con CLIP sean muy útiles para una amplia gama de aplicaciones de aprendizaje por transferencia.

También se ha utilizado el aprendizaje simultáneo para aprender alineaciones entre video y texto,8 video y audio,9 y voz y texto.10

Casos de uso de aprendizaje autosupervisado

El aprendizaje autosupervisado se ha utilizado para entrenar previamente modelos de inteligencia artificial para una amplia gama de tareas y disciplinas.

Aprendizaje autosupervisado para PLN
  • Dentro del año posterior a su introducción en 2018, Google implementó el modelo de lenguaje enmascarado BERT como motor PLN para fragmentos clasificados y destacados en Search.11 A partir de 2023, Google continúa utilizando la arquitectura BERT para impulsar sus aplicaciones de búsqueda del mundo real.12
  • Las familias LLaMa, GPT y Claude de LLMs son modelos de lenguaje autorregresivo. GPT3 se entrenó principalmente con aprendizaje autosupervisado; InstructGPT, y los modelos GPT-3.5 posteriores utilizados para lanzar ChatGPT, afinaron los modelos pre-entrenados utilizando el aprendizaje por refuerzo con retroalimentación humana (RLHF).
  • Los modelos autorregresivos también se utilizan para tareas de PNL basadas en audio como voz a texto, así como modelos de texto a voz como WaveNet.13 Facebook (Meta) utiliza wav2vec para el reconocimiento de voz, utilizando dos redes neurales convolucionales profundas apiladas una encima de la otra para mapear la entrada de audio sin procesar a una representación vectorial. En el entrenamiento previo autosupervisado, estos vectores se utilizan como entradas para tareas de autopredicción.14
Aprendizaje autosupervisado para visión por computadora
  • El aprendizaje autosupervisado es un subconjunto en rápido crecimiento de las técnicas de aprendizaje profundo utilizadas para imágenes médicas, para las que las imágenes anotadas por expertos son relativamente escasas. En PubMed, Scopus y ArXiv, las publicaciones hacen referencia a que el uso de SSL para la clasificación de imágenes médicas aumentó más del 1,000 por ciento de 2019 a 2021.15
  • Los métodos basados en SSL a menudo pueden igualar o superar la precisión de los modelos entrenados con métodos totalmente supervisados. Por ejemplo, el MoCo original superó a los modelos supervisados en siete tareas de detección de objetos y segmentación de imágenes en los conjuntos de datos PASCAL, VOC y COCO.16 Cuando se ajustan con datos etiquetados para solo el uno por ciento de todos los datos de entrenamiento, los modelos previamente entrenados con SSL han logrado una precisión superior al 80 por ciento en el conjunto de datos de ImageNet. Esto rivaliza con el rendimiento de los modelos de aprendizaje supervisado de referencia como ResNet50.
  • La capacidad de mantener con éxito la detección de objetos y la segmentación de imágenes a pesar de los cambios en la orientación de un objeto es esencial para muchas tareas de robótica. El aprendizaje autosupervisado se ha propuesto como una forma eficaz de entrenar modelos de visión artificial para comprender la rotación sin necesidad de recopilar datos etiquetados que requieren mucho tiempo.17 18
  • El enmascaramiento se ha utilizado para entrenar modelos para comprender la trayectoria del movimiento en video.19
Aprendizaje autosupervisado para procesamiento de imágenes y síntesis de imágenes
  • Los autocodificadores que eliminan ruido son un componente esencial en el entrenamiento de algunos modelos de síntesis de imagen de última generación, como Stable Diffusion.20
  • El modelado autorregresivo se ha utilizado para la síntesis de imágenes en modelos como PixelRNN y PixelCNN. El éxito de PixelCNN hizo que se convirtiera en la base de WaveNet.
  • Los autocodificadores convolucionales se utilizan para diversas tareas de procesamiento de imágenes, como el repintado y la coloración de imágenes en escala de grises.
  • Los autocodificadores de variación (VAEs) son una herramienta importante en la síntesis de imágenes. El modelo DALL-E original de OpenAI utilizaba un VAE para generar imágenes. Tanto DALL-E 1 como DALL-E 2 utilizan CLIP en el proceso de traducir indicaciones de lenguaje natural en información visual.21
Soluciones relacionadas
IBM watsonx.ai

Entrene, valide, ajuste e implemente IA generativa, modelos fundacionales y capacidades de aprendizaje automático con facilidad, y cree aplicaciones de IA en una fracción del tiempo con un fragmento de los datos.

Explore watsonx.ai

Recursos de aprendizaje autosupervisado

Obtenga más información sobre cómo encaja el aprendizaje autosupervisado en el amplio mundo del aprendizaje automático.

Continúe su viaje de aprendizaje automático

Obtenga más información sobre qué tipo de modelo de aprendizaje automático es mejor para usted: ¿aprendizaje supervisado o no supervisado?

¿Qué es el aprendizaje supervisado?

Aprenda cómo funciona el aprendizaje supervisado y cómo se puede usar para crear modelos de aprendizaje automático de alta precisión para una variedad de tareas.

¿Qué es el aprendizaje no supervisado?

Aprenda cómo funciona el aprendizaje no supervisado y cómo se puede usar para explorar y agrupar datos para una variedad de casos de uso.

Dé el siguiente paso

Capacite, ajuste y despliegue IA generativa, modelos fundacionales y capacidades de aprendizaje automático con IBM watsonx.ai, un estudio empresarial de próxima generación para creadores de IA. Cree aplicaciones de IA en menos tiempo y con menos datos.

Explore watsonx.ai Reserve una demostración en vivo
Notas al pie de página

Todos los enlaces se encuentran fuera de ibm.com

1 "Los padres de la revolución del aprendizaje profundo reciben el Premio ACM A.M. Turing," Association for Computing Machinery, 27 de marzo de 2019
2 Facebook, Yann LeCun, 30 de abril de 2019
3 "Aprendizaje autodidacta: aprendizaje por transferencia a partir de datos no etiquetados," Acta de la 24va conferencia internacional sobre aprendizaje automático, 20 de junio de 2007
4 Ponencia: Modelos basados en energía y aprendizaje autosupervisado, YouTube, subido en 2020
5 "Aprender a ver moviéndose," arXiv, 14 de septiembre de 2015
6 "Bootstrap Your Own Latent: A New Approach to Self-Supervised Learning," arXiv, 10 de septiembre de 2020
7 "Barlow Twins: Self-Supervised Learning via Redunancy Reduction," arXiv, 14 de junio de 2021
8 " VideoCLIP: Contrastive Pre-Training for Zero-shot Video-Text Understanding," arXiv, 1 de octubre de 2021
9
"Active Contrasting Learning of Audio-Visual Video Representations," Acta de la Conferencia Internacional sobre Representaciones de Aprendizaje, 2021
10 "Cross-modal Contrastive Learning for Speech Translation, " arXiv, 5 de mayo de 2022
11 "Entender las búsquedas mejor que nunca," Google, 25 de octubre de 2019
12 "End-to-End Query Term Weighting," Google, 2023
13
"WaveNet: A Generative Model for Raw Audio, " arXiv, 19 de septiembre de 2016
14 "Wave2vec: Reconocimiento del habla de última generación mediante autosupervisión," Meta, 19 de septiembre de 2019
15 "Self-supervised learning for medical image classification: a systematic review and implementation guidelines," Nature, 26 de abril de 2023
16 "Momentum Contrast for Unsupervised Visual Representation Learning," arXiv, 13 de noviembre de 2019 (última revisión 23 de marzo de 2020)
17
"Deep Projective Rotation Estimation through Relative Supervision," arXiv, 21 de noviembre de 2022
18 "Orienting Novel 3D Objects Using Self-Supervised Learning of Rotation Transforms," arXiv, 29 de mayo de 2021
19 "Masked Motion Encoding for Self-Supervised Video Representation Learning," The Computer Vision Foundation, octubre de 2022
20 "High-Resolution Image Synthesis with Latent Diffusion Models, " arXiv, 20 de diciembre de 2021 (última revisión 13 de abril de 2022)
21 " DALL-E : Creación de imágenes a partir de texto," OpenAI, 5 de enero de 2021