Questa compatibilità imperfetta con entrambi i paradigmi convenzionali di machine learning ha portato le varie tecniche ora collettivamente definite "apprendimento autosupervisionato" a ricevere una propria categorizzazione.

L'ideazione del termine è spesso attribuita a Yann LeCun, computer scientist vincitore del Premio Turing e figura chiave nell'avvento del deep learning,¹ che ha ritenuto necessario distinguere l'SSL dall'apprendimento veramente non supervisionato (che ha definito "un termine sovraccarico e confuso").² Il nome (e il concetto formale) potrebbe avere le sue origini in un documento del 2007 di Raina, et al, intitolato "“Self-taught learning: Transfer learning from unlabeled data".³ Alcuni framework di machine learning ora considerati SSL, come gli autoencoder, precedono di diversi anni la nascita del termine.

L'apprendimento autosupervisionato è un sottoinsieme dell'apprendimento non supervisionato: tutte le tecniche di apprendimento autosupervisionato sono apprendimento non supervisionato, ma la maggior parte dell'apprendimento non supervisionato non comporta l'autosupervisione.

Né l’apprendimento non supervisionato né quello autosupervisionato utilizzano etichette nel processo di formazione. Entrambi i metodi apprendono correlazioni e modelli intrinseci in dati non etichettati, piuttosto che correlazioni imposte esternamente da set di dati annotati. Oltre a questo focus condiviso sui dati non etichettati, le differenze tra l'apprendimento autosupervisionato e quello non supervisionato rispecchiano in gran parte le differenze tra l'apprendimento non supervisionato e quello supervisionato.

I problemi che utilizzano l'apprendimento non supervisionato convenzionale non misurano i risultati rispetto a qualsiasi ground truth già conosciuta. Ad esempio, un modello di associazione non supervisionato può alimentare un motore di raccomandazione per l'e-commerce imparando quali prodotti vengono spesso acquistati insieme. L'utilità del modello non deriva dalla replica delle previsioni umane, ma dalla scoperta di correlazioni non evidenti agli osservatori umani.

L'apprendimento autosupervisionato misura risultati rispetto a una ground truth, anche se implicitamente derivata da dati di addestramento non etichettati. Come i modelli supervisionati, i modelli autosupervisionati sono ottimizzati utilizzando una funzione di perdita, ovvero un algoritmo che misura la divergenza (detta "perdita") tra la ground truth e le previsioni del modello. Durante l'addestramento, i modelli autosupervisionati utilizzano la discesa del gradiente durante la retropropagazione per regolare i pesi dei modelli, in modo da ridurre al minimo le perdite (e quindi migliorare la precisione).

Guidati da questa differenza fondamentale, i due metodi si concentrano su diversi casi d'uso: i modelli non supervisionati vengono utilizzati per attività come clustering, rilevamento delle anomalie e riduzione della dimensionalità, che non richiedono una funzione di perdita, mentre i modelli autosupervisionati vengono utilizzati per le attività di classificazione e regressione tipiche dell'apprendimento supervisionato.

Sebbene l'apprendimento supervisionato e quello autosupervisionato siano spesso utilizzati per gli stessi tipi di attività e richiedano entrambi una ground truth per ottimizzare le prestazioni attraverso la funzione di perdita, i modelli autosupervisionati vengono addestrati su dati non etichettati, mentre l'apprendimento supervisionato richiede set di dati etichettati.

I set di dati etichettati sono altamente efficaci nella formazione del modello: l'annotazione dei dati di addestramento consente infatti a un modello di apprendere direttamente le caratteristiche chiave e le correlazioni che tali annotazioni riflettono. Riducendo al minimo la divergenza tra le previsioni del modello e le "previsioni" annotate manualmente dagli esperti umani durante l’addestramento, i modelli supervisionati imparano a fare inferenze corrette sui nuovi dati di input (non etichettati).

Sebbene gli approcci supervisionati all'avanguardia garantiscano un'elevata precisione, l’annotazione di grandi quantità di dati di addestramento rappresenta spesso un collo di bottiglia nel processo di ricerca. Ad esempio, nelle attività di computer vision come la segmentazione delle istanze, che richiedono stime specifiche del pixel, l'annotazione dei dati di addestramento deve essere eseguita a livello di pixel. Questo processo è costoso e richiede molto tempo, poiché limita sia la quantità di dati di addestramento disponibili, sia la capacità della maggior parte delle imprese e dei ricercatori di ottenerli.

Al contrario, i modelli autosupervisionati utilizzano varie tecniche per ottenere segnali di supervisione dalla struttura dei dati di input stessa, evitando del tutto le etichette, ad esempio nascondendo (o “mascherando”) in modo casuale alcune parti di una frase e incaricando un modello autosupervisionato di prevedere le parole nascoste utilizzando la frase originale (senza etichetta) come ground truth.

A differenza dell’apprendimento autosupervisionato, che non prevede dati etichettati dall'uomo, l'apprendimento semi-supervisionato utilizza sia dati etichettati che non etichettati per addestrare i modelli. Ad esempio, un modello semi-supervisionato potrebbe utilizzare una piccola quantità di punti dati etichettati per dedurre le etichette per il resto dei dati di addestramento altrimenti non etichettati, prt poi utilizzare l'intero set di dati per l'apprendimento supervisionato. Sebbene le motivazioni siano simili, in quanto entrambi gli approcci aggirano la necessità di grandi insiemi di dati etichettati nell'apprendimento supervisionato, le rispettive metodologie sono diverse.

L'obiettivo dell'apprendimento autosupervisionato è ridurre al minimo o sostituire del tutto la necessità di dati etichettati poiché, mentre questi sono relativamente scarsi e costosi, quelli non etichettati sono abbondanti e relativamente economici. In sostanza, i compiti pretesto producono "pseudo-etichette" da dati non etichettati. Il termine "pretesto" implica che il compito di addestramento non è (necessariamente) utile di per sé: serve solo perché insegna le rappresentazioni dei dati di modello utili ai fini delle prossime attività a valle. I compiti pretesto vengono quindi spesso definiti anche apprendimento di rappresentazione.

I modelli pre-addestrati con SSL sono spesso ottimizzati per le loro attività specifiche a valle. Questa messa a punto spesso comporta un vero apprendimento supervisionato (anche se con una frazione dei dati etichettati richiesti per addestrare un modello con il solo apprendimento supervisionato).

Sebbene la disciplina dell'SSL sia diversa sia nella metodologia che nei casi d'uso, i modelli addestrati con SSL utilizzano una o delle due tecniche di apprendimento automatico (o entrambe): l'apprendimento autopredittivo e l'apprendimento contrastivo.

Conosciuti anche come apprendimento autoassociativo autosupervisionato, i metodi di autoprevisione addestrano un modello a prevedere parte di un singolo campione di dati fornendo informazioni sulle altre parti. I modelli addestrati con questi metodi sono in genere generativi piuttosto che discriminativi.

Yann LeCun ha definto i metodi autosupervisionati come una pratica di "riempimento degli spazi vuoti" strutturata. In generale ha descritto il processo di apprendimento di rappresentazioni significative dalla struttura di dati non etichettati sottostante in termini semplici: "fai finta di non conoscere una parte dell'input e prevedila". ⁴ Ad esempio:

• Prevedi qualsiasi parte dell'input da qualsiasi altra parte
• Prevedi il futuro partendo dal passato
• Prevedi la parte mascherata da quella visibile
• Prevedi qualsiasi parte occlusa tra tutte le parti disponibili

I sistemi autosupervisionati basati su queste filosofie spesso impiegano determinate architetture di modelli e tecniche di addestramento.
 

Autoencoder
Un autoencoder è una rete neurale formata per comprimere (o codificare) i dati di input, per poi ricostruire (o decodificare) l'input originale utilizzando tale rappresentazione compressa. Sono addestrati a ridurre al minimo gli errori di ricostruzione, utilizzando l'input originale stesso come ground truth.

Sebbene le architetture di autoencoder differiscano le une dalle altre, in genere introducono una qualche forma di collo di bottiglia: mentre i dati attraversano la rete dell'encoder, la capacità di dati di ogni livello si riduce progressivamente. Ciò costringe la rete ad apprendere solo i modelli più importanti nascosti nei dati di input, chiamati variabili latenti o spazio latente, in modo che la rete di decoder possa ricostruire accuratamente l'input originale nonostante ora disponga di meno informazioni.

Le modifiche a questo framework di base consentono agli autoencoder di apprendere caratteristiche e funzioni utili.

• Gli autoencoder di denoising ricevono dati di input parzialmente corrotti e vengono addestrati a ripristinare l'input originale rimuovendo le informazioni inutili ("noise" o "rumore"). Questo riduce l'overfitting e rende tali modelli utili per attività come il ripristino di immagini di input e dati audio danneggiati.
• Mentre la maggior parte degli autoencoder codifica modelli discreti dello spazio latente, gli Autoencoder variazionali (VAE) apprendono modelli continui di spazio latente. Codificando le rappresentazioni latenti dei dati di input come distribuzione di probabilità, il decoder può generare nuovi dati campionando un vettore casuale da tale distribuzione.
   

Autoregressione
I modelli autoregressivi utilizzano il comportamento passato per prevedere il comportamento futuro. Funzionano secondo la logica che qualsiasi dato con un ordine sequenziale innato, come il linguaggio, l'audio o il video, può essere modellato tramite regressione.

Gli algoritmi di autoregressione modellano i dati delle serie temporali utilizzando i valori delle fasi temporali precedenti per prevedere il valore di quelle successive. Mentre negli algoritmi di regressione convenzionali, ad esempio quelli utilizzati per la regressione lineare, le variabili indipendenti vengono utilizzate per prevedere un valore target (o variabile dipendente), nell' autoregressione la variabile indipendente e dipendente sono essenzialmente la stessa cosa: si chiama autoregressione perché la regressione viene eseguita sulla variabile stessa.

L'autoregressione è utilizzata in modo preponderante nei modelli linguistici causali, come le famiglie di LLM GPT, LaMa e Claude, che eccellono in compiti come la generazione di testi e la risposta alle domande. Nel pre-addestramento, ai modelli linguistici viene fornito l'inizio di frasi campione tratte da dati di addestramento non etichettati con il compito di predire la parola successiva, dove la parola successiva "reale" della frase campione funge da ground truth.
 

Mascheramento
Un altro metodo di apprendimento autosupervisionato prevede il mascheramento di alcune parti di un campione di dati non etichettati, che i modelli devono prevedere o dei quali devono ricostruire le informazioni mancanti. Le funzioni di perdita utilizzano l'input originale (pre-mascheramento) come ground truth. Ad esempio, gli autoencoder mascherati sono come un'inversione degli audioencoder con denoising: imparano a prevedere e ripristinare le informazioni mancanti anziché rimuovere informazioni estranee.

Il mascheramento viene utilizzato anche nell'addestramento di modelli linguistici mascherati: vengono omesse parole casuali da frasi campione, e i modelli vengono addestrati a riempirle. Sebbene i modelli di linguaggio mascherato come BERT (e i molti modelli basati sulla sua architettura, come BART e RoBERTa) siano spesso meno abili nella generazione di testo rispetto ai modelli autoregressivi, hanno il vantaggio di essere bidirezionali: possono prevedere non solo la parola successiva, ma anche le parole precedenti o quelle successive in una sequenza. Ciò li rende particolarmente adatti ad attività che richiedono una forte comprensione del contesto, come la traduzione, il riepilogo e la ricerca.
 

Previsione delle relazioni innate
La previsione della relazioni innate addestra un modello a mantenere la comprensione di un campione di dati anche dopo che è stato trasformato in qualche modo. Un esempio può essere la rotazione di un'immagine di input e l'assegnazione a un modello di previsione del grado di modifica e della direzione di rotazione rispetto all'input originale.⁵

I metodi di apprendimento contrastivo autosupervisionato forniscono ai modelli più campioni di dati e li incaricano di prevedere la relazione tra essi. I modelli addestrati con questi metodi sono in genere discriminativi piuttosto che generativi.

I modelli contrastivi operano generalmente su coppie dati-dati per l'addestramento, mentre quelli autoassociativi operano su coppie dati-etichetta (in cui l'etichetta è autogenerata dai dati). Utilizzando queste coppie dati-dati, i metodi contrastivi addestrano i modelli a distinguere tra cose simili e dissimili.   

Queste coppie vengono spesso create tramite data augmentation: l'applicazione di diversi tipi di trasformazione o perturbazione a dati non etichettati per creare nuove istanze o viste aumentate. Ad esempio, le tecniche di augmentation comuni per i dati delle immagini includono la rotazione, il ritaglio casuale, il capovolgimento, il rumore, il filtraggio e le colorazioni. Il data augmentation aumenta la variabilità dei dati ed espone il modello a prospettive diverse, garantendo che impari ad acquisire rappresentazioni semantiche significative e dinamiche.
 

Discriminazione delle istanze
I modelli basati sulla discriminazione delle istanze inquadrano l'addestramento come una serie di compiti di classificazione binaria: utilizzando un campione di dati come target (o "ancoraggio"), gli altri vengono determinati come "positivi" (corrispondenti) o "negativi" (non corrispondenti).

Nella computer vision, tali metodi, come SimCLR o MoCo, in genere iniziano con un batch di immagini raw non etichettate e applicano una combinazione casuale di trasformazioni per generare coppie (o set) di campioni di immagini aumentate. Ognuna di queste viene poi codificata in una rappresentazione vettoriale e viene applicata una funzione di perdita contrastiva per ridurre al minimo la differenza nelle rappresentazioni vettoriali tra le corrispondenze positive, ovvero coppie di immagini aumentate derivate dalla stessa immagine originale, e massimizzare la differenza tra le corrispondenze negative.   

I metodi di discriminazione delle istanze addestrano quindi i modelli ad apprendere rappresentazioni di diverse categorie che, grazie all'augmentation casuale dei dati, sono in grado di reggere a variazioni banali (come il colore, la prospettiva o le parti visibili in un'immagine specifica). Pertanto, queste rappresentazioni si generalizzano molto bene ai compiti a valle.
 

Apprendimento non contrastivo
In modo un po’ controintuitivo, con "apprendimento non contrastivo" si fa riferimento a un metodo strettamente correlato all'apprendimento contrastivo (anziché essere, come si potrebbe immaginare, un termine ombrello per tutti i metodi diversi dall'apprendimento contrastivo). I modelli vengono addestrati utilizzando solo coppie positive, imparando a ridurre al minimo la differenza tra le loro rappresentazioni, da cui "non contrastivo".

Rispetto all'apprendimento contrastivo, gli approcci non contrastivi sono relativamente semplici: poiché operano solo su campioni positivi, utilizzano batch di dimensioni inferiori per gli epoch di addestramento e non necessitano di memoria per archiviare campioni negativi. Ciò consente di risparmiare memoria e costi computazionali durante il pre-addestramento.

Modelli non contrastivi come Bootstrap Your Own Latent (BYOL)⁶ e Barlow Twins⁷ hanno ottenuto risultati competitivi con quelli contrastivi e con risultati puramente supervisionati.
 

Apprendimento multimodale
Con punti dati di diversi (modalità), i metodi contrastivi possono apprendere la mappatura tra le varie modalità. Ad esempio, il Contrastive Language-Image Pre-training (CLIP) addestra congiuntamente un encoder di immagini e un encoder di testo per prevedere quale didascalia debba essere associata a un'immagine, utilizzando milioni di abbinamenti non etichettati (immagine, testo) prontamente disponibili raccolti da internet. Dopo l'addestramento preliminare, l'elaborazione del linguaggio naturale (NLP) viene utilizzata per fare riferimento ai concetti visivi appresi durante l'addestramento (o anche per descrivere nuovi concetti visivi), rendendo i modelli addestrati tramite CLIP estremamente utili per un'ampia gamma di applicazioni di trasferimento di apprendimento.

L'apprendimento contrastivo è stato utilizzato anche per apprendere gli allineamenti tra video e testo⁸ video e audio⁹ e discorso parlato e testo.¹⁰

• Entro un anno dalla sua introduzione nel 2018, Google ha implementato il modello di linguaggio mascherato BERT come motore NLP per classificare e presentare frammenti in Search.¹¹ Dal 2023, Google continua a utilizzare l'architettura BERT per potenziare le sue applicazioni di ricerca nel mondo reale.¹²

• Le famiglie LLaMa, GPT e Claude di LLM sono modelli linguistici autoregressivi. GPT3 è stato addestrato principalmente con l'apprendimento autosupervisionato, mentre InstructGPT e i successivi modelli GPT-3.5 utilizzati per lanciare ChatGPT hanno messo a punto i modelli pre-addestrati utilizzando l'apprendimento per rinforzo da feedback umano (RLHF).

• I modelli autoregressivi vengono utilizzati anche per attività NLP basate su audio come speech-to-text, nonché modelli text-to-speech come WaveNet.¹³ Facebook (Meta) utilizza wav2vec per il riconoscimento vocale, utilizzando due reti neurali convoluzionali profonde posizionate l'una sull'altra per mappare l'input audio grezzo su una rappresentazione vettoriale. Nel pre-addestramento autosupervisionato, questi vettori vengono utilizzati come input per le attività di autoprevisione.¹⁴

• L'apprendimento autosupervisionato è un sottoinsieme in rapida crescita di tecniche di deep learning utilizzate per l'imaging medico, ambito per il quale le immagini annotate da esperti sono relativamente scarse. Su PubMed, Scopus e arXiv, le pubblicazioni che fanno riferimento all'uso di SSL per la classificazione delle immagini mediche sono aumentate di oltre il 1.000 percento dal 2019 al 2021.¹⁵

• I metodi basati su SSL possono spesso corrispondere o superare la precisione dei modelli formati utilizzando metodi completamente supervisionati. Ad esempio, il MoCo originale ha superato le prestazioni dei modelli supervisionati in sette attività di rilevamento degli oggetti e segmentazione delle immagini sui set di dati PASCAL, VOC e COCO.¹⁶ Dopo essere stati messi a punto con l'uso di dati etichettati per appena l'1% di tutti i dati di addestramento, i modelli pre-addestrati con SSL hanno raggiunto oltre il 80% di precisione sul set di dati ImageNet, un risultato che rivaleggia con le prestazioni del benchmark dei modelli di apprendimento supervisionato come ResNet50.

• La capacità di mantenere con successo il rilevamento degli oggetti e la segmentazione delle immagini nonostante le modifiche all'orientamento di un oggetto è essenziale per molte attività di robotica. L'apprendimento autosupervisionato è stato proposto come metodo efficace per addestrare i modelli di computer vision a comprendere la rotazione senza lunghe raccolte di dati etichettati.^{17 18}

• Il mascheramento è stato utilizzato per addestrare i modelli a comprendere la traiettoria del movimento nei video.¹⁹

• Gli autoencoder di denoising sono una componente essenziale nell'addestramento di alcuni modelli di sintesi di immagini all'avanguardia, come Stable Diffusion.²⁰

• La modellazione autoregressiva è stata utilizzata per la sintesi delle immagini in modelli come PixelRNN e PixelCNN. Il successo di PixelCNN l'ha portato a diventare la base per WaveNet.

• Gli autoencoder convoluzionali vengono utilizzati per varie attività di elaborazione delle immagini, come l'inpainting e la colorazione di immagini in scala di grigi.

• Gli autoencoder variazionali (VAE) sono uno strumento importante nella sintesi delle immagini. Il modello DALL-E originale di OpenAI ha utilizzato un VAE per generare immagini. Sia DALL-E 1 che DALL-E 2 utilizzano CLIP nel processo di traduzione dei prompt linguistici naturali in informazioni visive.²¹