Cos'è la regolarizzazione?

La regolarizzazione comprende una serie di tecniche per correggere l'overfitting nei modelli di machine learning. In quanto tale, la regolarizzazione è un metodo per aumentare la generalizzabilità di un modello, ovvero la sua capacità di produrre previsioni accurate su nuovi set di dati.¹ La regolarizzazione fornisce questa maggiore generalizzabilità a causa di un aumento dell'errore di addestramento. In altre parole, i metodi di regolarizzazione in genere portano a previsioni meno accurate sui dati di addestramento ma a previsioni più accurate sui dati dei test.

La regolarizzazione differisce dall'ottimizzazione. Essenzialmente, la prima aumenta la capacità di generalizzazione del modello mentre la seconda aumenta la precisione dell'addestramento del modello. Entrambi sono concetti importanti nel machine learning e nella data science.

Esistono molte forme di regolarizzazione. Tutto ciò che riguarda una guida completa richiede un trattamento molto più lungo. Tuttavia, questo articolo fornisce una panoramica della teoria necessaria per comprendere lo scopo della regolarizzazione nel machine learning, nonché un'indagine su diverse tecniche di regolarizzazione popolari.

Questa concessione di un aumento dell'errore di addestramento per una diminuzione dell'errore di test è nota come compromesso distorsione-varianza. Il compromesso distorsione-varianza è un problema ben noto nell'apprendimento automatico. È necessario innanzitutto definire i concetti di "distorsione" e "varianza". Per dirla brevemente:

• La distorsione misura la differenza media tra i valori previsti e i valori reali. Quando la distorsione aumenta, un modello predice in modo meno accurato su un set di dati di addestramento. Un'elevata distorsione si riferisce a un elevato errore nell'addestramento.
  
  
• La varianza misura la differenza tra le previsioni tra le varie realizzazioni di un determinato modello. Con l'aumento della varianza, un modello predice in modo meno accurato sui dati non visti. L'alta varianza si riferisce a un errore elevato durante il test e la convalida.

La distorsione e la varianza rappresentano quindi inversamente l'accuratezza del modello sui set rispettivamente di formazione e di prova.² Ovviamente, gli sviluppatori mirano a ridurre sia la distorsione, sia la varianza del modello. La riduzione simultanea di entrambi non è sempre possibile, con una conseguente necessità di regolarizzazione. La regolarizzazione riduce la varianza del modello al costo di un aumento della distorsione.

Aumentando la distorsione e diminuendo la varianza, la regolarizzazione risolve l'overfitting del modello. L'overfitting si verifica quando l'errore sui dati di addestramento diminuisce mentre l'errore sui dati di test cessa di diminuire o inizia ad aumentare.³ In altre parole, l'overfitting descrive modelli con bassa distorsione e varianza elevata. Tuttavia, se la regolarizzazione introduce troppe distorsioni, il modello risulterà inadeguato (underfitting).

Nonostante il suo nome, underfitting non indica il contrario di overfitting. Piuttosto, l'underfitting descrive modelli caratterizzati da una distorsione elevata e da una varianza elevata. Un modello inadeguato produce previsioni erronee e insoddisfacenti durante l'addestramento e i test, cosa che spesso è dovuta a dati o parametri di addestramento insufficienti.

La regolarizzazione, tuttavia, potenzialmente può portare anche all'underfitting del modello. Se viene introdotta una distorsione eccessiva attraverso la regolarizzazione, la varianza del modello può cessare di diminuire e persino aumentare. La regolarizzazione può avere questo effetto in particolare sui modelli semplici, cioè sui modelli con pochi parametri. Nello stabilire il tipo e il grado di regolarizzazione da implementare, quindi, bisogna considerare la complessità del modello, il set di dati e così via.⁴

La regressione lineare e la regressione logistica sono entrambi modelli predittivi alla base dell'apprendimento automatico. La regressione lineare (o minimi quadrati ordinari) mira a misurare e prevedere l'impatto di uno o più predittori su un dato output, trovando la linea di migliore adattamento attraverso i punti dati forniti (ovvero, i dati di addestramento). La regressione logistica mira a stabilire le probabilità di una classe attraverso un output binario, data una serie di predittori. In altre parole, la regressione lineare effettua previsioni quantitative costanti mentre la regressione logistica produce previsioni categoriche discrete.⁵

Naturalmente, all'aumentare del numero di predittori in entrambi i modelli di regressione, la relazione input-output non è sempre semplice e richiede la manipolazione della formula di regressione. Entra in gioco la regolarizzazione. Ci sono tre forme principali di regolarizzazione per i modelli di regressione. Si noti che questo elenco è solo una breve panoramica. L'applicazione di queste tecniche di regolarizzazione nella regressione lineare o logistica varia nei minimi dettagli.

• La regressione lasso (o regolarizzazione L1) è una tecnica di regolarizzazione che penalizza i coefficienti correlati di alto valore. Introduce un termine di regolarizzazione (chiamato anche termine di penalità) nella funzione di perdita della somma degli errori al quadrato (SSE) del modello. Questo termine di penalità è il valore assoluto della somma dei coefficienti. A sua volta controllato dall'iperparametro lambda (λ), riduce a zero i pesi delle funzioni selezionate. La regressione lasso rimuove quindi completamente le caratteristiche multicollineari dal modello.
  
  
• La regressione ridge (o regolarizzazione L2) è una tecnica di regolarizzazione che penalizza in modo simile i coefficienti ad alto valore introducendo un termine di penalità nella funzione di perdita dell'SSE. Tuttavia, differisce dalla regressione. Innanzitutto, il termine di penalità nella regressione ridge è la somma al quadrato dei coefficienti anziché il valore assoluto dei coefficienti. In secondo luogo, la regressione non mette in atto la selezione delle caratteristiche. Mentre il termine di penalità della regressione lasso può rimuovere le caratteristiche dal modello riducendo i valori dei coefficienti a zero, la regressione ridge riduce i pesi delle caratteristiche solo verso zero ma mai a zero.
  
  
• La regolarizzazione elastic net essenzialmente combina entrambe la regressioni, ridge e lasso, ma inserisce i termini di penalità L1 e L2 nella funzione di perdita dell'SSE.L2 e L1 ricavano il loro valore di penalità, rispettivamente, al quadrato o derivando il valore assoluto della somma dei pesi della funzione.Elastic net inserisce entrambi questi valori di penalità nell'equazione della funzione di costo (SSE).In questo modo, elastic net affronta la multicollinearità consentendo inoltre la selezione delle funzioni.⁶

In statistica, questi metodi prendono anche il nome di "contrazione dei coefficienti", in quanto riducono i valori dei coefficienti predittivi nel modello predittivo. In tutte e tre le tecniche, l'intensità del termine di penalità è controllata da lambda, che può essere calcolata utilizzando varie tecniche di convalida incrociata.

L'aumento dei dati è una tecnica di regolarizzazione che modifica i dati di addestramento del modello. Espande le dimensioni del set di addestramento creando campioni di dati artificiali derivati da dati di addestramento preesistenti. L'aggiunta di più campioni al set di addestramento, in particolare di istanze rare nei dati del mondo reale, espone un modello a una maggiore quantità e diversità dei dati da cui apprende. La ricerca sull'apprendimento automatico ha recentemente esplorato l'aumento dei dati per i classificatori, in particolare come mezzo per risolvere set di dati sbilanciati.⁷ L'aumento dei dati, però, differisce dai dati sintetici. I dati sintetici comportano la creazione di nuovi dati artificiali, mentre il primo produce duplicati modificati di dati preesistenti per diversificare e ampliare il set di dati.

L'arresto anticipato è forse la tecnica di regolarizzazione implementata con più facilità. In breve, limita il numero di iterazioni durante l'addestramento del modello. In questo caso, un modello passa continuamente attraverso i dati di addestramento, fermandosi quando non vi è alcun miglioramento (e forse anche un peggioramento) nell'accuratezza dell'addestramento e della convalida. L'obiettivo è addestrare un modello fino a quando non raggiunge l'errore di addestramento più basso possibile prima di un plateau o di un incremento dell'errore di convalida.⁸

Molti pacchetti Python di machine learning forniscono opzioni di comando di addestramento per l'arresto anticipato. In effetti, in alcuni, l'arresto anticipato è un'impostazione di addestramento predefinita.

Le reti neurali sono modelli complessi di apprendimento automatico che gestiscono numerose applicazioni e servizi di intelligenza artificiale. Le reti neurali sono composte da un livello di input, uno o più livelli nascosti e un livello di output, ogni livello a sua volta composto da diversi nodi.

Il dropout regolarizza le reti neurali eliminando casualmente i nodi, insieme alle loro connessioni di input e output, dalla rete durante l'addestramento (Fig. 3). Il dropout addestra diverse varianti di un'architettura di dimensioni fisse, con ogni variante con diversi nodi randomizzati esclusi dall'architettura. Per i test viene utilizzata una singola rete neurale senza dropout, impiegando un metodo di media approssimativa derivato dalle architetture di addestramento modificate in modo casuale. In questo modo, il dropout si avvicina all'addestramento di una grande quantità di reti neurali con una moltitudine di architetture diversificate.⁹

Il decadimento del peso è un'altra forma di regolarizzazione usata per le reti neurali profonde. Riduce la somma dei pesi al quadrato della rete attraverso un parametro di regolarizzazione, proprio come la regolarizzazione L2 nei modelli lineari.¹⁰ Ma se impiegata nelle reti neurali, questa riduzione ha un effetto simile alla regolarizzazione L1: il peso di alcuni neuroni diminuisce a zero.¹¹ Questo rimuove efficacemente i nodi dalla rete, riducendone la complessità attraverso la scarsità.¹²

Il decadimento del peso può sembrare superficialmente simile al dropout nelle reti neurali profonde, ma le due tecniche sono diverse. Una differenza principale è che, in caso di dropout, il valore di penalità cresce esponenzialmente nella profondità della rete nei casi, mentre il valore di penalità del decadimento del peso cresce linearmente. Alcuni ritengono che questo consenta al dropout di penalizzare in modo più significativo la complessità della rete rispetto al decadimento del peso.¹³

Numerosi articoli e tutorial online confondono la regolarizzazione L2 e il decadimento del peso. Anche la letteratura è incoerente: alcuni fanno distinzione tra L2 e decadimento del peso,¹⁴ alcuni li equiparano,¹⁵ mentre altri sono incoerenti nel descrivere la relazione tra loro.¹⁶ La risoluzione di tali incongruenze terminologiche è un'area trascurata ma necessaria per la letteratura futura.