Che cos'è la messa a punto degli iperparametri?

La velocità di apprendimento imposta la velocità con cui un modello regola i propri parametri in ogni iterazione. Questi aggiustamenti sono noti come passaggi. Un tasso di apprendimento elevato significa che un modello si adatterà più rapidamente, ma con il rischio di prestazioni instabili e di deriva dei dati. D'altro canto, sebbene un tasso di apprendimento basso richieda più tempo e più dati, è anche più probabile che i data scientist individuino la perdita minima di un modello. L'ottimizzazione della discesa del gradiente è un esempio di metrica di formazione che richiede un tasso di apprendimento fisso.

Il decadimento della velocità di apprendimento imposta la velocità con cui la velocità di apprendimento di una rete diminuisce nel tempo, consentendo al modello di apprendere più rapidamente. La progressione dell'addestramento di un algoritmo dalla sua attivazione iniziale alle prestazioni ideali è nota come convergenza.

La dimensione del batch imposta la quantità di campioni che il modello calcolerà prima di aggiornare i parametri. Ha un effetto importante sia sull'efficienza di calcolo che sulla precisione del processo di formazione. Di per sé, una dimensione del batch più elevata indebolisce le prestazioni complessive, ma la regolazione del tasso di apprendimento, insieme alla dimensione del batch, può mitigare questa perdita.

Il numero di livelli nascosti in una rete neurale ne determina la profondità, il che influisce sulla sua complessità e sulla capacità di apprendimento. Un numero minore di livelli rende il modello più semplice e veloce, ma più livelli, come nelle reti di deep learning, portano a una migliore classificazione dei dati di input. In questo caso l'identificazione del valore ottimale dell'iperparametro tra tutte le combinazioni possibili si basa su un compromesso tra velocità e precisione.

Il numero di nodi o neuroni per livello determina la larghezza del modello. Maggiore è il numero di nodi o neuroni per livello, maggiore sarà l'ampiezza del modello e maggiore sarà la capacità di rappresentare relazioni complesse tra punti dati.

Il momentum è il grado in cui i modelli aggiornano i parametri nella stessa direzione delle iterazioni precedenti, anziché invertire la rotta. La maggior parte dei data scientist inizia con un valore di iperparametro più basso per il momentum e poi si regola crescendo secondo necessità per mantenere il modello sulla giusta via per l'addestramento dei dati. 

Epochs è un iperparametro che imposta la quantità di volte in cui un modello viene esposto all'intero set di dati di addestramento durante il processo di addestramento. Una maggiore esposizione può portare a un miglioramento delle prestazioni ma comporta il rischio di overfitting. 

La funzione di attivazione introduce la non linearità in un modello, consentendogli di gestire set di dati più complessi. I modelli non lineari possono generalizzare e adattarsi a una maggiore varietà di dati. 

C è il rapporto tra il margine di errore accettabile e il numero di errori risultanti quando un modello agisce come classificatore di dati. Un valore C più basso stabilisce un limite decisionale uniforme con una maggiore tolleranza all'errore e prestazioni più generiche, ma con il rischio di una classificazione errata dei dati. Un valore C elevato, invece, crea un chiaro limite decisionale per risultati di allenamento più accurati, ma con un potenziale overfitting. 

Il kernel è una funzione che stabilisce la natura delle relazioni tra i punti dati e li separa in gruppi di conseguenza. A seconda del kernel utilizzato, i punti dati mostreranno relazioni diverse che possono influenzare fortemente le prestazioni complessive del modello SVM. Lineare, polinomiale, funzione di base radiale (RBF) e sigmoide sono alcuni dei kernel più comunemente utilizzati. I kernel lineari sono più semplici e migliori per i dati facilmente separabili, mentre i kernel non lineari sono migliori per i set di dati più complessi. 

Gamma imposta il livello di influenza dei vettori di supporto sul limite decisionale. I vettori di supporto sono i punti di dati più vicini all'iperpiano, cioè il confine tra i gruppi di dati. Valori più alti esercitano una forte influenza dai vettori vicini, mentre valori più bassi limitano l'influenza da quelli più distanti. L'impostazione di un valore gamma troppo alto può causare un overfitting, mentre un valore troppo basso può confondere i confini decisionali. 

learning_rate è simile all'iperparametro del tasso di apprendimento utilizzato dalle reti neurali. Questa funzione controlla il livello di correzione effettuato durante ogni ciclo di allenamento. I valori potenziali vanno da 0 a 1, con 0,3 come valore predefinito. 

n_estimators imposta il numero di alberi nel modello. Questo iperparametro è noto come num_boost_rounds nell'XGBoost originale, mentre la popolare API Python scikit-learn ha introdotto il nome n_estimators. 

max_depth determina l'architettura degli alberi decisionali, impostando il numero massimo di nodi dall'albero a ciascuna foglia, il classificatore finale. Più nodi portano a una classificazione dei dati più precisa, mentre gli alberi più piccoli evitano facilmente l'overfitting. 

min_child_weight è il peso minimo, l'importanza di una determinata classe per l'intero processo di addestramento del modello, necessario per generare un nuovo albero. Pesi minimi inferiori creano più alberi ma con potenziale sovradimensionamento, mentre pesi più grandi riducono la complessità richiedendo più dati per dividere gli alberi. 

subsample imposta la percentuale di campioni di dati utilizzati durante ogni ciclo di addestramento, mentre colsample_bytree fissa la percentuale di funzioni da utilizzare nella costruzione dell'albero. 

La ricerca a griglia è un metodo di regolazione degli iperparametri completo ed esaustivo. Dopo che i data scientist hanno stabilito ogni valore possibile per ogni iperparametro, una ricerca a griglia costruisce modelli per ogni possibile configurazione di tali valori di iperparametro discreti. Questi modelli vengono valutati ciascuno in base alle prestazioni e confrontati tra loro, e quello migliore viene selezionato per l'addestramento. 

In questo modo, la ricerca a griglia è simile all'applicazione della brute force su un PIN effettuata inserendo ogni potenziale combinazione di numeri fino a scoprire la sequenza corretta. Sebbene consenta ai data scientist di considerare tutte le possibili configurazioni nello spazio degli iperparametri, la ricerca a griglia è poco efficiente e richiede molte risorse dal punto di vista computazionale.

La ricerca randomizzata differisce dalla ricerca a griglia in quanto i data scientist forniscono distribuzioni statistiche anziché valori discreti per ogni iperparametro. Una ricerca randomizzata estrae campioni da ogni intervallo e costruisce modelli per ogni combinazione. Nel corso di diverse iterazioni, i modelli vengono pesati l'uno contro l'altro fino a trovare quello migliore. 

La ricerca randomizzata è preferibile rispetto a quella a griglia in situazioni in cui lo spazio di ricerca degli iperparametri contiene distribuzioni di grandi dimensioni, dove la seconda richiederebbe semplicemente uno sforzo eccessivo per testare ogni valore discreto. Gli algoritmi di ricerca randomizzata possono restituire risultati paragonabili alla ricerca a griglia ma in molto meno tempo, anche se non è garantito che scopra la configurazione ottimale degli iperparametri.

L'ottimizzazione bayesiana è un algoritmo di ottimizzazione sequenziale basata su modelli (SMBO) in cui ogni iterazione di test migliora il metodo di campionamento della successiva. Le ricerche a griglia e quelle randomizzate possono essere eseguite contemporaneamente, ma ogni test viene eseguito in modo isolato: i data scientist non possono utilizzare ciò che hanno appreso per informare i test successivi. 

Sulla base di test precedenti, l'ottimizzazione bayesiana seleziona in modo probabilistico un nuovo set di valori di iperparametri che probabilmente fornirà risultati migliori. Il modello probabilistico è indicato come surrogato della funzione obiettivo originale. Poiché i modelli surrogati sono efficienti dal punto di vista del calcolo, vengono aggiornati e migliorati ogni volta che viene eseguita la funzione obiettivo. 

Più il surrogato riesce a prevedere gli iperparametri ottimali, più veloce diventa il processo, con una richiesta di meno test funzionali oggettivi. Ciò rende l'ottimizzazione bayesiana molto più efficiente rispetto agli altri metodi, poiché evita di perdere tempo in combinazioni inadatte di valori di iperparametri. 

Il processo di determinazione statistica della relazione tra un risultato, in questo caso le migliori prestazioni del modello, e un insieme di variabili è noto come analisi di regressione. I processi gaussiani sono uno degli SMBO più popolari tra i data scientist.

Introdotto nel 2016, Hyperband (link esterno a ibm.com) è progettato per migliorare la ricerca casuale troncando l'uso di configurazioni di formazione che non riescono a fornire risultati solidi e allocando più risorse alle configurazioni positive. 

Questo "arresto anticipato" si ottiene attraverso l'halving successivo, un processo che riduce il pool di configurazioni rimuovendo la metà con le prestazioni peggiori dopo ogni ciclo di addestramento. Il 50% igliore di ogni batch viene trasferito all'iterazione successiva fino a quando rimane una configurazione iperparametrica ottimale.