Regolazione fine completa
La sintonizzazione fine completa utilizza le conoscenze pregresse del modello di base come punto di partenza per adattare il modello, sintonizzandolo con un set di dati più piccolo e specifico per l'attività. Il metodo di ottimizzazione completa modifica i pesi dei parametri di un modello i cui pesi sono stati impostati tramite un addestramento precedente per personalizzare il modello per un'attività.
Come funziona la regolazione fine
Utilizza Tuning Studio per eseguire un esperimento di messa a punto che utilizza l'apprendimento supervisionato per addestrare un modello di base su un'attività specifica. L'utente fornisce dati di addestramento che consistono in esempi di input dell'utente e di coppie di output del modello di fondazione previsto per il compito. Con i dati forniti dall'utente, il Tuning Studio esegue un esperimento di messa a punto.
L'esperimento di messa a punto gestisce una serie di cicli di addestramento in cui l'output generato dal modello di base viene confrontato con l'output dei dati di addestramento. In base alle differenze tra le due risposte, l'esperimento regola i valori di peso dei parametri del modello di fondazione sottostante. Dopo molte esecuzioni dei dati di addestramento, il modello trova i pesi dei parametri che generano un risultato più simile a quello desiderato. Il risultato dell'esperimento di messa a punto è un nuovo modello di base ottimizzato per la tua attività.
Flusso di lavoro completo per la messa a punto
Durante un esperimento di messa a punto completa, i pesi dei parametri del modello di messa a punto vengono ripetutamente regolati in modo che le sue previsioni possano migliorare nel tempo.
Il diagramma seguente illustra le fasi che si verificano durante l'esecuzione di un esperimento di messa a punto.
Le parti del flusso dell'esperimento che si possono configurare sono evidenziate con un'icona utente . Questi punti di decisione corrispondono ai parametri di regolazione dell'esperimento controllati dall'utente. Vedere Parametri per la messa a punto dei modelli di fondazione.
Il diagramma mostra le seguenti fasi dell'esperimento completo di messa a punto:
L'esperimento legge i dati di addestramento, li tokenizza e li converte in batch.
La dimensione dei batch è determinata dal parametro batch size.
Invia l'input dagli esempi del batch al modello di fondazione, che lo elabora e genera l'output.
Confronta l'output del modello con l'output dei dati di addestramento che corrispondono ai dati di addestramento inviati. Quindi, calcola il gradiente di perdita, che misura la differenza tra l'uscita prevista e l'uscita effettiva dai dati di addestramento.
L'esperimento regola i pesi dei parametri del modello di fondazione in base alla perdita calcolata del modello. Il momento in cui si verifica questa regolazione dipende dalla configurazione del parametro Fasi di accumulo.
Gli aggiustamenti vengono applicati ai pesi dei parametri del modello di fondazione. Il grado di modifica dei pesi è controllato dal parametro Velocità di apprendimento.
L'input dell'esempio successivo nei dati di addestramento viene inviato al modello di fondazione come input.
Il processo si ripete finché non vengono elaborati tutti gli esempi di tutti i lotti.
L'intero set di batch viene rielaborato per il numero di volte specificato nel parametro Numero di epoche.