Metrica di valutazione della deriva di uscita
La metrica di deriva dell'output misura la variazione nella distribuzione della confidenza del modello.
Dettagli metrica
L'output drift è una metrica di valutazione dell' v2 e di drift che valuta i cambiamenti nella distribuzione dei dati.
Ambito
La metrica di output drift valuta i modelli di apprendimento automatico e le risorse di IA generativa.
Tipi di risorse AI :
- Modelli di machine learning
- Modelli di prompt
Punteggi e valori
Il punteggio della metrica di deriva dell'output indica la quantità di cambiamento dell'output del modello dal momento in cui lo si addestra.
- Il miglior punteggio possibile : 0.0
- Rapporti :
- A 0: nessuna modifica nella potenza del modello
- Oltre 0: aumento del cambiamento nella produzione del modello
Processo di valutazione
Per i modelli di regressione, la deriva dell'output viene calcolata misurando la variazione nella distribuzione delle previsioni sui dati di addestramento e di carico utile. Per i modelli di classificazione, la deriva di output viene calcolata per ciascuna probabilità di classe misurando la variazione nella distribuzione delle probabilità di classe sui dati di addestramento e di carico utile. Per i modelli multi-classificazione, la deriva dell'output viene aggregata per ciascuna probabilità di classe misurando una media ponderata.
Calcolo matematico
Le seguenti formule sono utilizzate per calcolare la metrica di deriva dell'output:
La distanza di variazione totale misura la differenza massima tra le probabilità che due distribuzioni di probabilità, di base (B) e di produzione (P), assegnano alla stessa transazione, come mostrato nella seguente formula:
Se le due distribuzioni sono uguali, la distanza di variazione totale tra di esse diventa 0.
La seguente formula viene utilizzata per calcolare la distanza di variazione totale:
𝑥 è una serie di campioni equidistanti che coprono il dominio di
che vanno dal minimo combinato dei dati di riferimento e di produzione al massimo combinato dei dati di riferimento e di produzione.
è la differenza tra due campioni 𝑥 consecutivi.
è il valore della funzione densità per i dati di produzione a un campione 𝑥.
è il valore della funzione di densità per i dati di riferimento per un campione a 𝑥.
Il denominatore dell' 
e rappresenta l'area totale sotto i grafici della funzione di densità per i dati di produzione e di riferimento. Queste somme sono un'approssimazione delle integrazioni sullo spazio del dominio ed entrambi questi termini dovrebbero essere 1 e il totale dovrebbe essere 2.
Il coefficiente di sovrapposizione viene calcolato misurando l'area totale dell'intersezione tra due distribuzioni di probabilità. Per misurare la dissimilarità tra le distribuzioni, l'intersezione o l'area di sovrapposizione viene sottratta da 1 per calcolare la quantità di deriva. La formula seguente viene utilizzata per calcolare il coefficiente di sovrapposizione:
𝑥 è una serie di campioni equidistanti che coprono il dominio di
che vanno dal minimo combinato dei dati di riferimento e di produzione al massimo combinato dei dati di riferimento e di produzione.- è la differenza tra due campioni 𝑥 consecutivi.
- è il valore della funzione densità per i dati di produzione a un campione 𝑥.
- è il valore della funzione di densità per i dati di riferimento per un campione a 𝑥.