Metrica della differenza di probabilità media
La metrica della differenza media delle probabilità misura la differenza nei tassi di falsi positivi e falsi negativi tra i gruppi monitorati e di riferimento.
Dettagli metrica
La differenza media delle probabilità è una metrica di valutazione della correttezza che può aiutare a determinare se il vostro asset produce risultati distorti.
Ambito
La metrica della differenza di probabilità media valuta le risorse di IA generativa e i modelli di apprendimento automatico.
- Tipi di risorse AI :
- Modelli di prompt
- Modelli di apprendimento automatico
- Compiti di IA generativa : Classificazione del testo
- Tipo di problema di apprendimento automatico : Classificazione binaria
Punteggi e valori
Il punteggio medio della differenza di probabilità indica la differenza tra i tassi di falsi positivi e falsi negativi per i gruppi monitorati e di riferimento.
- Intervallo di valori : 0.0-1.0
- Il miglior punteggio possibile : 0.0
- Rapporti :
- A 0: entrambi i gruppi hanno le stesse probabilità
- Sotto 0: risultati distorti per il gruppo monitorato
- Over 0: Risultati distorti per il gruppo di riferimento
Calcolo matematico
Per calcolare il tasso di falsi positivi (FPR) si utilizza la seguente formula:
Per calcolare il tasso di veri positivi (TPR) si utilizza la seguente formula:
Per il calcolo della differenza di probabilità media si utilizza la seguente formula:
