Metrica della differenza di probabilità assoluta media
La metrica della differenza di probabilità assoluta media confronta la media delle differenze assolute nei tassi di falsi positivi e di veri positivi tra i gruppi monitorati e quelli di riferimento.
Dettagli metrica
La differenza media delle probabilità assolute è una metrica di valutazione dell'equità che può aiutare a determinare se il vostro asset produce risultati distorti.
Ambito
La metrica della differenza di probabilità assoluta media valuta le risorse di IA generativa e i modelli di apprendimento automatico.
- Tipi di risorse AI :
- Modelli di prompt
- Modelli di apprendimento automatico
- Compiti di IA generativa : Classificazione del testo
- Tipo di problema di apprendimento automatico : Classificazione binaria
Punteggi e valori
Il punteggio della metrica della differenza media assoluta di probabilità indica la differenza media assoluta nei tassi di falsi positivi e falsi negativi tra i gruppi protetti. I punteggi più bassi indicano una maggiore equità tra i gruppi.
- Intervallo di valori : 0.0-1.0
- Il miglior punteggio possibile : 0.0
- Rapporti :
- A 0: nessuna disparità tra i gruppi
- Over 0: aumento della disparità tra i gruppi
Calcolo matematico
Per calcolare il tasso di falsi positivi (FPR) si utilizza la seguente formula:
Per calcolare il tasso di veri positivi (TPR) si utilizza la seguente formula:
Per il calcolo della differenza media delle probabilità assolute si utilizza la seguente formula:
