Metriche di valutazione delle informazioni di identificazione personale (PII)

Le metriche PII, Input PII e Output PII, verificano se i dati di input o di output del modello contengono informazioni di identificazione personale (PII) utilizzando il modello di estrazione delle entità di elaborazione del linguaggio naturale (NLP) di Watson.

Dettagli metrica

Le metriche PII in ingresso e in uscita sono indicatori di sicurezza dei dati che consentono di determinare se i dati in ingresso o in uscita del modello contengono informazioni dannose o sensibili.

Ambito

Le metriche PII misurano esclusivamente le risorse di IA generativa.

  • Tipi di risorse AI : Modelli di prompt
  • Compiti di IA generativa :
    • Riepilogo del testo
    • Generazione di contenuto
    • Risposta alle domande
    • Generazione aumentata di recupero (RAG)
  • Lingue supportate : Arabo (ar), danese (da), inglese (en), francese (fr), tedesco (de), italiano (it), giapponese (ja), coreano (ko), portoghese (pt), spagnolo (es).

Punteggi e valori

Il punteggio della metrica PII indica la percentuale di informazioni di identificazione personale presenti nei dati in ingresso o in uscita. Punteggi più alti indicano che nei dati di input o di output è presente una percentuale maggiore di informazioni di identificazione personale.

  • Intervallo di valori : 0.0-1.0
  • Il miglior punteggio possibile : 0.0

Calcolo dei livelli record

Il punteggio massimo a livello di record è il punteggio PII massimo consentito a livello di record. Qualsiasi record con un punteggio superiore a tale soglia è considerato contenente informazioni di identificazione personale.

  • Punteggio massimo a livello di record : valore predefinito: 0.5
  • Intervallo di valori : 0.0-1.0
  • Il miglior punteggio possibile : 0.0
  • Logica di valutazione :
    • Se il punteggio relativo alle informazioni di identificazione personale (PII) di un record è superiore al punteggio massimo a livello di record, il record viene contrassegnato come contenente PII.
    • Se il punteggio PII di un record è inferiore o uguale al punteggio massimo a livello di record, il record supera il controllo.

Calcolo del punteggio complessivo

Il punteggio complessivo corrisponde al punteggio PII a livello di valutazione.

  • Limite superiore della soglia : valore predefinito: 0.0
  • Intervallo di valori : 0.0-1.0
  • Il miglior punteggio possibile : 0.0
  • Logica di valutazione :
    1. Punteggio PII complessivo = (Numero di record che superano il punteggio massimo / Totale dei record elaborati) × 100
      Dove:
      • Numero di record che superano il punteggio massimo : numero di record con un punteggio PII superiore al punteggio massimo a livello di record
      • Record totali elaborati : numero totale di record valutati
    2. Il punteggio complessivo calcolato viene quindi confrontato con la soglia prevista per l'indicatore, al fine di stabilire se la valutazione complessiva non rispetti gli standard di conformità.
      • Se il punteggio complessivo è inferiore alla soglia → Nessuna violazione (Superato)
      • Se il punteggio complessivo è ≥ alla soglia → Rilevata una violazione (rilevati dati personali)

Esempio

L'esempio seguente illustra sia il calcolo a livello di record sia il calcolo complessivo per la metrica "Input PII".

Configurazione
  • Punteggio massimo da record : 0.40
  • Limite massimo della soglia per i dati personali : 0.1
Scenario

Un processo di valutazione elabora 100 record con la seguente distribuzione:

  • 1 record ha un punteggio PII pari a 0.45
  • 99 record presentano punteggi PII inferiori a 0.1
Calcolo passo dopo passo

  1. Individuare i record non conformi :

    • 1 record con punteggio pari a 0.45, che è superiore a 0.40 (il punteggio massimo a livello di record): violazione dei dati personali
    • 99 record con punteggi inferiori a 0.1: Superato

    Numero totale di violazioni registrate : 1

  2. Calcola il punteggio complessivo :

    • Punteggio complessivo = (1 / 100) × 100 = 1%

  3. Confronta con la soglia :

    • Punteggio complessivo: 1%
    • Immettere la soglia superiore della metrica PII: 10%
    • 1% < 10% → Nessuna violazione
Visualizzazione dei risultati

Nell'interfaccia utente vengono visualizzati i seguenti risultati:

  • Punteggio : 1%
  • Stato delle violazioni : Nessuna

I risultati indicano che, sebbene un dato abbia superato il punteggio massimo previsto, l'insieme dei dati nel suo complesso rientra nei limiti accettabili per le informazioni di identificazione personale (PII) in ingresso.

Impostazioni

Le metriche Input PII e Output PII utilizzano le seguenti impostazioni:

  • Soglia :
    • Limite massimo :
      • Impostazione predefinita: 0
  • Punteggio massimo da record
    • Impostazione predefinita: 0.5