Tutorial sulla governance dell'IA: testare e convalidare il modello

Segui questo tutorial per valutare e monitorare il modello creato e distribuito nel tutorial Creazione e distribuzione di un modello con il caso d'uso della governance dell'IA. Il tuo obiettivo è utilizzare Watson OpenScale per configurare e valutare i monitor per un modello implementato che prevede quali richiedenti sono idonei per i mutui ipotecari. Vuoi assicurarti che il modello sia accurato e tratti tutti i candidati in modo equo.

La storia del tutorial è che Golden Bank vuole espandere la propria attività offrendo rinnovi di mutui a tasso agevolato per le richieste online.Le richieste online ampliano la portata della banca in termini di clienti e riducono i costi di elaborazione delle richieste. In qualità di data scientist presso Golden Bank, devi creare un modello di approvazione dei mutui che eviti rischi imprevisti e tratti tutti i richiedenti in modo equo. Eseguirai un notebook Jupyter per configurare i monitor per un modello di machine learning, in modo da poterli implementare in modo produttivo con la certezza che funzionino in modo efficace e come previsto. Questo compito viene svolto attraverso Cloud Pak for Data servizi che, insieme, garantiscono la fiducia nei dati, nei modelli e nei processi necessari per utilizzare l'intelligenza artificiale con certezza.

L'immagine animata seguente offre una rapida anteprima di ciò che otterrai alla fine di questo tutorial. Clicca con il tasto destro sull'immagine e aprila in una nuova scheda per visualizzarla ingrandita.

Screenshot del tutorial

Anteprima del tutorial

In questo tutorial completerai le seguenti attività:

Guarda il video Guarda questo video per vedere in anteprima i passaggi di questo tutorial. Potrebbero esserci lievi differenze nell'interfaccia utente mostrata nel video. Il video è pensato come complemento al tutorial scritto.

Questo video offre un metodo visivo per apprendere i concetti e le attività descritti in questa documentazione.


Prova il tutorial

Espandi ogni sezione per completare l'attività.


Suggerimenti per completare questo tutorial
Ecco alcuni consigli per completare con successo questo tutorial.

Configura le finestre del browser

Per un'esperienza ottimale durante lo svolgimento di questo tutorial, apri il tuo account in una finestra del browser e mantieni aperta questa pagina del tutorial in un'altra finestra del browser, in modo da poter passare facilmente da una finestra all'altra. Considera la possibilità di affiancare le due finestre del browser per facilitare la lettura.

Tutorial e interfaccia utente affiancati

Suggerimento: se durante il completamento di questo tutorial nell'interfaccia utente viene visualizzata una visita guidata, fare clic su Forse più tardi.

Configurare i prerequisiti

Completa il tutorial Creazione e distribuzione di un modello

Completa il tutorial Creazione e distribuzione di un modello per creare, promuovere e distribuire il modello di machine learning utilizzato in questo tutorial.

Attività 1: Avviare il notebook per configurare i monitor

Eseguire il secondo notebook incluso nel progetto di esempio per:

  • Recupera il modello e le distribuzioni.
  • Configurare Watson OpenScale.
  • Crea il fornitore di servizi e l'abbonamento per il tuo servizio di apprendimento automatico.
  • Configurare il monitor di qualità.
  • Configurare il monitoraggio dell'equità.
  • Configurare l'esplicabilità.

Segui questi passaggi per eseguire il notebook incluso nel progetto di esempio. Questo notebook configura i monitor per il modello, che possono essere configurati anche tramite l'interfaccia utente. Tuttavia, è più veloce e meno soggetto a errori configurarli con un notebook. Prenditi un po' di tempo per leggere i commenti nel notebook, che spiegano il codice in ogni cella.

  1. Dal menu di navigazione Menu di navigazione, seleziona Progetti > Tutti i progetti.

  2. Apri il progetto di governance dell'IA.

  3. Fai clic sulla scheda Risorse, quindi vai su Notebook.
    Barra di spostamento a sinistra

    Nota:

    Se vedi l'icona Attenzione Attenzione accanto al notebook, fai clic sul menu di overflow Menu di overflow accanto al notebook 2-monitor-wml-model-with-watson-openscale e seleziona Modifica ambiente. Selezionare un runtime supportato nel Python modello e fare clic su Modifica.

  4. Fare clic sul menu Overflow Menu di overflow del notebook 2-monitor-wml-model-with-watson-openscale e selezionare Modifica.

  5. Fare clic su Esegui > Esegui tutte le celle per eseguire tutte le celle nel blocco note. In alternativa, clicca sull'icona Esegui Esegui per eseguire il notebook cella per cella se desideri esplorare ogni cella e il suo output.

  6. La terza cella richiede il tuo input.

    1. Alla richiesta Inserisci nome host, digita il tuo Cloud Pak for Data nome host iniziando con https://, quindi premi Enter. Ad esempio, https://mycpdcluster.mycompany.com.

    2. Alla richiesta del nome utente, digitare il proprio Cloud Pak for Data nome utente e premere Enter.

    3. Alla richiesta della password, digitare la propria Cloud Pak for Data password e premere Enter.

  7. Il completamento del questionario richiede da 1 a 3 minuti. È possibile monitorare l'avanzamento cella per cella notando che l'asterisco "In [*]" cambia in un numero, ad esempio "In [1]".

  8. Se si verificano errori durante l'esecuzione del notebook, provare questi suggerimenti per la risoluzione dei problemi:

    • Fare clic su Kernel > Riavvia e cancella output per riavviare il kernel, quindi eseguire nuovamente il notebook.
    • Verificare di aver creato il caso d'uso del modello, lo spazio di distribuzione e il nome della distribuzione nel tutorial Creare e distribuire un modello copiando e incollando il nome dell'artefatto specificato esattamente senza spazi iniziali o finali.

Icona Checkpoint Controlla i tuoi progressi

L'immagine seguente mostra il notebook al termine dell'esecuzione. Il notebook ha configurato i monitor per il tuo modello, quindi ora puoi visualizzare l'implementazione in Watson OpenScale.

Notebook

Compito 2: Valutare il modello

Segui questi passaggi per scaricare i dati di holdout e utilizzarli per valutare il modello in Watson OpenScale :

  1. Clicca sul progetto di governance dell'IA nel percorso di navigazione.
    Percorso di navigazione

  2. Nella scheda Risorse, fai clic su Dati > Risorse dati.

  3. Fai clic sul menu Overflow Menu di overflow per la risorsa GoldenBank_HoldoutData dati.csv e seleziona Download. Per verificare che il modello funzioni come richiesto, è necessario un set di dati etichettati, che è stato escluso dall'addestramento del modello. Questo file CSV contiene i dati di validazione.

  4. Avvio Watson OpenScale.

    1. Dal menu di navigazione Menu di navigazione, seleziona Servizi > Istanze.

    2. Nella pagina Istanze, clicca sul menu Overflow Menu di overflow alla fine della riga relativa alla tua Watson OpenScale istanza e seleziona Apri.

  5. Nella dashboard Insights, clicca sul riquadro Distribuzione del modello di approvazione del mutuo.

  6. Dal menu Azioni, seleziona Valuta ora.

  7. Dall'elenco delle opzioni di importazione, seleziona "Da file " ( CSV ).

  8. Trascina il file di dati .csv Bank_HoldoutData Golden scaricato dal progetto nel pannello laterale.

  9. Clicca su Carica e valuta.

Icona Checkpoint Controlla i tuoi progressi

L'immagine seguente mostra il risultato della valutazione per il modello implementato in Watson OpenScale. Ora che hai valutato il modello, sei pronto per osservarne la qualità.

Valutazione

Compito 3: Osservare i monitor modello per verificarne la qualità

Il monitor Watson OpenScale di qualità genera una serie di metriche per valutare la qualità del modello. È possibile utilizzare queste metriche di qualità per determinare l'efficacia del modello nel prevedere i risultati. Una volta completata la valutazione che utilizza i dati di holdout, procedere come segue per osservare la qualità o l'accuratezza del modello:

  1. Nel pannello di navigazione a sinistra, clicca sull'icona del InsightInsight cruscotto cruscottodashboard Insights.

  2. Individua il riquadro Distribuzione del modello di approvazione del mutuo. Si noti che l'implementazione non presenta alcun problema e che entrambi i test di qualità e correttezza sono stati superati, il che significa che il modello ha soddisfatto i requisiti minimi richiesti.

  3. Clicca sul riquadro "Modello di approvazione del mutuo" per visualizzare maggiori dettagli.

  4. Nella sezione Qualità, clicca sull'icona ConfiguraConfigura.Qui è possibile vedere che la soglia di qualità configurata per questo monitor è pari al 70% e che la misura di qualità utilizzata è l'area sotto la curva ROC.

  5. Fare clic su Vai al riepilogo del modello per tornare alla schermata dei dettagli del modello.

  6. Nella sezione Qualità, clicca sull'icona Dettagli Dettagli per visualizzare i risultati dettagliati relativi alla qualità del modello.Qui puoi vedere una serie di calcoli metrici di qualità e una matrice di confusione che mostra le decisioni corrette del modello insieme ai falsi positivi e ai falsi negativi.L'area calcolata sotto la curva ROC è 0.9 o superiore, il che supera la 0.7 soglia di, quindi il modello soddisfa i requisiti di qualità.

  7. Fare clic su Distribuzione del modello di approvazione del mutuo nel percorso di navigazione per tornare alla schermata dei dettagli del modello.

Icona Checkpoint Controlla i tuoi progressi

L'immagine seguente mostra i dettagli relativi alla qualità in Watson OpenScale. Ora che hai osservato la qualità del modello, puoi osservarne l'equità.

Qualità

Compito 4: Osservare i monitor del modello per verificarne l'equità

Il monitor Watson OpenScale di equità genera una serie di metriche per valutare l'equità del modello. È possibile utilizzare le metriche di equità per determinare se il modello produce risultati distorti. Segui questi passaggi per verificare l'equità del modello:

  1. Nella sezione Equità, clicca sull'icona ConfiguraConfigura. Qui si vede che il modello viene rivisto per garantire che i candidati siano trattati in modo equo indipendentemente dal loro sesso.Le donne sono identificate come il gruppo monitorato per il quale viene misurata l'equità e la soglia di equità deve essere almeno dell'80%.Il monitor dell'equità utilizza il metodo dell'impatto disparato per determinare l'equità. L'impatto disparato confronta la percentuale di esiti favorevoli per un gruppo monitorato con la percentuale di esiti favorevoli per un gruppo di riferimento.

  2. Fare clic su Vai al riepilogo del modello per tornare alla schermata dei dettagli del modello.

  3. Nella sezione Fairness, clicca sull'icona Dettagli Dettagli per visualizzare i risultati dettagliati relativi alla fairness del modello. Qui puoi vedere la percentuale di candidati maschi e femmine che vengono approvati automaticamente, insieme a un punteggio di equità superiore al 100%, quindi le prestazioni del modello superano di gran lunga la soglia di equità richiesta dell'80%.

  4. Prendere nota dei set di dati identificati.Per garantire la massima accuratezza delle metriche di equità, Watson OpenScale utilizza la perturbazione per determinare i risultati, modificando solo gli attributi protetti e i relativi input del modello, mentre le altre caratteristiche rimangono invariate.La perturbazione modifica i valori della caratteristica dal gruppo di riferimento al gruppo monitorato, o viceversa. Queste ulteriori misure di sicurezza vengono utilizzate per calcolare l'equità quando si utilizza il set di dati "bilanciato", ma è anche possibile visualizzare i risultati di equità utilizzando solo i dati di payload o di addestramento del modello.Poiché il modello si comporta in modo corretto, non è necessario fornire ulteriori dettagli per questa metrica.

    Set di dati equi

  5. Fare clic sul percorso di navigazione Distribuzione del modello di approvazione del mutuo per tornare alla schermata dei dettagli del modello.

Icona Checkpoint Controlla i tuoi progressi

L'immagine seguente mostra i dettagli relativi all'equità in Watson OpenScale. Ora che hai osservato l'equità del modello, puoi osservarne la spiegabilità.

Correttezza

Compito 5: Osservare i monitor del modello per verificarne la spiegabilità

È anche importante capire come il modello è giunto alla sua decisione.Questa comprensione è necessaria sia per spiegare le decisioni alle persone coinvolte nell'approvazione del prestito, sia per garantire ai proprietari dei modelli che le decisioni sono valide. Per comprendere queste decisioni, segui questi passaggi per osservare la spiegabilità del modello:

  1. Nel pannello di navigazione a sinistra, clicca sull'icona Spiega una Spiega una transazionetransazione.

  2. Selezionare Distribuzione modello di approvazione mutuo per visualizzare un elenco delle transazioni.

  3. Per qualsiasi transazione, clicca su Spiega nella colonna Azioni. Qui trovate la spiegazione dettagliata di questa decisione.Vedrai gli input più importanti per il modello insieme alla loro importanza per il risultato finale.Le barre blu rappresentano gli input che hanno contribuito a sostenere la decisione del modello, mentre le barre rosse indicano gli input che avrebbero potuto portare a una decisione diversa.Ad esempio, un richiedente potrebbe avere un reddito sufficiente per essere approvato, ma la sua storia creditizia negativa e il suo elevato indebitamento inducono il modello a respingere la richiesta.Esamina questa spiegazione per comprendere appieno le basi su cui si fonda la decisione relativa al modello.

  4. (Facoltativo) Se desideri approfondire il modo in cui il modello ha preso la sua decisione, fai clic sulla scheda Ispeziona. Utilizza la funzione Ispeziona per analizzare la decisione e individuare le aree sensibili in cui piccole modifiche ad alcuni input comporterebbero una decisione diversa. Puoi verificare tu stesso la sensibilità sostituendo alcuni degli input effettivi con alternative per vedere se questi influenzano il risultato.

Icona Checkpoint Controlla i tuoi progressi

L'immagine seguente mostra la spiegabilità di una transazione in Watson OpenScale. Hai stabilito che il modello è accurato e tratta tutti i candidati in modo equo. Ora è possibile far avanzare il modello alla fase successiva del suo ciclo di vita.

Esplicabilità

Attività 6: Promuovere il modello alla pre-produzione e approvarlo

Seguire questi passaggi per modificare lo stato del caso d'uso del modello nell'inventario dei modelli e approvare il modello:

Attività 6a: Richiedere una revisione del modello

Prima di approvare il modello, segui questi passaggi per richiedere una revisione finale:

  1. Torna a Cloud Pak for Data e, dal Menu di navigazione menu di navigazione, seleziona Governance dell'IA > Casi d'uso dell'IA.

  2. Clicca sul caso d'uso del modello di approvazione del mutuo.

  3. Fare clic sulla scheda Ciclo di vita. Sotto l'approccio, è possibile vedere che il modello è ora nella fase di convalida.

  4. Torna alla scheda Panoramica e fai clic sul collegamento Apri nella Console di governance per aprire lo stesso caso d'uso in IBM OpenPages Model Risk Governance.

  5. In Associazioni > Modelli, clicca sul nome del Modello di previsione dell'approvazione del mutuo per visualizzare il modello.

  6. Crea una recensione del modello.

    1. Clicca sulla scheda Amministrazione.

    2. Scorri verso il basso fino alla sezione Attività di rischio e convalida.

    3. Clicca sulla scheda Recensioni dei modelli.

    4. Fare clic su Nuovo per creare una nuova revisione del modello.

    5. Per il tipo di revisione, selezionare Revisione pre-implementazione.

    6. Per l 'ambito, digitare:

      Pre-implementation review for mortgage approval model

    7. Fare clic su Salva.

Compito 6b: Convalidare il modello

Successivamente, il validatore del modello esegue il flusso di lavoro per la convalida del modello. Il validatore segue questo flusso di lavoro per completare diverse fasi della convalida del modello.

  1. Iniziare il lavoro sul campo di test e verifica del modello.
  2. Contrassegna il lavoro sul campo come completato.
  3. Completa la convalida.

Segui questi passaggi per convalidare il modello:

  1. Inizia il lavoro sul campo. Il lavoro sul campo consiste nella convalida del modello effettuata dal validatore.

    1. Clicca su Azione > Conferma inizio lavoro sul campo.

    2. Clicca su Continua.

    3. Per la conclusione, seleziona "Revisione superata ".

    4. Per i commenti, digitare:

      Review complete and ready for final approval

    5. Fare clic su Salva.

  2. Completa il lavoro sul campo. Dopo aver completato il lavoro sul campo, il validatore segue questi passaggi per contrassegnarlo come completato:

    1. Fai clic su Azione > Completa lavoro sul campo.

    2. Clicca su Continua.

  3. Completa la convalida. Una volta completato il lavoro sul campo, il validatore compila un rapporto sui risultati ottenuti e lo allega alla revisione del modello, quindi segue questi passaggi per completare la validazione:

    1. Opzionale: nella sezione File associati, nota l'opzione per caricare un report.

    2. Fai clic su Azione > Completa convalida.

    3. Clicca su Continua.

  4. Il revisore del modello segue questi passaggi per confermare che la convalida del modello sia completa:

    1. Passa al modello di previsione dell'approvazione del mutuo.

    2. Clicca sulla scheda Amministrazione.

    3. Clicca sull'icona Modifica Modifica accanto al campo Stato candidato.

    4. Seleziona Confermato e clicca su Salva.

    5. Fai clic sull'icona Modifica Modifica accanto al campo Stato modello.

    6. Seleziona Convalida completata e fai clic su Salva.

Compito 6c: Inviare il modello per l'approvazione

Segui questi passaggi per approvare il modello. In questa fase, il responsabile dell'approvazione del modello esamina il modello, compresa la valutazione dei rischi e la revisione del modello. Se tutti i risultati sono soddisfacenti, seguono questi passaggi per approvare il modello per l'implementazione in un ambiente di produzione:

  1. Fai clic sull'icona Modifica Modifica accanto al campo Stato modello.

  2. Seleziona Approvato per la distribuzione e fai clic su Salva.

  3. Nella scheda Attività *, fare clic sul collegamento nel campo Collegamento di terze parti per aprire il caso d'uso nell'inventario dei modelli.

  4. Nella scheda Panoramica, clicca sull'icona Modifica Modifica accanto al campo Stato.

  5. Seleziona la risorsa AI approvata e fai clic su Applica.

Icona Checkpoint Controlla i tuoi progressi

L'immagine seguente mostra il caso d'uso del modello approvato.

Caso d'uso del modello approvato

Compito 7: Condividere il modello

È possibile generare un report da una scheda tecnica o da un caso d'uso del modello in formato PDF, HTML e DOCX, in modo da poter condividere o stampare i dettagli relativi a un modello monitorato nell'inventario dei modelli.

  1. Nella scheda Panoramica del caso d'uso del modello, fare clic su Esporta report.

  2. Per le opzioni Formato, scegli un formato.

  3. Per il modello di report, selezionare un modello:

    • Rapporto di base sull'utilizzo del modello: contiene l'insieme dei dati visibili nelle schede Panoramica e Risorse.

    • Rapporto completo sul caso d'uso del modello: contiene tutti i dati del rapporto di base e dettagli sui modelli e sulle implementazioni nel caso d'uso del modello.

  4. Clicca su Esporta.

  5. Visualizza il rapporto in formato PDF.

Icona Checkpoint Controlla i tuoi progressi

L'immagine seguente mostra il rapporto completo relativo al caso d'uso del modello di approvazione dei mutui. Ora puoi condividere questo rapporto con i tuoi colleghi.

Rapporto sul caso d'uso del modello

In qualità di data scientist presso Golden Bank, hai creato un modello di approvazione dei mutui che evita rischi imprevisti e tratta tutti i richiedenti in modo equo. Hai eseguito un notebook Jupyter per configurare i monitor per il tuo modello di machine learning, che hai implementato in modo produttivo con la certezza che il modello funzionasse in modo efficace e come previsto.


Pulizia (facoltativa)

Se desideri ripetere i tutorial nel caso d'uso della governance dell'IA, elimina i seguenti artefatti.

Risorse utente Come eliminare
Implementazione del modello di approvazione dei mutui nello spazio di preproduzione della Golden Bank Elimina una distribuzione
Spazio di preproduzione della Golden Bank Elimina uno spazio di distribuzione
Caso d'uso del modello di approvazione dei mutui Elimina un caso d'uso del modello
Catalogo delle approvazioni dei mutui Elimina un catalogo
Progetto esemplificativo di governance dell'IA Eliminare un progetto

Passi successivi

Ulteriori informazioni