Cos'è la governance dei modelli?

La governance dei modelli è nata nel settore finanziario per gestire i rischi dei modelli finanziari complessi. Con l'aumento dell'importanza delle tecnologie di intelligenza artificiale (AI) e machine learning (ML), l'importanza della governance dei modelli si è rapidamente ampliata. Secondo McKinsey, il 78% delle organizzazioni dichiara di utilizzare l'AI almeno in una funzione aziendale, evidenziando quanto i modelli AI e ML siano ormai integrati nel processo decisionale operativo e strategico. 

Lo scopo della governance dei modelli è quello di garantire che i modelli, siano essi modelli finanziari tradizionali o modelli di machine learning, funzionino come previsto, rimangano conformi e forniscano risultati affidabili nel tempo. Un solido framework di governance dei modelli supporta la trasparenza, la responsabilità e la ripetibilità durante l'intero ciclo di vita del modello.

Nei settori regolamentati come quello bancario e assicurativo, la governance dei modelli è un requisito di conformità. Negli Stati Uniti, l'Office of the Comptroller of the Currency (OCC) delinea pratiche di governance specifiche per la gestione del rischio dei modelli negli istituti finanziari. Anche se la guida dell'OCC non ha valore di legge, viene utilizzata nei controlli normativi. La mancata osservanza può comportare multe o altre sanzioni.

Mentre il processo decisionale in tempo reale diventa la norma e i requisiti normativi si evolvono, la governance efficace dei modelli sta emergendo quale funzionalità critica per le organizzazioni che desiderano utilizzare l'AI in modo responsabile.

Le organizzazioni utilizzano sempre più modelli complessi per supportare processi decisionali ad alto rischio. Sia che si tratti del credit scoring nel settore bancario o nella valutazione del rischio per i pazienti nel settore sanitario, questi modelli sono efficaci solo quanto i framework che li governano. 

La governance dei modelli offre una struttura per la supervisione dello sviluppo, dell'implementazione e delle prestazioni continue dei modelli. Stabilendo controlli e responsabilità chiari in ogni fase del ciclo di vita del modello, le organizzazioni possono garantire che i loro modelli rimangano affidabili e allineati agli obiettivi aziendali. Ciò rende la governance dei modelli una componente fondamentale della gestione del rischio, della conformità normativa e dell'integrità operativa. 

La maggior parte dei modelli, in particolare i modelli ML, sono ormai integrati nei processi core business. Senza una governance adeguata, questi modelli possono andare alla deriva nel tempo, portando a un peggioramento delle prestazioni del modello, a esiti distorti o a decisioni non in linea con le attuali condizioni di mercato o le tendenze demografiche. In settori come la finanza o la sanità, questi errori possono avere conseguenze significative nel mondo reale. 

La governance dei modelli fornisce un meccanismo per valutare e mitigare questi rischi prima che influiscano sui risultati aziendali. Oltre a questo, le organizzazioni possono utilizzare la governance dei modelli per:

• Migliorare la conformità normativa allineandosi ai requisiti dell'OCC e di altri enti normativi
• Aumentare la fiducia tra gli stakeholder garantendo la spiegabilità, la coerenza e l'affidabilità degli output
• Ottimizzare l'efficienza operativa attraverso l'automazione e l'integrazione dei workflow di governance

Via via che l'adozione dell'AI accelera, la governance dei modelli funge anche da base per un'AI etica. Offre un modo per incorporare equità, responsabilità e trasparenza nella progettazione e nell'implementazione dei modelli in vari casi d'uso. 

Un framework di governance dei modelli dona struttura a quello che spesso è un vasto ecosistema di algoritmi, set di dati, stakeholder e workflow. Sebbene i framework siano diversi a seconda del settore, in genere includono i seguenti componenti principali:

Una governance solida inizia alla fonte, ovvero dallo sviluppo del modello. Questo componente include la definizione degli obiettivi, la selezione dei dati di addestramento, la convalida delle fonti di dati e la garanzia che gli input del modello siano allineati al caso d'uso previsto. In questo caso la qualità dei dati è essenziale, poiché input imperfetti o distorti possono dare origine a modelli di bassa qualità.

La documentazione del modello dovrebbe catturare la logica alla base della metodologia scelta, le ipotesi formulate, il set di dati utilizzato e gli output previsti del modello. Questo blueprint funge da modello per la trasparenza e aiuta a semplificare gli aggiornamenti, gli audit e la convalida dei modelli futuri.

Un inventario centralizzato dei modelli consente alle organizzazioni di tenere traccia di ogni modello in uso, insieme allo scopo, alla proprietà, alla metodologia e allo stato nel ciclo di vita. Questo include modelli finanziari, algoritmi di punteggio creditizio, modelli ML utilizzati per il rilevamento delle frodi e persino modelli incorporati nei fogli di calcolo. 

Un inventario di modelli ben curato supporta anche una migliore valutazione del rischio e facilita il processo decisionale in tempo reale sull'utilizzo dei modelli.

La convalida è un aspetto fondamentale del modello di gestione del rischio. I team di convalida indipendenti testano il modello sulla base di dati storici (back-testing), valutano la sensibilità a fattori dinamici come i tassi di interesse o i cambiamenti demografici e verificano che gli output siano in linea con le aspettative aziendali.

Per i modelli ML, la convalida si estende al controllo della distorsione algoritmica, della robustezza e dell'overfitting, ovvero quando un algoritmo si adatta troppo da vicino (o addirittura esattamente) ai suoi dati di addestramento e non può trarre conclusioni accurate da altri dati. L'obiettivo è garantire che i risultati del modello rimangano stabili e interpretabili, anche quando gli input cambiano. 

La governance non si ferma una volta implementato un modello. Il monitoraggio continuo del modello è necessario per rilevare il degrado delle prestazioni, la deriva negli input del modello o le variazioni nella qualità dei dati. Gli strumenti di observability possono aiutare a tenere traccia di metriche come precisione e richiamo, rilevando anomalie che potrebbero richiedere una riqualificazione o una ricalibrazione. 

Nei moderni workflow delle operazioni di machine learning (MLOps), le organizzazioni possono automatizzare parti del processo di implementazione, incorporando i controlli di governance direttamente nella pipeline di integrazione continua e distribuzione continua (CI/CD ). Ciò consente un'iterazione più rapida senza compromettere la supervisione.

La governance dei modelli è uno sport di squadra in cui data scientist, risk officer, dirigenti aziendali, team di conformità e revisori hanno tutti un ruolo chiave. Definire responsabilità e workflow chiari garantisce la responsabilità in ogni fase del ciclo di vita, dallo sviluppo alla convalida, fino al ritiro del modello. 

Una governance efficace implica anche la comunicazione. Sia che si tratti di dashboard, rapporti sulla governance o persino un podcast dedicato per team interfunzionali, le informazioni devono fluire in modo efficiente tra gli stakeholder.

I principi del modello di governance si applicano a una vasta gamma di settori, ognuno con i propri rischi, normative e priorità:

La governance dei modelli è applicata attraverso normative regionali e globali che ritengono le organizzazioni responsabili del modo in cui gestiscono i modelli durante il loro ciclo di vita. Tra le normative di rilievo:

La SR 11-7 stabilisce lo standard per la gestione del rischio dei modelli nel settore bancario, richiedendo agli istituti di mantenere un inventario completo dei modelli e di implementare pratiche di governance a livello aziendale. Inoltre, richiede che i modelli servano allo scopo previsto, rimangano aggiornati e abbiano una documentazione sufficientemente chiara per una comprensione indipendente.

La National Association of Insurance Commissioners (NAIC) ha introdotto norme modello sull'AI e sul processo decisionale, in particolare per quanto riguarda il credit scoring, i prezzi e l'equità demografica. Questi fattori stanno diventando sempre più critici per la governance della sottoscrizione assicurativa e dell'elaborazione dei sinistri.

L'Artificial Intelligence Act dell'Unione europea, noto anche come EU AI Act o AI Act, è una legge che disciplina lo sviluppo e/o l'uso dell'AI nell'UE. La legge adotta un approccio alla regolamentazione basato sul rischio, applicando regole diverse alle AI in base al rischio che rappresentano.

Ai sensi del Regolamento generale sulla protezione dei dati (GDPR), qualsiasi modello che elabori i dati personali dei cittadini dell'UE deve seguire principi come equità, trasparenza e responsabilità. Questo ha un impatto indiretto sulla governance dei modelli di ML, soprattutto in termini di spiegabilità e qualità dei dati. 

Sia l'Autorità svizzera di vigilanza sui mercati finanziari (FINMA) che la Prudential Regulation Authority (PRA) del Regno Unito hanno emesso linee guida sull'AI e sull'uso dei modelli nei servizi finanziari: la FINMA Guidance 08/2024 e il PRA Supervisory Statement SS1/23, rispettivamente.

Questi documenti affrontano temi quali la governance dei modelli, la spiegabilità dei modelli di ML e la documentazione dei modelli. Sebbene condividano delle somiglianze con la SR 11-7, ognuna pone un'enfasi unica su aspetti come i rischi specifici dell'AI e la resilienza operativa.​

L'Accordo di Basilea delinea i principi per l'aggregazione dei dati e per il reporting del rischio (BCB 239), che si collegano direttamente alle pratiche di governance dei modelli, come documentazione, spiegabilità e supervisione del rischio del modello. Le banche che operano a livello internazionale utilizzano spesso l'Accordo di Basilea come gold standard insieme allo SR 11-7.

Sebbene il valore del modello di governance sia chiaro, la sua implementazione su larga scala presenta diverse sfide:

• Volume e complessità dei modelli: via via che le organizzazioni adottano più strumenti di ML e AI, mantenere un inventario accurato dei modelli diventa difficile, soprattutto quando i modelli sono incorporati in fogli di calcolo o piattaforme di terze parti.
  
  
• Spiegabilità e fiducia: molti stakeholder, compresi i regolatori e i leader aziendali, richiedono modelli spiegabili. Il bilanciamento delle prestazioni con la spiegabilità rimane una tensione persistente nella governance dei modelli AI. 
  
  
• Integrazione con MLOps: i framework di governance devono adattarsi ai workflow in tempo reale e alle implementazioni DevOps-style, senza rallentare l'innovazione. 

Via via che AI e ML diventano sempre più integrati nei workflow, nuove forze plasmano il modo in cui le organizzazioni affrontano la governance dei modelli. Sebbene le pratiche fondamentali come la convalida, la documentazione dei modelli e il monitoraggio dei modelli rimangano essenziali, diverse tendenze emergenti stanno iniziando a ridefinire le aspettative.

Queste tendenze riflettono un cambiamento più ampio: la continua evoluzione del modello di governance da un approccio difensivo a una funzionalità strategica. Utilizzando pratiche di governance strutturate e interfunzionali, le organizzazioni possono rafforzare la fiducia nei loro modelli di machine learning accelerando al contempo l'innovazione.