Cos'è la gestione del rischio dei modelli?
Data di pubblicazione: 15 agosto 2024
Autori: Rina Caballar, Cole Stryker
La gestione del rischio dei modelli è il processo di identificazione, valutazione e controllo del rischio dei modelli, che può verificarsi quando si usa un modello per prevedere e misurare informazioni quantitative che però il modello esegue in modo inadeguato. Una scarsa performance del modello può portare a conseguenze dannose, tra cui perdite finanziarie significative.
Un modello è qualsiasi approccio, metodo o sistema quantitativo che elabora i dati di input e produce stime quantitative.1 I modelli vengono generalmente applicati quando si prendono decisioni aziendali, si determinano opportunità e rischi, si elaborano strategie e si gestiscono le operazioni aziendali.
Gli istituti finanziari, ad esempio, si affidano a diversi modelli per la determinazione dei prezzi, la valutazione, l'individuazione e la prevenzione di frodi e riciclaggio di denaro, tra gli altri servizi offerti. L'uso dei modelli spesso comporta dei rischi, il che rende la gestione del rischio dei modelli (MRM) una considerazione cruciale per le aziende.
La crisi finanziaria globale del 2007-2008, per esempio, è stata in parte imputata a modelli di valore a rischio (VaR) difettosi, che stimavano le perdite future che gli investimenti avrebbero potuto subire.2 Nel 2012, la "London Whale", debacle commerciale di JPMorgan Chase, ha provocato 6 miliardi di dollari di perdite e quasi 1 miliardo di dollari di multe.3 Ciò è stato in parte dovuto a un errore del foglio di calcolo del modello, che sottostimava il rischio.4
Nel 2021, la società di mercato immobiliare Zillow ha preso una svalutazione del magazzino di 304 milioni di dollari e ha pianificato di tagliare un quarto della sua forza lavoro in seguito al fallimento della sua impresa di acquisto di immobili, in parte causato dalla scarsa capacità del suo modello di valutazione di prevedere accuratamente i prezzi delle case.5
Scopri come stabilire un framework di governance dell’AI e adottare soluzioni di gestione del rischio che promuovano un’AI affidabile, chiara e spiegabile.
Il rischio dei modelli può derivare da varie cause:
I dati di input di un modello potrebbero essere errati, incompleti, obsoleti o distorti. Se per un modello di mercato si utilizzano dati obsoleti, ad esempio, si potrebbero prevedere tendenze errate per quanto riguarda le prestazioni o i prezzi di mercato.
Inoltre, se non viene valutata la presenza di bias nei set di dati di addestramento per i modelli di intelligenza artificiale (IA), questi produrranno risultati che riflettono e perpetuano il bias intrinseco nei dati. Ad esempio, i sistemi di screening dei candidati per una posizione di lavoro potrebbero favorire quelli maschi o più giovani, mentre i software di previsione sanitaria potrebbero mostrare pregiudizi razziali nel dare priorità ai pazienti bisognosi di cure immediate.
Le ipotesi potrebbero essere errate o irrealistiche. Le variabili irrilevanti, errate, mancanti o omesse o le calibrazioni errate delle variabili possono influire sull'output del modello.
Ad esempio, un modello di prezzo che non tiene conto della volatilità del mercato produrrà stime imprecise, mentre i modelli di previsione della domanda di prodotti che non tengono conto dei comportamenti di acquisto stagionali o delle condizioni economiche attuali, come i ritardi nelle spedizioni o la diminuzione delle spese, possono portare a una cattiva gestione dei livelli di inventario.
Un modello di previsione dell'assistenza ai pazienti che attribuisce un peso maggiore a una variabile come la spesa sanitaria, invece, potrebbe far sì che il modello discrimini coloro che hanno redditi più bassi e quindi spendono meno per l'assistenza sanitaria, pur avendo maggiore necessità di accedervi.
La metodologia scelta può presentare errori intrinseci, quindi gli sviluppatori di modelli devono essere sempre informati sul modello e consapevoli dei suoi limiti. Ad esempio, i metodi statistici come la modellazione di regression possono presentare errori di campionamento e standard.
Ed è qui che entra in gioco anche la scelta del modello giusto. Ad esempio, nonostante l'AI generativa sia la tecnologia più recente, potrebbe non essere adatta alle previsioni finanziarie, in cui altri modelli più consolidati possono svolgere il loro compito con meno problemi e a costi inferiori.
Lo sviluppo di un modello incompleto o errato può portare a risultati imprecisi o errori. Lo stesso vale per gli errori di programmazione, di approssimazione o di calcolo e altri errori tecnici. Anche l'applicazione di scorciatoie o semplificazioni a causa dell'incertezza e della complessità del modello può influire sul risultato finale.
Ad esempio, le tempistiche ristrette per l'implementazione di un modello di analytics predittiva per le prestazioni delle vendite potrebbero portare all'utilizzo di feed di dati in tempo reale sui numeri delle vendite. Tuttavia, a causa di questa decisione, il modello potrebbe fallire frequentemente o risultare lento. In questo caso, passare a un'istantanea dei dati giornaliera o settimanale migliorerà la sua velocità e la stabilità.
Test rigorosi aiutano a rilevare errori durante l'implementazione, come l'utilizzo accidentale di un formato di data diverso per un modello di valutazione dei sinistri assicurativi, l'uso di unità di misura differenti per un modello di diagnostica sanitaria o la modifica involontaria della valuta per un modello di determinazione dei prezzi.
Interpretare in modo errato i risultati di un modello può portare a prendere decisioni disinformate e a intraprendere una linea d'azione sbagliata. È qui che si rende necessaria un'analisi da parte di esperti in grado di valutare la solidità dei risultati di un modello. Anche la spiegabilità e la trasparenza sono fondamentali per determinare il modo in cui un modello è arrivato alle sue conclusioni.
I modelli potrebbero essere utilizzati in modo improprio o il modello errato potrebbe essere applicato a un determinato scenario. Inoltre, il design e le specifiche di un modello possono non essere adatti a un particolare business case.
Ad esempio, un modello che aiuta gli ospedali a effettuare il triage dei pazienti più velocemente in un particolare stato o regione potrebbe non essere adatto per uno stato o una regione limitrofi a causa della variazione demografica. Allo stesso modo, i modelli che identificano una patologia polmonare nei bambini dalle radiografie toraciche potrebbero non essere in grado di rilevare la stessa condizione negli adulti.
Se non gestito, il rischio dei modelli può essere devastante per le finanze, le operazioni e la reputazione di un'organizzazione. Una gestione efficace del rischio dei modelli richiede un framework che consideri il rischio in ogni fase del ciclo di vita di un modello.
La gestione del rischio dei modelli implica anche il rispetto delle linee guida normative. Negli Stati Uniti, ad esempio, la Federal Reserve e l'Office of the Comptroller of the Currency (OCC) hanno rilasciato una guida di vigilanza sulla gestione del rischio dei modelli (link esterno a ibm.com), che funge da punto di riferimento per un framework MRM.
Ecco sei passi comuni da intraprendere per creare un'efficace struttura di gestione del rischio modello:
1. Identificazione del rischio dei modelli
L'identificazione del rischio è il primo passo nella gestione del rischio dei modelli. Ciò comporta l'esecuzione di un inventario dei modelli e la definizione dei rischi associati a ciascuno di essi.
2. Valutazione del rischio dei modelli
Il passaggio successivo consiste nel misurare e valutare il rischio dei modelli. Le aziende possono elaborare un sistema di valutazione che classifica i rischi dei modelli in base alla priorità, alla probabilità di accadimento e alla gravità dei loro effetti, tra le altre metriche.
Oltre alla misurazione del rischio del singolo modello, le aziende possono considerare anche il rischio aggregato dei modelli, ovvero i rischi posti dalle dipendenze e dalle interazioni tra diversi tipi di modelli. Ad esempio, i risultati di un modello di diagnostica sanitaria potrebbero confluire in un modello di previsione dell'assistenza ai pazienti. Se il modello diagnostico contiene dei bias, questi potrebbero essere trasferiti al modello di previsione, influenzando chi può ricevere cure urgenti.
3. Modellare la mitigazione del rischio
Per attenuare il rischio è necessario affrontarne le fonti e le cause. Ecco alcune strategie di attenuazione dei rischi che possono essere integrate in un framework di gestione del rischio di modello:
Audit e recensioni: le aziende possono condurre audit interni dei propri modelli o impiegare esperti terzi per effettuare revisioni indipendenti.
Standard: la creazione di standard per il processo di modellazione aiuta a minimizzare i rischi. È possibile creare standard per la raccolta dei dati, il processo di progettazione e sviluppo, i test, la documentazione e l'uso del modello.
Non tutti i rischi possono essere mitigati, quindi le imprese possono comunque essere parzialmente esposte a un margine di rischio. Pertanto, potrebbero trovare utile definire la propria propensione al rischio. Si tratta del livello di rischio che un'azienda è disposta e preparata a tollerare e che può assumersi quando utilizza i modelli.
4. Convalida dei modelli
Il processo di convalida è la sfida efficace di un modello per verificarne la qualità e i risultati. La convalida dei modelli viene eseguita dopo l'implementazione e prima del rilascio agli utenti, e comprende approcci sia quantitativi che qualitativi.
La convalida quantitativa dei modelli include le seguenti strategie:
Il backtesting, una forma di analisi dei risultati che utilizza dati storici del mondo reale per testare un modello, valutandone così l'accuratezza e l'efficacia.
I modelli challenger, modelli alternativi sviluppati per sfidare un modello "campione". Sia il modello campione che quello challenger utilizzano gli stessi dati, e i loro risultati vengono confrontati per rivelare eventuali rischi potenziali o nascosti.
L'analisi della sensibilità esamina come la modifica di una variabile specifica in determinate condizioni influisca sulle altre variabili.
Gli stress test applicano simulazioni basate su scenari speculativi o teorici per vedere come risponde un modello.
La convalida qualitativa del modello considera invece fattori come l'idoneità di un modello per il suo scopo e se un modello è conforme agli standard o alle normative.
5. Monitoraggio del modello
Il monitoraggio dei modelli esamina continuamente i modelli per verificare se funzionano ancora come previsto e continuano a offrire le stesse prestazioni. Individua eventuali rischi aggiuntivi che potrebbero sorgere o aggiornamenti necessari a seguito di modifiche ai dati, ai processi e alle normative.
Solitamente, la convalida del modello fa parte del processo di monitoraggio continuo. In questa fase, i rapporti di monitoraggio e convalida vengono prodotti e rivisti dalle parti interessate per raccomandare le azioni necessarie.
6. Governance dei modelli
La governance dei modelli offre la supervisione dell'intero processo di modellazione e stabilisce un sistema di proprietà e controllo attraverso politiche e procedure. Una solida governance del rischio dei modelli richiede un team variegato di decisori e stakeholder, dal consiglio di amministrazione all'alta dirigenza, dai proprietari agli sviluppatori di modelli, fino agli utenti.
Molti dei modelli odierni utilizzano l'AI e l'apprendimento automatico in qualche modo, in particolare durante la generazione e il test dei modelli.
Ad esempio, l'AI è comunemente applicata nel settore finanziario per modellare il rischio di credito, il rischio di mercato e il rischio operativo. La tecnologia può aiutare a valutare il rischio di credito e di prestito, a creare modelli di mercato e a rilevare frodi finanziarie e riciclaggio di denaro.
L'AI e il machine learning possono essere applicati anche alla gestione del rischio dei modelli, in particolare durante la loro convalida (come lo stress test dei modelli di mercato) e il monitoraggi in tempo reale. Di seguito sono riportati alcuni algoritmi e metodi di machine learning comunemente utilizzati nella gestione del rischio dei modelli:
Il clustering può essere implementato per l'analisi di sensibilità per rilevare anomalie che potrebbero indicare un rischio quando le variabili vengono modificate o quando si simulano scenari specifici.
Gli alberi decisionali possono essere combinati con le reti neurali per monitorare i modelli di trading, ad esempio avvisando i trader delle modifiche ai modelli sottostanti durante la loro attività.
Sia il deep learning che l'apprendimento per rinforzo possono essere utilizzati per monitorare i modelli in tempo reale, rilevare i problemi e raccomandare automaticamente le risoluzioni.
Le reti neurali possono agevolare gli stress test, aiutando le banche a modellare la propria liquidità in condizioni economiche difficili, come una recessione.
Il software di gestione del rischio dei modelli può aiutare le organizzazioni a gestire il rischio dei modelli in modo più efficace. Fornisce infatti funzionalità avanzate, come l'inventario dei modelli e il monitoraggio e la mappatura di metriche, modelli e politiche in base a molteplici requisiti normativi. Altri strumenti di gestione del rischio dei modelli abilitano anche la gestione con AI e machine learning, con funzionalità che includono l'automazione del monitoraggio e della convalida dei modelli.
Soluzioni correlate
Mostra una solida governance di modelli, reporting e conformità con il modulo IBM OpenPages Model Risk Governance.
Scopri di più su questo toolkit per gestire la governance dei modelli di AI generativa e di machine learning su una singola piattaforma integrata.
Accelera la convalida dei modelli AI e monitora e gestisci i modelli in IBM Watson Studio.
Gestisci il rischio legato ai mutamenti delle condizioni di mercato, all'evoluzione delle normative o agli ostacoli alle operazioni aumentando al tempo stesso efficacia ed efficienza.
Risorse
La gestione del rischio di terze parti (TPRM) identifica, valuta e attenua i rischi associati alle attività di outsourcing a fornitori o provider di servizi di terze parti.
Scopri in che modo le piattaforme di governance, rischio e conformità (GRC) generano valore sostenibile nella gestione del rischio.
Scopri la sinergia fondamentale tra governance, rischio e conformità nelle moderne operazioni aziendali.
Note a piè di pagina
Tutti i link sono esterni a ibm.com
1 “SR 11-7: Guidance on Model Risk Management”, Federal Reserve, 4 aprile 2011.
2 “Structural causes of the global financial crisis: a critical assessment of the ‘new financial architecture’”, Cambridge Journal of Economics, 1 luglio 2009.
3 “JPMorgan fined USD 920 million in 'London Whale' trading loss”, CNN, 19 settembre 2013.
4 “Model risk – daring to open up the black box”, British Actuarial Journal, dicembre 2015.
5 “Zillow’s home-buying debacle shows how hard it is to use AI to value real estate”, CNN, 9 novembre 2021.