Startseite
Think
Themen
Modellrisikomanagement
Veröffentlicht: 15. August 2024
Mitwirkende: Rina Caballar, Cole Stryker
Modellrisikomanagement bezeichnet den Prozess der Identifizierung, Bewertung und Kontrolle von Modellrisiken. Ein Modellrisiko tritt auf, wenn ein Modell zur Messung und Vorhersage quantitativer Informationen verwendet wird, das Modell jedoch keine ausreichende Leistung erbringt. Eine schlechte Modellleistung kann nachteilige Folgen haben, einschließlich erheblicher finanzieller Verluste.
Ein Modell ist ein quantitativer Ansatz, eine Methode oder ein System zur Verarbeitung von Daten und Erstellung quantitativer Schätzungen.1 Modelle kommen in der Regel zum Einsatz, wenn Geschäftsentscheidungen getroffen, Geschäftschancen und -risiken ermittelt, Geschäftsstrategien entwickelt und Geschäftsabläufe verwaltet werden.
Finanzinstitute setzen beispielsweise auf eine Reihe von Modellen zur Preisgestaltung, zur Bewertung, zur Aufdeckung und Verhinderung von Betrug und Geldwäsche sowie für andere Finanzdienstleistungen. Die Verwendung von Modellen ist oft mit Risiken verbunden, so dass Modellrisikomanagement (MRM) für Unternehmen von entscheidender Bedeutung ist.
Die globale Finanzkrise 2007 bis 2008 wurde beispielsweise zum Teil auf fehlerhafte Value-at-Risk-Modelle (VaR) zurückgeführt, die künftige Verluste abschätzten, die bei Investitionen entstehen könnten.2 Im Jahr 2012 führte das Handelsdebakel der JPMorgan Chase „London Whale“ zu Verlusten in Höhe von 6 Mrd. USD und zu Geldstrafen in Höhe von fast 1 Milliarde USD.3 Dies war teilweise auf einen Fehler in einer Tabellenkalkulation bei den Modellberechnungen zurückzuführen, durch den das Risiko unterschätzt wurde.4
Im Jahr 2021 nahm das Immobilienmarktplatzunternehmen Zillow eine Bestandsabschreibung von 304 Millionen US-Dollar vor und plante, ein Viertel seiner Belegschaft zu entlassen, nachdem sein Projekt zum Kauf von Eigenheimen gescheitert war, was sich teilweise darauf zurückführen ließ, dass sein Modell zur Bewertung von Immobilienpreisen die Preise für Eigenheime nichtgenau vorhersagen konnte.5
Erfahren Sie, wie Sie ein KI-Governance-Framework einrichten und Risikomanagementlösungen einführen, die eine vertrauenswürdige, klare und erklärbare KI fördern.
Modellrisiken können unterschiedliche Ursachen haben:
Die Eingabedaten eines Modells können fehlerhaft, unvollständig, veraltet oder verzerrt sein. Wenn beispielsweise veraltete Daten für ein Marktmodell verwendet werden, kann es sein, dass es in Bezug auf die Marktleistung oder die Marktpreise verzerrte Trends projiziert.
Auch wenn die Trainingsdatensätze für KI-Modelle nicht auf das Vorliegen von Verzerrungen untersucht werden, können diese KI-Modelle Ergebnisse liefern, die intrinsische Verzerrung in den Daten widerspiegeln und verstärken. Zum Beispiel könnten Bewerber-Screening-Systeme männliche oder jüngere Bewerber bevorzugen, während Vorhersagesoftware für das Gesundheitswesen bei der Priorisierung von Patienten, die eine sofortige Versorgung benötigen, rassistische Vorurteile aufweisen könnte.
Annahmen können fehlerhaft oder unrealistisch sein. Irrelevante, falsche, fehlende oder ausgelassene Variablen oder falsche Variablenkalibrierungen können sich auf den Output des Modells auswirken.
So kann beispielsweise ein Preisgestaltungsmodell, das die Marktvolatilität nicht berücksichtigt, zu ungenauen Schätzungen führen, während Forecasting-Modelle zur Produktnachfrage, die saisonales Kaufverhalten oder aktuelle wirtschaftliche Bedingungen wie Lieferverzögerungen oder geringere Ausgaben nicht berücksichtigen, zu schlecht verwalteten Lagerbeständen führen können.
Wenn ein Modell zur Vorhersage der Patientenversorgung eine Variable wie die Gesundheitsausgaben stärker gewichtet, könnte dies hingegen dazu führen, dass das Modell Menschen mit geringerem Einkommen diskriminiert, die weniger für die Gesundheitsversorgung ausgeben, diese jedoch dringender in Anspruch nehmen müssen.
Die gewählte Methodik kann inhärente Fehler aufweisen. Daher müssen Modellentwickler das Modell kennen und sich seiner Grenzen bewusst sein. Beispielsweise können statistische Methoden wie die Regression Stichproben- und Standardfehler aufweisen.
Hier kommt auch die Auswahl des geeigneten Modells ins Spiel. Obwohl generative KI die neueste Technologie ist, eignet sie sich beispielsweise nicht so gut für Forecasting, das andere etablierte Modelle mit weniger Aufwand und geringeren Kosten erledigen können.
Eine unvollständige oder fehlerhafte Modellentwicklung kann zu ungenauen Ergebnissen oder Modellfehlern führen. Gleiches gilt für Programmierfehler, Fehler in Näherungen oder Berechnungen und andere technische Fehler. Die Nutzung von Abkürzungen oder Vereinfachungen aufgrund der Unsicherheit und Komplexität des Modells kann sich ebenfalls auf das Ergebnis auswirken.
Beispielsweise könnten enge Zeitpläne für die Bereitstellung eines Modells zur vorausschauenden Analyse der Verkaufsleistung dazu führen, dass Echtzeit-Datenfeeds mit Verkaufszahlen verwendet werden. Aufgrund dieser Entscheidung kann es jedoch vorkommen, dass das Modell häufig ausfällt oder langsam läuft. In diesem Fall kann der Wechsel zu einem täglichen oder wöchentlichen Daten-Snapshot die Geschwindigkeit und Stabilität des Modells verbessern.
Durch strenge Tests lassen sich Fehler während der Implementierung erkennen, wie zum Beispiel die versehentliche Verwendung eines anderen Datumsformats für ein Modell zur Bewertung von Versicherungsansprüchen oder einer anderen Maßeinheit für ein Modell zur Bewertung von Diagnosen im Gesundheitswesen oder die versehentliche Änderung der Währung für ein Preisgestaltungsmodell.
Eine Fehlinterpretation des Outputs eines Modells kann zu fehlerhaften Entscheidungen und falschen Vorgehensweisen führen. Hier ist eine fachkundige Analyse erforderlich, bei der Experten die Richtigkeit der Ergebnisse eines Modells bewerten. Erklärbarkeit und Transparenz sind auch entscheidend, um festzustellen, wie ein Modell zu seinen Schlussfolgerungen gekommen ist.
Modelle könnten falsch verwendet werden oder auf ein bestimmtes Szenario könnte das falsche Modell angewendet werden. Außerdem sind das Design und die Spezifikationen eines Modells für einen bestimmten Geschäftsfall möglicherweise ungeeignet.
Beispielsweise kann es sein, dass ein Modell, das Krankenhäusern hilft, Patienten in einem bestimmten Bundesland oder einer Region schneller zu priorisieren, aufgrund der unterschiedlichen demografischen Gegebenheiten für ein benachbartes Bundesland oder eine benachbarte Region nicht geeignet ist. Ebenso ist es möglich, dass Modelle, die eine Lungenfunktionsstörung bei Kindern anhand von Brustscans erkennen, die gleiche Problematik bei Erwachsenen nicht erkennen können.
Wenn kein Modellrisikomanagement erfolgt, kann es sich verheerend auf die Finanzen, den Betrieb und den Ruf eines Unternehmens auswirken. Ein effektives Modellrisikomanagement erfordert ein Framework, das das Risiko in jeder Phase des Lebenszyklus eines Modells berücksichtigt.
Das Modellrisikomanagement umfasst auch die Einhaltung regulatorischer Richtlinien. In den USA haben beispielsweise das Federal Reserve und das Office of the Comptroller of the Currency (OCC) eine Aufsichtsrichtlinie zum Modellrisikomanagement veröffentlicht (Link befindet sich außerhalb von ibm.com), die als Benchmark für ein MRM-Framework dient.
Hier sind sechs allgemeine Schritte für ein effektives Modellrisikomanagement-Framework:
1. Erkennen von Modellrisiken
Das Erkennen von Risiken ist der erste Schritt beim Modellrisikomanagement. Dies beinhaltet die Durchführung einer Modellbestandsaufnahme und die Definition der mit jedem Modell verbundenen Risiken.
2. Modellrisikobewertung
Der nächste Schritt besteht darin, das Modellrisiko zu messen und zu bewerten. Unternehmen können ein Bewertungssystem entwickeln, das Modellrisiken unter anderem nach Priorität, Eintrittswahrscheinlichkeit und Schwere ihrer Auswirkungen einordnet.
Zusätzlich zur Messung des individuellen Modellrisikos können Unternehmen auch das aggregierte Modellrisiko berücksichtigen. Das aggregierte Modellrisiko bezieht sich auf die Risiken, die durch die Abhängigkeiten und Interaktionen zwischen verschiedenen Modelltypen entstehen. Beispielsweise können die Ergebnisse eines Diagnosemodells für das Gesundheitswesen in ein Vorhersagemodell für die Patientenversorgung einfließen. Wenn das Diagnosemodell eine Verzerrung aufweist, könnte sich diese Verzerrung auf das Vorhersagemodell übertragen und so beeinflussen, wer eine dringende Behandlung erhält.
3. Minderung des Modellrisikos
Um Risiken zu mindern, muss man sich mit den jeweiligen Quellen und Ursachen auseinandersetzen. Hier sind einige Strategien zur Risikominderung, die in ein Modellrisikomanagement-Framework integriert werden können:
Audits und Reviews: Unternehmen können eigene internen Audits ihrer Modelle durchführen oder externe Experten mit der Durchführung unabhängiger Reviews beauftragen.
Standards: Die Schaffung von Standards für den Modellierungsprozess kann zur Risikominderung beitragen. Standards können für die Datenerfassung, den Modellentwurfs- und Entwicklungsprozess, Tests, Dokumentationen und für die Verwendung von Modellen erstellt werden.
Nicht alle Risiken können gemindert werden, sodass Unternehmen möglicherweise dennoch einem gewissen Risiko ausgesetzt sind. Für Unternehmen kann es daher hilfreich sein, die eigene Risikobereitschaft festzulegen. Dies ist das Risikoniveau, das ein Unternehmen beim Einsatz von Modellen bereit ist zu tolerieren und zu tragen.
4. Validierung des Modells
Der Validierungsprozess stellt eine effektive Herausforderung für ein Modell dar, um seine Qualität und seine Ergebnisse zu überprüfen. Die Modellvalidierung erfolgt nach der Implementierung und vor der Freigabe für Modellnutzer. Sie umfasst sowohl quantitative als auch qualitative Ansätze.
Die quantitative Modellvalidierung umfasst die folgenden Strategien:
Backtesting ist eine Form der Ergebnisanalyse, bei der historische Daten aus der realen Welt verwendet werden, um ein Modell zu testen und so seine Genauigkeit und Wirksamkeit zu bewerten.
Challenger-Modelle sind alternative Modelle, die entwickelt wurden, um ein „Champion“-Modell herauszufordern. Sowohl das Champion- als auch das Challenger-Modell verwenden dieselben Daten, und ihre Ergebnisse werden verglichen, um mögliche oder versteckte Risiken aufzudecken.
Die Sensitivitätsanalyse untersucht, wie sich die Änderung einer spezifischen Variable unter bestimmten Bedingungen auf andere Variablen auswirkt.
Beim Stresstest werden auf der Grundlage spekulativer oder theoretischer Szenarien Simulationen durchgeführt, um zu sehen, wie ein Modell reagiert.
Die qualitative Modellvalidierung berücksichtigt hingegen Faktoren wie die Eignung eines Modells für seinen Zweck und ob ein Modell Normen entspricht oder Vorschriften erfüllt.
5. Modellüberwachung
Bei der Modellüberwachung werden die Modelle kontinuierlich überprüft, um festzustellen, ob sie immer noch wie vorgesehen funktionieren und weiterhin die erwartete Leistung erbringen. Sie zeigt alle zusätzlichen Risiken auf und weist auf notwendige Aktualisierungen hin, die sich aus Änderungen von Daten, Prozessen und Vorschriften ergeben könnten.
Die Modellvalidierung ist in der Regel Teil des laufenden Überwachungsprozesses. In dieser Phase werden Überwachungs- und Validierungsberichte erstellt und von den relevanten Stakeholdern geprüft, um die notwendigen Maßnahmen zu empfehlen.
6. Modell-Governance
Model-Governance bietet einen Überblick über den gesamten Modellierungsprozess. Sie etabliert ein System von Eigentum und Kontrolle durch Richtlinien und Verfahren. Eine solide Model Risk Governance erfordert ein breit gefächertes Team aus Entscheidungsträgern und Interessengruppen – vom Vorstand und der Geschäftsleitung bis hin zu Modelleigentümern, Modellentwicklern und Modellnutzern.
Viele der heutigen Modelle nutzen KI und maschinelles Lernen in irgendeiner Form, insbesondere bei der Erstellung und Prüfung von Modellen.
Beispielsweise wird KI in der Finanzbranche häufig zur Modellierung von Kreditrisiken, Marktrisiken und operationellen Risiken eingesetzt. Die Technologie kann bei der Bewertung von Krediten und Darlehensrisiken helfen, Marktmodelle erstellen und zur Aufdeckung von Finanzbetrug und Geldwäsche beitragen.
KI und maschinelles Lernen können auch im Modellrisikomanagement eingesetzt werden, insbesondere bei der Modellvalidierung (z. B. Stresstests von Marktmodellen) und der Echtzeit-Modellüberwachung. Im Folgenden finden Sie einige gängige Algorithmen und Methoden des maschinellen Lernens, die für das Modellrisikomanagement verwendet werden:
Durch Clustering können Sensitivitätsanalysen durchgeführt werden, um Anomalien aufzudecken, die auf Risiken hinweisen könnten, wenn Variablen geändert oder bestimmte Szenarien simuliert werden.
Decision Trees können mit Neural Networks kombiniert werden, um Handelsmodelle zu überwachen und beispielsweise Händler während des Handels auf Änderungen an zugrunde liegenden Mustern aufmerksam zu machen.
Sowohl Deep Learning als auch Reinforcement Learning können zur Echtzeit-Modellüberwachung, zur Erkennung von Problemen und zur automatischen Empfehlung von Lösungen eingesetzt werden.
Neural Networks können bei Stresstests helfen und Banken dabei unterstützen, ihre Liquidität unter schwierigen wirtschaftlichen Bedingungen wie einer Rezession zu modellieren.
Modellrisikomanagement-Software kann Unternehmen dabei helfen, Modellrisiken effektiver zu managen. Sie bietet erweiterte Funktionen wie die Modellinventarisierung und -verfolgung sowie die Zuordnung von Metriken, Modellen und Richtlinien zu verschiedenen gesetzlichen Bestimmungen. Andere Modellrisikomanagement-Tool ermöglichen auch das Modellmanagement mit KI und maschinellem Lernen, mit Funktionen, die die Automatisierung der Modellüberwachung und Modellvalidierung beinhalten.
Demonstrieren Sie mit dem IBM OpenPages Model Risk Governance-Modul eine starke Modell-Governance, -Berichterstattung und -Compliance.
Erfahren Sie mehr über dieses Toolkit zur Verwaltung generativer KI- und maschineller Lernmodelle auf einer integrierten Plattform.
Beschleunigen Sie die Prüfung von KI-Modellen und überwachen und verwalten Sie Modelle in IBM Watson Studio.
Bewältigen Sie Risiken, die sich aus veränderten Marktbedingungen, neuen Vorschriften oder erschwerten Abläufen ergeben, und steigern Sie gleichzeitig die Effektivität und Effizienz.
Das Risikomanagement für Drittanbieter (TPRM) identifiziert, bewertet und mindert Risiken, die mit der Auslagerung von Aufgaben an Drittanbieter oder Dienstleister verbunden sind.
Erfahren Sie, wie Governance-, Risiko- und Compliance-Plattformen (GRC) einen nachhaltigen Mehrwert im Risikomanagement schaffen.
Entdecken Sie die entscheidende Synergie von Governance, Risiko und Compliance in modernen Geschäftsabläufen.
Fußnoten
Alle Links befinden sich außerhalb von ibm.com
1 „SR 11-7: Guidance on Model Risk Management“, Federal Reserve, 4. April 2011.
2 „Structural causes of the global financial crisis: a critical assessment of the 'new financial architecture'“,Cambridge Journal of Economics, 1. Juli 2009.
3 „JPMorgan fined USD 920 million in 'London Whale' trading loss“, CNN, 19. September 2013.
4 „Model risk – daring to open up the Blackbox“, British Actuarial Journal, Dezember 2015.
5 "Zillow’s home-buying debacle shows how hard it is to use AI to value real estaten", CNN, 9. November 2021.