公開日：2024年8月15日
寄稿者：Rina Caballar、Cole Stryker
モデル・リスク管理とは、モデル・リスクを識別、評価、制御するプロセスです。モデル・リスクは、モデルを使用して定量的な情報を測定・予測する際に、そのモデルのパフォーマンスが不十分な場合に発生する可能性があります。モデルのパフォーマンスが低いと、大きな経済的損失を含む有害な結果が生じる可能性があります。
モデルとは、入力データを処理して定量的な推定値を生成する定量的なアプローチ、方法、またはシステムです。1モデルは通常、ビジネス上の意思決定、ビジネス機会とリスクの判断、ビジネス・ストラテジーの立案、ビジネス運営の管理を行うときに適用されます。
例えば、金融機関は、価格設定、評価、詐欺やマネーロンダリングの検出と防止、その他の金融サービスにおいて、さまざまなモデルに依存しています。モデルの使用は多くの場合リスクを伴うため、企業には、モデル・リスク管理（MRM）を検討することが欠かせません。
例えば、2007年から2008年にかけての世界的金融危機は、投資によって将来発生する可能性のある損失を予測するリスク値（VaR）モデルの欠陥が原因の一部とされました。22012年、JPMorgan Chase社のトレーダー「ロンドンの鯨」による巨額取引により、同社は60億ドルの損失を出すと同時に、10億ドル近くの罰金が科されました。3これは、モデル計算のスプレッドシートのエラーがリスクを過小評価していたことが一因でした。4
2021年、不動産マーケットプレイス企業であるZillow社は、住宅価格評価モデルが住宅価格を正確に予測できなかったことが一因となって住宅購入事業が失敗したことを受けて、3億400万ドルの在庫減損を出し、従業員の4分の1を削減する事態へと追い込まれました。5
モデル・リスクは、さまざまな原因から生じる可能性があります。
モデルの入力データには、誤り、不完全、時代遅れ、または 偏りといった問題がある可能性があります。例えば、時代遅れとなった古いデータが市場モデルに使用されると、市場のパフォーマンスや市場価格に関する偏った傾向が予測される可能性があります。
また、人工知能（AI）モデルのトレーニング用データ・セットにバイアスが存在するかどうかが評価されない場合、これらのAIモデルは、データに内在するバイアスを反映し、永続させる結果を生成する可能性があります。例えば、求職者選考システムでは男性や若い求職者が優遇される可能性があり、医療予測ソフトウェアでは緊急治療が必要な患者を優先する際に人種的偏見が見られるかもしれません。
仮定は不正確であったり非現実的であったりする可能性があります。また、無関係な変数、間違った変数、見落とした変数、省略した変数、または誤った変数のキャリブレーションは、モデル出力に影響を与える可能性があります。
例えば、市場の変動性を考慮しない価格設定モデルでは不正確な見積もりが出る可能性があります。一方、季節的な購買行動や配送の遅延や支出の減少などの現在の経済状況を考慮しない製品需要予測モデルでは、在庫レベルの管理が不十分になるかもしれません。
一方、医療費などの変数に大きな重みを置いた患者ケア予測モデルでは、所得が低く医療費は少ないが医療へのアクセスの必要性が高い人々をモデルが差別してしまう可能性もあるでしょう。
モデル開発が不完全または不正確な場合、不正確な結果やモデル・エラーが発生する可能性があります。プログラミング・エラー、近似値や計算値の間違い、その他の技術的なエラーについても同様です。モデルの不確実性と複雑さの結果として、近道や簡略化を適用すると、結果に影響する可能性があります。
例えば、販売実績に関する予測分析モデルを導入するためのスケジュールが厳しい場合は、販売数のリアルタイム・データ・フィードを使用することになる場合があります。ただし、この決定により、モデルが頻繁に失敗したり、実行速度が遅くなったりする可能性があります。このような場合、毎日または毎週のデータ・スナップショットに切り替えると、モデルの速度と安定性が向上するかもしれません。
厳密なテストは、保険金請求評価モデルで誤って異なる日付形式を使用したり、医療診断モデルで別の測定単位を使用したり、価格設定モデルの通貨を誤って変更したりするなど、実装中のエラーを検出するのにも役立ちます。
モデルの出力を誤って解釈すると、誤った情報に基づいた意思決定や間違った行動につながる可能性があります。そのため、専門家による分析が必須で、モデルの結果の妥当性を評価する専門家が必要です。説明可能性と透明性も、モデルがどのように結論に到達したかを判断する上で重要です。
モデルが誤用されたり、特定のシナリオに間違ったモデルが適用されたりする可能性があります。モデルの設計と仕様が特定のビジネス・ケースに適さない場合もあります。
例えば、特定の州や地域で病院が患者のトリアージをより迅速に行うのに役立つモデルは、人口統計が異なるため、隣接する州や地域には適さない可能性があります。一方、胸部スキャンから子どもの肺疾患を特定するモデルは、成人の同じ疾患を検出できない場合があります。
モデル・リスクを管理せずに放置すると、組織の財務、運営、評判に大きな損害を与える可能性があります。効果的なモデル・リスク管理には、モデルのライフサイクルのあらゆる段階でリスクを考慮するフレームワークが欠かせません。
モデル・リスクの管理には、規制ガイドラインに従うことも必要です。例えば、米国では、連邦準備制度理事会と通貨監督庁（OCC）がモデル・リスク管理に関する監督ガイダンス （ibm.com外部へのリンク）を発表しました。これは、MRMフレームワークのベンチマークとして機能します。
効果的なモデル・リスク管理フレームワークに向けた6つの一般的なステップについてご説明します。
1. モデル・リスクの特定
リスクを特定することは、モデル・リスク管理の最初のステップです。これには、モデル・インベントリーの実施と、各モデルに関連するリスクの定義が含まれます。
2. モデル・リスクの評価
次なるステップは、モデル・リスクを測定して評価することです。企業は、モデル・リスクを優先度、発生確率、影響の重大性などの基準に従ってランク付けする評価システムを考案できます。
企業は、個々のモデル・リスクの測定に加えて、集計モデルのリスクも考慮できます。集約モデル・リスクとは、異なるタイプのモデル間の依存関係と相互作用によって生じるリスクを指します。例えば、ヘルスケア診断モデルの結果は、患者ケア予測モデルに反映される可能性があります。診断モデルに偏りが見られる場合、その偏りが予測モデルに引き継がれ、誰が緊急治療を受けられるかに影響する可能性があります。
3. モデル・リスクの軽減
リスクを軽減するには、リスクの発生源と原因に対処する必要があります。モデル・リスク管理フレームワークに統合できるいくつかのリスク軽減戦略は以下のとおりです。
監査とレビュー：企業は、モデルの内部監査を独自に実施することも、サード・パーティーの専門家を雇って独立したレビューを実施することもできます。
標準手順：モデリング・プロセスの標準手順を作成すると、リスクを最小限に抑えられます。データ収集、モデルの設計と開発プロセス、テスト、ドキュメント作成、モデルの使用に関して、標準手順を作成することができます。
すべてのリスクを軽減できるわけではないため、企業は依然として一定量のリスクにさらされる可能性があります。したがって、組織はリスク許容度を設定すると良いでしょう。これは、モデルの使用に関して企業が許容し、引き受けることができるリスクのレベルのことです。
4. モデルの検証
検証プロセスは、モデルの品質をチェックし、その結果を検証するための効果的なチャレンジとして機能します。検証は、モデル導入後、ユーザーにリリースする前に行います。定量的アプローチと定性的アプローチの両方が必要です。
定量的モデル検証では次のテストを行ってください。
バックテストは、実際の履歴データを使用してモデルをテストし、その精度と有効性を評価する結果分析の一種です。
チャレンジャー・モデルは、最良とされる「チャンピオン」モデルに拮抗する性能を実現するために開発される代替モデルです。チャンピオン・モデルとチャレンジャー・モデルは両方とも同じデータを使用し、その結果を比較して潜在的なリスクや隠れたリスクを明らかにします。
感度分析では、特定の条件下で特定の変数を変更すると他の変数にどのような影響が及ぶかを調べます。
ストレス・テストでは、推測的または理論的なシナリオに基づいたシミュレーションを適用して、モデルがどのように反応するかを確認します。
一方、定性的なモデル検証では、モデルが目的に適しているかどうか、モデルが標準に準拠しているか、規制に準拠しているかなどの要素が考慮されます。
5. モデルの監視
モデルの モニタリングでは、モデルが意図したとおりに機能し、期待どおりのパフォーマンスを発揮し続けているかどうかを継続的に精査します。データ、プロセス、規制の変更の結果として発生する可能性のある追加のリスクや必要な更新を正確に特定します。
モデル検証は通常、継続的な監視プロセスの一部です。この段階では、監視および検証レポートが作成され、関連する利害関係者によってレビューされ、必要な行動方針が推奨されます。
6. モデル・ガバナンス
モデルのガバナンスは、モデリング・プロセス全体を監視します。ポリシーと手順を通じて所有権と管理のシステムを確立します。健全なモデル・リスクガバナンスには、取締役会や上級管理職からモデル所有者、モデル開発者、モデルユーザーまで、多様な意思決定者と利害関係者のチームが必要です。
今日のモデルの多くは、特にモデルの生成とテストの際に、何らかの形でAIと機械学習を採用しています。
例えば、AI は金融業界では広く採用されており、信用リスク、市場リスク、運用リスクをモデル化しています。この技術は、信用および融資リスクの評価、市場モデルの作成、金融詐欺やマネーロンダリングの検出に役立ちます。
AIと機械学習は、特にモデル検証（市場モデルのストレステストなど）やリアルタイムのモデル監視の際に、モデル・リスク管理にも適用できます。モデル・リスク管理で使用される一般的な機械学習アルゴリズムと方法を以下に示します。
クラスタリングを感度分析に実装すると、変数が変更されたときや特定のシナリオをシミュレートしたときにリスクを示す可能性のある異常を発見できます。
Decision Treesをニューラル・ネットワークと組み合わせて取引モデルを監視することで、例えば、取引中に基礎となるパターンの変化をトレーダーに警告することができます。
ニューラル・ネットワークはストレス・テストに役立ち、不況などの厳しい経済状況下で銀行が流動性をモデル化するのに役立ちます。
モデル・リスク管理ソフトウェアは、組織がモデル・リスクをより効果的に管理するのに役立ちます。モデル・インベントリーや、メトリック、モデル、ポリシーを複数の規制要件に追跡およびマッピングするなどの高度な機能を提供します。その他のモデル・リスク管理ツールでも、モデルの監視とモデルの検証の自動化などの機能を備えたAIおよび機械学習モデルの管理が可能になります。
IBM OpenPages Model Risk Governanceモジュールを使用して、強力なモデル・ガバナンス、レポート、コンプライアンスを実証します。
1つの統合プラットフォーム上で生成AIと機械学習モデルを管理するためのこのツールキットの詳細をご覧ください。
AIモデルの検証を高速化し、IBM® Watson Studioでモデルを監視および管理します。
有効性と効率性を高めながら、変化する市場状況、進化する規制、または負担の大きい業務によるリスクを管理します。
脚注
すべてのリンク先は、ibm.comの外部です。
1 「SR 11-7：モデル・リスク管理のガイダンス」、米連邦準備制度理事会、2011年4月4日。
2「世界金融危機の構造的原因：『新しい金融アーキテクチャー』に対する批判的評価」、Cambridge Journal of Economics誌、2009年7月1日。
3「JPMorgan社、『ロンドンの鯨』取引損失で9億2000万ドルの罰金」、CNN、2013年9月19日。
4「モデル・リスク – ブラック・ボックスを大胆に開く」、British Actuarial Journal誌、2015年12月。
5「Zillow社の住宅購入の大失敗は、AIを使用して不動産を評価することがいかに難しいかを示している」、CNN、2021年11月9日。