什么是模型风险管理?

作者

Rina Diane Caballar

Staff Writer

IBM Think

Cole Stryker

Staff Editor, AI Models

IBM Think

什么是模型风险管理?

模型风险管理是识别、衡量和控制模型风险的过程。当模型用于衡量和预测定量信息,但模型的效果不佳时,则会发生模型风险。模型性能不佳可能会导致不利后果,包括重大的财务损失。

模型是处理输入数据并生成定量估计的任何定量方式、方法或系统。1模型通常用于制定业务决策、确定业务机会和风险、制定业务战略和管理业务运营。

例如,金融机构依靠一系列模型来进行定价、估值以及检测和防止欺诈和洗钱,以及开展其他金融服务。模型的使用往往会带来风险,这使得模型风险管理 (MRM) 成为企业必须考虑的一项重要因素。

例如,2007 至 2008 年的全球金融危机部分归咎于风险价值 (VaR) 模型存在缺陷,该模型估计了投资可能产生的未来损失。22012 年,摩根大通“伦敦鲸”交易失败,造成了 60 亿美元损失和近 10 亿美元罚款。3部分原因是模型计算中的电子表格错误,低估了风险。4 

2021 年,房地产市场公司 Zillow 在其购房项目失败后进行了 3.04 亿美元的库存减记,并计划裁减四分之一的员工队伍,部分原因是其房价估值模型无法准确预测房价。5

模型风险的来源

模型风险可能由多种原因引起:

数据

模型的输入数据可能是错误的、不完整的、过时的或有偏差的。例如,如果市场模型使用了过时的数据,那么它可能会预测出有关市场表现或市场价格的偏差趋势。

另外,如果用于人工智能 (AI) 模型的训练数据集没有评估是否存在偏见,这些 AI 模型可能会产生反映并延续数据中固有偏见的结果。例如,求职者筛选系统可能会青睐男性或年轻的求职者,而医疗保健预测软件在优先考虑需要立即护理的患者时,可能会表现出种族偏见。

假设和变量

假设可能存在缺陷或不切实际。不相关、错误、缺失或遗漏的变量,或者不正确的变量校准,都会影响模型输出。

例如,未考虑市场波动因素的定价模型可能会产生不准确的估算值,而未能考虑季节性采购行为或当前经济状况(例如运输延误或支出减少)的产品需求预测模型可能会导致库存管理不善。

同时,如果患者护理预测模型对医疗支出等变量赋予了更大的权重,则可能会导致该模型歧视那些收入较低、在医疗上花费较少但更需要医疗服务的人。

方法

所选方法可能存在固有错误,因此模型开发人员需要了解模型并意识到其局限性。例如,回归建模等统计方法可能具有抽样误差和标准误差。

这也是选择正确模型的关键所在。例如,尽管生成式 AI 是最新的技术,但它可能不太适合金融预测,因为其他成熟的模型可以用更少的工作量和更低的成本做到这一点。

模型实施

不完整或不正确的模型开发可能导致结果不准确或模型错误。编程错误、近似或计算错误以及其他技术错误同样如此。由于模型的不确定性和复杂性而应用任何捷径或简化措施,也可能会影响结果。

例如,部署销售业绩预测分析模型时可能由于时间紧迫,而导致使用销售数据的实时数据馈送。然而,由于这一决定,该模型可能会经常失败或运行缓慢。在这种情况下,切换到每日或每周数据快照,可能会提高模型的速度和稳定性。

严格的测试还有助于检测实施过程中的错误,例如不小心对保险索赔评估模型使用了不同的日期格式,或对医疗保健诊断模型使用了其他计量单位,或者无意中修改了定价模型的货币。

结果解读

对模型的输出进行错误的解读,可能会导致做出错误的决策和采取错误的行动。这就需要专家分析,由主题专家来评估模型结果的合理性。可解释性和透明度对于确定模型如何得出结论也至关重要。

模型使用

模型可能被误用,或者可能将错误的模型应用于特定场景。模型的设计和规格也可能不适合特定的业务案例。

例如,由于人口统计数据的差异,帮助医院在特定州或地区更快地对患者进行分流的模型可能不适合邻近的州或地区。同时,通过胸部扫描来识别儿童肺部疾病的模型,可能无法在成人中检测到相同的疾病。

管理模型风险

如果不加以管理,模型风险可能会对组织的财务、运营和声誉造成严重破坏。有效的模型风险管理需要一个框架,来考虑模型生命周期内各个阶段的风险。

管理模型风险还需要遵循监管准则。例如,在美国,美联储和货币监理署 (OCC) 发布了 模型风险管理监管指南,作为 MRM 框架的基准。

以下是构建有效模型风险管理框架的六个常见步骤:

1. 模型风险识别

识别风险是模型风险管理的第一步。这包括编制一份模型清单,并确定与每个模型关联的风险。

2. 模型风险评估

下一步是衡量和评估模型风险。企业可以提出一个评级系统,根据优先级、发生概率及其影响的严重性等指标对模型风险进行排名。

除了单个模型风险衡量之外,公司还可以考虑总体模型风险。总体模型风险是指不同类型的模型之间的依赖关系和相互作用所带来的风险。例如,医疗保健诊断模型的结果可能会输入到患者护理预测模型中。如果诊断模型出现偏差,那么这种偏差可能会延续到预测模型,这会影响谁可能得到紧急护理。

3. 模型风险缓解

缓解风险需要解决风险的来源和原因。以下是一些可整合到模型风险管理框架中的风险缓解战略:

  • 审计和审查:公司可自行对其模型进行内部审计,也可以聘请第三方专家进行独立审查。

  • 标准:为建模过程制定标准,有助于最大限度地降低风险。可以为数据收集、模型设计和开发过程、测试、文档记录和模型使用等制定标准。

并非所有风险都可以缓解,因此企业可能仍会面临一定程度的风险敞口。因此,各组织可能会发现设定自己的风险偏好很有帮助。这是公司在使用模型时愿意并准备承受和能够承担的风险水平。

4. 模型验证

验证过程是对模型的有效挑战,旨在检查模型的质量并验证其结果。模型验证是在实施之后,但在向模型用户发布之前进行的。它既包括定量方法,也包括定性方法。

定量模型验证包括以下战略:

  • 回溯测试是一种结果分析形式,它使用真实世界的历史数据来测试模型,从而评估其准确性和有效性。

  • 挑战者模型是为挑战“冠军”模型而开发的替代模型。冠军模型和挑战者模型都使用相同的数据,并将它们的结果进行比较来揭示任何潜在或隐藏的风险。

  • 敏感性分析检查在特定条件下改变特定变量会如何影响其他变量。

  • 压力测试根据推测场景或理论场景应用模拟,以了解模型如何响应。

同时,定性模型验证考虑的因素包括模型是否适合其用途,以及模型是否符合标准或法规。

5. 模型监控

模型监控会持续仔细核查模型,以检查它们是否仍按预期发挥作用并持续按预期执行。它指出了因数据、流程和法规变化而可能产生的任何额外风险或所需的更新。

模型验证通常是持续监控过程的一部分。在这一阶段,监测和验证报告由相关的利益攸关方编写和审查,以推荐任何必要的行动方案。

6. 模型治理

模型治理提供了对整个建模过程的监督。它通过政策和程序建立了所有权和控制的系统。健全的模型风险治理需要一个多元化的决策团队和利益相关者,从董事会和高级管理层到模型所有者、模型开发人员和模型用户。

AI 学院

面向企业的生成式 AI 的兴起

了解生成式 AI 的历史兴起及其对企业的意义。

用于模型风险管理的 AI

当今的许多模型都以某种形式利用人工智能和机器学习,尤其是在生成和测试模型时。

例如,AI 常用于金融行业,以模拟信用风险、市场风险和运营风险。该技术有助于评估信贷风险、创建市场模型,并有助于发现金融欺诈和洗钱行为。

AI 和机器学习也可应用于模型风险管理,尤其是在模型验证(如对市场模型进行压力测试)和实时模型监控期间。以下是模型风险管理中一些常用的机器学习算法和方法:

  • 可以实施聚类来进行灵敏度分析,以揭示当变量发生变化或模拟特定场景时可能指示风险的异常行为。

  • 决策树可以与神经网络相结合来监控交易模型,例如,在交易过程中提醒交易者注意底层模式的变化。

  • 神经网络可以协助进行压力测试,帮助银行在经济衰退等充满挑战的经济条件下对流动性进行建模。

模型风险管理软件

模型风险管理软件可以帮助组织更有效地管理模型风险。它提供高级功能,例如模型清单以及跟踪和映射指标、模型和策略,以满足多项监管要求。其他模型风险管理工具还支持 AI 和机器学习模型管理,其功能包括模型监控和模型验证的自动化。

相关解决方案
业务运营解决方案

利用面向智能资产管理和供应链的 AI 解决方案,构建更具弹性的业务。

深入了解运营解决方案
业务运营咨询服务

借助 IBM 利用丰富的数据和强大的 AI 技术来集成优化流程,从而实现业务运营转型。

深入了解业务运营服务
IBM Cloud Pak for Business Automation

IBM Cloud Pak for Business Automation 是一套模块化的集成软件组件,用于运营管理和实现自动化。

探索业务自动化
采取后续步骤

利用 IBM 行业领先的解决方案实现业务运营转型。通过智能工作流和自动化科技提高工作效率、敏捷性和创新。

 

  1. 深入了解运营解决方案
  2. 探索人工智能服务