¿Qué es la gestión de riesgos de modelos?

Un modelo es cualquier enfoque, método o sistema cuantitativo que procesa datos de entrada y produce estimaciones cuantitativas.¹ Los modelos generalmente se aplican al tomar decisiones comerciales, determinar oportunidades y riesgos comerciales, diseñar estrategias comerciales y gestionar operaciones comerciales.

Las instituciones financieras, por ejemplo, confían en una variedad de modelos para la fijación de precios, la valoración y la detección y prevención del fraude y el lavado de dinero, entre otros servicios financieros. El uso de modelos a menudo plantea riesgos, lo que hace que la gestión del riesgo de modelos (MRM) sea una consideración crucial para las compañías.

La crisis financiera mundial de 2007 a 2008, por ejemplo, se atribuyó en parte a modelos de valor en riesgo (VaR) defectuosos, que estimaban las pérdidas futuras que podrían sufrir las inversiones.² En 2012, la debacle comercial de la "ballena de Londres" de JPMorgan Chase se saldó con 6000 millones de dólares en pérdidas y casi 1000 millones en multas.³ Esto se debió en parte a un error de cálculo del modelo en la hoja de cálculo, que infravaloraba el riesgo.⁴ 

En 2021, la compañía de mercado inmobiliario Zillow realizó una amortización de inventario de 304 millones de dólares y planeó recortar una cuarta parte de su plantilla tras su fallida compañía de compra de viviendas, causada en parte por la incapacidad de su modelo de valoración de precios de la vivienda para predecir con precisión los precios de las viviendas.⁵

El riesgo del modelo puede tener diversas causas:

Si no se gestiona, el riesgo de modelo puede causar estragos en las finanzas, las operaciones y la reputación de una organización. La gestión eficaz del riesgo de modelos requiere un marco que considere el riesgo en cada etapa del ciclo de vida de un modelo.

La gestión del riesgo de modelos también implica seguir las directrices reglamentarias. En Estados Unidos, por ejemplo, la Reserva Federal y la Oficina del Contralor de la Moneda (OCC) publicaron una guía de supervisión sobre la gestión del riesgo de modelos, que sirve como punto de referencia para una infraestructura de MRM.

Estos son seis pasos comunes hacia un marco eficaz de gestión del riesgo de modelos:

La identificación de riesgos es el primer paso en la gestión de riesgos del modelo. Esto implica la realización de un inventario de modelos y la definición de los riesgos asociados a cada modelo.

El siguiente paso es medir y evaluar el riesgo del modelo. Las compañías pueden idear un sistema de calificación que clasifique los riesgos del modelo según la prioridad, la probabilidad de ocurrencia y la gravedad de sus efectos, entre otras métricas.

Además de la medición del riesgo del modelo individual, las compañías también pueden considerar el riesgo del modelo agregado. El riesgo del modelo agregado se refiere a los riesgos que plantean las dependencias e interacciones entre diferentes tipos de modelos. Por ejemplo, los resultados de un modelo de diagnóstico de atención médica podrían incorporarse a un modelo de predicción de atención al paciente. Si el modelo de diagnóstico presenta sesgo, entonces ese sesgo podría trasladarse al modelo de predicción, afectando quién podría recibir atención urgente.

Mitigar el riesgo requiere abordar sus fuentes y causas. Estas son algunas estrategias de mitigación de riesgos que se pueden integrar en un marco modelo de gestión de riesgos:

• Auditorías y revisiones: las compañías pueden realizar sus propias auditorías internas de sus modelos o emplear expertos externos para llevar a cabo revisiones independientes.

• Estándares: la creación de estándares para el proceso de modelado puede ayudar a minimizar el riesgo. Se pueden elaborar estándares para la recopilación de datos, el diseño del modelo y el proceso de desarrollo, las pruebas, la documentación y el uso del modelo.

No todos los riesgos se pueden mitigar, por lo que las compañías aún pueden estar sujetas a una cierta cantidad de exposición al riesgo. Por lo tanto, a las organizaciones les puede resultar útil establecer su apetito de riesgo. Este es el nivel de riesgo que una compañía está dispuesta y preparada a tolerar y puede asumir cuando se trata del uso de modelos.

El proceso de validación actúa como un desafío efectivo de un modelo para comprobar su calidad y verificar sus resultados. La validación del modelo se realiza luego de la implementación y antes del lanzamiento a los usuarios del modelo. Abarca enfoques tanto cuantitativos como cualitativos.

La validación cuantitativa del modelo incluye estas estrategias:

• El backtesting es una forma de análisis de resultados que emplea datos históricos del mundo real para probar un modelo, evaluando así su precisión y efectividad.

• Los modelos retadores son modelos alternativos desarrollados para desafiar a un modelo “campeón”. Tanto el modelo campeón como retador emplean los mismos datos, y sus resultados se comparan para revelar cualquier riesgo potencial u oculto.

• El análisis de sensibilidad examina cómo la alteración de una variable específica bajo ciertas condiciones afecta a otras variables.

• Las pruebas de estrés aplican simulaciones basadas en escenarios especulativos o teóricos para ver cómo responde un modelo.

En tanto, la validación cualitativa del modelo considera factores como la idoneidad de un modelo para su propósito y si un modelo se ajusta a las normas o cumple con las regulaciones.

El monitoreo de modelos examina continuamente los modelos para verificar si siguen funcionando según lo previsto y como se espera. Señala cualquier riesgo adicional que pueda surgir o las actualizaciones necesarias como resultado de cambios en los datos, procesos y regulaciones.

La validación del modelo suele ser parte del proceso de monitoreo continuo. En esta etapa, los reportes de monitoreo y validación son elaborados y revisados por las partes interesadas relevantes para recomendar cualquier curso de acción necesario.

La gobernanza del modelo ofrece supervisión de todo el proceso de modelado. Establece un sistema de propiedad y control a través de políticas y procedimientos. Una gobernanza estable del riesgo de los modelos necesita un equipo variado de responsables de la toma de decisiones y stakeholders, desde el consejo de administración y la alta dirección hasta los propietarios, los desarrolladores y los usuarios de los modelos.

Muchos de los modelos actuales emplean IA y machine learning de alguna forma, especialmente al generar y probar modelos.

Por ejemplo, la IA se aplica comúnmente en la industria financiera para modelar el riesgo crediticio, el riesgo de mercado y el riesgo operativo. La tecnología puede ayudar a evaluar el riesgo crediticio, crear modelos de mercado y ayudar a detectar el fraude financiero y el lavado de dinero.

La IA y el machine learning también se pueden aplicar a la gestión de riesgos de modelos, especialmente durante la validación de modelos (como las pruebas de estrés de los modelos de mercado) y el monitoreo de modelos en tiempo real. Estos son algunos algoritmos y métodos comunes de machine learning empleados en la gestión del riesgo de modelos:

• La agrupación en clústeres se puede implementar para el análisis de sensibilidad para descubrir anomalías que podrían indicar riesgo cuando se cambian las variables o al simular escenarios específicos.

• Los árboles de decisión se pueden combinar con redes neuronales para monitorear los modelos comerciales, por ejemplo, alertando a los comerciantes de los cambios en los patrones subyacentes durante el comercio.

• Tanto el aprendizaje profundo como el aprendizaje por refuerzo se pueden emplear para monitorear modelos en tiempo real, detectar problemas y recomendar resoluciones automáticamente.

• Las redes neuronales pueden ayudar con las pruebas de estrés, ayudando a los bancos a modelar su liquidez en condiciones económicas difíciles, como una recesión.

El software de gestión del riesgo de modelos puede ayudar a las organizaciones a gestionar el riesgo de modelos de manera más eficaz. Proporciona funciones avanzadas, como inventario de modelos y seguimiento y asignación de métricas, modelos y políticas a múltiples requisitos normativos. Otras herramientas de gestión de riesgos de modelos también permiten la gestión de modelos de IA y machine learning, con capacidades que incluyen la automatización del monitoreo y la validación de modelos.