¿Qué es el gobierno de modelos?

El gobierno de modelos se originó en el sector financiero para abordar los riesgos de los modelos financieros complejos. A medida que la inteligencia artificial (IA) y las tecnologías de machine learning (ML) ganaban protagonismo, la relevancia del gobierno de modelos se ampliaba rápidamente. Según McKinsey, el 78 % de las organizaciones afirman utilizar la IA en al menos una función empresarial, lo que pone de manifiesto hasta qué punto los modelos de IA y ML se han integrado en la toma de decisiones operativas y estratégicas. 

El propósito del gobierno de modelos es garantizar que los modelos (ya sean modelos financieros tradicionales o modelos de machine learning) funcionan según lo previsto, cumplen con las normas y ofrecen resultados fiables a lo largo del tiempo. Un marco de gobierno modelo sólido apoya la transparencia, la responsabilidad y la repetibilidad a lo largo de todo el ciclo de vida del modelo.

En sectores regulados como la banca y los seguros, el gobierno de modelos es un requisito de cumplimiento. En Estados Unidos, la Oficina del Contralor de la Moneda (OCC) describe prácticas de gobierno específicas para gestionar el riesgo de modelos en las instituciones financieras. Aunque la orientación de la OCC no tiene fuerza de ley, se utiliza en exámenes normativos. El incumplimiento puede dar lugar a multas u otras sanciones.

A medida que la toma de decisiones en tiempo real se convierte en la norma y los requisitos normativos evolucionan, el gobierno eficaz de los modelos se perfila como una capacidad crítica para las organizaciones que pretenden aprovechar la IA de forma responsable.

Las organizaciones utilizan cada vez más modelos complejos para respaldar la toma de decisiones de alto riesgo. Ya se trate de la puntuación crediticia en el sector bancario o de la evaluación del riesgo del paciente en el sector sanitario, estos modelos son tan eficaces como los marcos que los rigen. 

El gobierno de modelos proporciona una estructura para supervisar el desarrollo, la implementación y el rendimiento continuo de los modelos. Al establecer controles claros y responsabilidades en cada etapa del ciclo de vida del modelo, las organizaciones pueden garantizar que sus modelos sigan siendo fiables y alineados con los objetivos empresariales. Esto hace que el gobierno de modelos sea un componente fundamental de la gestión de riesgos, el cumplimiento normativo y la integridad operativa. 

La mayoría de los modelos, en particular los modelos de ML, se han integrado en la actividad principal. Sin un gobierno adecuado, estos modelos pueden desviarse con el tiempo, lo que lleva a un rendimiento degradado del modelo, resultados sesgados o decisiones que no se alinean con las condiciones actuales del mercado o las tendencias demográficas. En sectores como las finanzas o la sanidad, estos fallos pueden tener importantes consecuencias en el mundo real. 

El gobierno de modelos proporciona un mecanismo para evaluar y mitigar estos riesgos antes de que afecten a los resultados empresariales. Más allá de eso, las organizaciones pueden utilizar el gobierno de modelos para:

• Mejorar el cumplimiento normativo alineándose con los requisitos de la OCC y otros organismos reguladores
• Aumentar la confianza entre los stakeholders garantizando la explicabilidad, la coherencia y la fiabilidad de los resultados del modelo
• Optimizar la eficiencia operativa mediante la automatización y la integración de los flujos de trabajo de gobierno

A medida que se acelera la adopción de la IA, el gobierno de modelos también sirve como base para una IA ética. Ofrece una forma de integrar la equidad, la responsabilidad y la transparencia en el diseño y la implementación de modelos en varios casos de uso. 

Un marco de gobierno para modelos aporta estructura a lo que suele ser un ecosistema en expansión de algoritmos, conjuntos de datos, stakeholders y flujos de trabajo. Aunque los marcos varían según los sectores, suelen incluir los siguientes componentes básicos:

Un gobierno sólido comienza en la fuente: el desarrollo de modelos. Este componente incluye la definición de objetivos, la selección de datos de entrenamiento, la validación de fuentes de datos y la garantía de que las entradas del modelo están alineadas con el caso de uso previsto. La calidad de los datos es esencial aquí, ya que las entradas defectuosas o sesgadas pueden dar lugar a resultados de modelos de baja calidad.

La documentación del modelo debe reflejar la justificación de la metodología elegida, las suposiciones realizadas, el conjunto de datos utilizado y los resultados del modelo esperados. Esta documentación actúa como un plan para la transparencia y ayuda a agilizar futuras actualizaciones, auditorías y validación de modelos.

Un inventario de modelos centralizado permite a las organizaciones hacer un seguimiento de todos los modelos en uso, junto con su propósito, propiedad, metodología y estado a lo largo del ciclo de vida. Esto incluye los modelos financieros, los algoritmos de calificación crediticia, los modelos de ML utilizados para la detección del fraude e incluso los modelos integrados en las hojas de cálculo. 

Un inventario de modelos bien mantenido también permite una mejor evaluación de riesgos y facilita la toma de decisiones en tiempo real sobre el uso del modelo.

La validación es un aspecto fundamental de la gestión del riesgo de modelo. Los equipos de validación independientes prueban el modelo con datos históricos (pruebas retrospectivas), evalúan la sensibilidad a factores dinámicos como los tipos de interés o los cambios demográficos y verifican que los resultados se alinean con las expectativas empresariales.

Para los modelos de ML, la validación se extiende a la comprobación del sesgo algorítmico, la robustez y el sobreajuste, que es cuando un algoritmo se ajusta demasiado (o incluso exactamente) a sus datos de entrenamiento y no puede sacar conclusiones precisas de ningún otro dato. El objetivo es garantizar que los resultados del modelo permanezcan estables e interpretables, incluso cuando cambien las entradas. 

El gobierno no se detiene una vez que se implementa un modelo. La supervisión continua del modelo es necesaria para detectar la degradación del rendimiento, la desviación en las entradas del modelo o los cambios en la calidad de los datos. Las herramientas de observabilidad pueden ayudar a rastrear métricas como la precisión y la recuperación, detectando anomalías que pueden requerir un nuevo entrenamiento o recalibración. 

En los flujos de trabajo modernos de operaciones de machine learning (MLOps), las organizaciones pueden automatizar partes del proceso de implementación, incorporando comprobaciones de gobierno directamente en la canalización de integración continua y entrega continua (CI/CD). Esto permite una iteración más rápida sin comprometer la supervisión.

El gobierno de modelos es un deporte de equipo en el que los científicos de datos, los responsables de riesgos, los líderes empresariales, los equipos de cumplimiento y los auditores son actores clave. La definición de responsabilidades y flujos de trabajo claros garantiza la responsabilidad en cada etapa del ciclo de vida, desde el desarrollo hasta la validación y la retirada del modelo. 

Un gobierno eficaz también implica comunicación. Ya sea a través de paneles de control internos, informes de gobierno o incluso un pódcast específico para equipos multifuncionales, la información debe fluir de forma eficiente entre los stakeholders.

Los principios del gobierno de modelos se aplican en una variedad de sectores, cada uno con sus propios riesgos, regulaciones y prioridades:

El gobierno de modelos se aplica a través de regulaciones regionales y globales que responsabilizan a las organizaciones de cómo gestionan los modelos a lo largo de su ciclo de vida. Entre las normativas más destacadas figuran:

La SR 11-7 establece la norma para la gestión del riesgo de modelo en la banca, exigiendo a las entidades que mantengan un inventario completo de modelos y apliquen prácticas de gobierno en toda la empresa. También exige que los modelos sirvan para los fines previstos, se mantengan actualizados y dispongan de una documentación lo suficientemente clara para su comprensión independiente.

La National Association of Insurance Commissioners (NAIC) introdujo regulaciones modelo en torno a la IA y la toma de decisiones algorítmicas, especialmente en lo que respecta a la calificación crediticia, los precios y la equidad demográfica. Estos factores son cada vez más críticos para la suscripción de seguros y el gobierno del procesamiento de reclamaciones.

La Ley de Inteligencia Artificial de la Unión Europea, también conocida como Ley de IA de la UE o Ley de IA, es una ley que rige el desarrollo y/o el uso de la IA en la UE. La ley adopta un enfoque de la regulación basado en el riesgo y aplica normas diferentes a las IA en función del riesgo que planteen.

Según el Reglamento General de Protección de Datos (RGPD), cualquier modelo que procese los datos personales de los ciudadanos de la UE debe seguir principios como la equidad, la transparencia y la rendición de cuentas. Esto afecta indirectamente a la gobernanza del modelo de ML, especialmente en lo que respecta a la explicabilidad y la calidad de los datos. 

Tanto la Autoridad Suiza Supervisora del Mercado Financiero (FINMA) como la Autoridad de Regulación Prudencial (PRA) del Reino Unido han publicado orientaciones sobre la IA y el uso de modelos en los servicios financieros: FINMA Guidance 08/2024 y PRA Supervisory Statement SS1/23, respectivamente.

Estos documentos abordan áreas como el gobierno de modelos, la explicabilidad de los modelos de ML y la documentación completa de modelos. Aunque comparten similitudes con la SR 11-7, cada una pone un énfasis único en aspectos como los riesgos específicos de la IA y la resiliencia operativa.​

El Marco de Basilea esboza los principios para una eficaz agregación de datos de riesgo y presentación de informes de riesgo (BCB 239), que enlazan directamente con las prácticas de gobierno de modelos, como la documentación, la explicabilidad y la supervisión del riesgo de modelo. Los bancos que operan a escala internacional suelen utilizar Basilea como norma de referencia junto con la SR 11-7.

Aunque el valor del gobierno de modelos es evidente, su aplicación a escala presenta varios retos:

• Volumen y complejidad de los modelos: a medida que las organizaciones adoptan más herramientas de ML e IA, mantener un modelo de inventario preciso se vuelve difícil, especialmente cuando los modelos están integrados en hojas de cálculo o plataformas de terceros.
  
  
• Explicabilidad y confianza: muchos stakeholders, incluidos los reguladores y los líderes empresariales, exigen modelos explicables. Equilibrar el rendimiento con la explicabilidad sigue siendo una tensión persistente en el gobierno del modelo de IA. 
  
  
• Integración con MLOps: los marcos de gobierno deben adaptarse a los flujos de trabajo en tiempo real y a las implementaciones de estilo DevOps, sin ralentizar la innovación. 

A medida que la IA y el ML se integran cada vez más en los flujos de trabajo, nuevas fuerzas están configurando la forma en que las organizaciones abordan el gobierno de los modelos. Aunque las prácticas fundacionales como la validación, la documentación de modelos y la supervisión de modelos siguen siendo esenciales, varias tendencias emergentes están empezando a redefinir las expectativas.

Estas tendencias reflejan un cambio más amplio: la evolución continua del gobierno de modelos desde un enfoque defensivo a una capacidad estratégica. Al aprovechar las prácticas de gobierno estructuradas y multifuncionales, las organizaciones pueden fortalecer la confianza en sus modelos de machine learning al tiempo que aceleran la innovación.