¿Qué es el modelo de gobernanza?

La gobernanza de modelos se originó en el sector financiero para dirección los riesgos de los modelos financieros complejos. A medida que la inteligencia artificial (IA) y las tecnologías de machine learning (ML) ganaban protagonismo, la relevancia de la gobernanza de modelos se ampliaba rápidamente. Según McKinsey, el 78 % de las organizaciones afirman utilizar la IA en al menos una función empresarial, lo que pone de manifiesto hasta qué punto los modelos de IA y ML se han integrado en la toma de decisiones operativas y estratégicas. 

El propósito de la gobernanza de modelos es garantizar que los modelos, ya sean modelos financieros tradicionales o modelos machine learning , funcionen según lo previsto, sigan cumpliendo y brinden resultados confiables a lo largo del tiempo. Un modelo estable de gobernanza infraestructura/marco apoya la transparencia, la responsabilidad y la repetibilidad a lo largo de todo el ciclo de vida del modelo.

En industrias reguladas como la banca y los seguros, la gobernanza del modelo es un requisito de cumplimiento. En Estados Unidos, la Oficina del Contralor de la Moneda (OCC) describe prácticas de gobernanza específicas para gestionar el riesgo de modelo en las instituciones financieras. Si bien la orientación de la OCC no tiene fuerza de ley, se utiliza en exámenes regulatorios. El incumplimiento puede dar lugar a multas u otras sanciones.

A medida que la toma de decisiones en tiempo real se convierte en la norma y los requisitos regulatorios evolucionan, la gobernanza de modelos efectiva está surgiendo como una capacidad crítica para las organizaciones que buscan aprovechar la IA de manera responsable.

Las organizaciones emplean cada vez más modelos complejos para apoyar la toma de decisiones de alto riesgo. Ya se trate de la calificación crediticia en la industria bancaria o de la evaluación del riesgo de los pacientes en la atención sanitaria, estos modelos son tan eficaces como la infraestructura que los rigen. 

La gobernanza de modelos proporciona una estructura para supervisar el desarrollo, el despliegue y el rendimiento continuo de los modelos. Al establecer controles claros y responsabilidad en cada etapa del ciclo de vida del modelo, las organizaciones pueden garantizar que sus modelos sigan siendo confiables y alineados con los objetivos comerciales. Esto hace que la gobernanza del modelo sea un componente fundamental de la gestión de riesgos , el cumplimiento normativo y la integridad operativa. 

La mayoría de los modelos, en particular los modelos de machine learning, se han integrado en la actividad principal. Sin una gobernanza adecuada, estos modelos pueden desviarse con el tiempo, lo que lleva a un rendimiento degradado del modelo, resultados con sesgo o decisiones que no se alinean con las condiciones actuales del mercado o las tendencias demográficas. En sectores como las finanzas o la atención médica, estas fallas pueden tener consecuencias significativas en el mundo real. 

La gobernanza del modelo proporciona un mecanismo para evaluar y mitigar estos riesgos antes de que afecten los resultados del negocio. Más allá de eso, las organizaciones pueden utilizar la gobernanza de modelos para:

• Mejore el cumplimiento normativo alineándose con los requisitos de la OCC y otros organismos reguladores
• Aumentar la confianza entre los stakeholders al garantizar la explicabilidad, la consistencia y la confiabilidad de los resultados del modelo
• Optimice la eficiencia operativa mediante la automatización y la integración de los flujos de trabajo de gobernanza

A medida que se acelera la adopción de la IA, la gobernanza de modelos también sirve como base para una IA ética. Ofrece una forma de integrar la equidad, la responsabilidad y la transparencia en el diseño y el despliegue de modelos en diversos casos de uso. 

Un marco de gobernanza para modelos aporta estructura a lo que suele ser un ecosistema en expansión de algoritmos, conjuntos de datos, stakeholders y flujos de trabajo. Si bien las infraestructuras varían según las industrias, generalmente incluyen los siguientes componentes centrales:

Una gobernanza estable comienza en la fuente: el desarrollo del modelo. Este componente incluye la definición de objetivos, la selección de datos de entrenamiento, la validación de fuentes de datos y la garantía de que las entradas del modelo estén alineadas con el caso de uso previsto. La calidad de los datos es esencial aquí, ya que las entradas con defectos o sesgo pueden conducir a resultados del modelo de baja calidad.

La documentación del modelo debe recoger la justificación de la metodología elegida, los supuestos realizados, el conjunto de datos empleado y los resultados previstos del modelo. Esta documentación sirve de proyecto técnico para la transparencia y ayuda a agilizar futuras actualizaciones, auditorías y validación de modelos.

Un inventario de modelos centralizado permite a las organizaciones realizar un seguimiento de cada modelo en uso, junto con su propósito, propiedad, metodología y estado en el ciclo de vida. Esto incluye modelos financieros, algoritmos de puntuación crediticia, modelos de aprendizaje automático (ML) utilizados para la detección de fraude e incluso modelos incrustados en hojas de cálculo. 

Un inventario de modelos bien mantenido también respalda una mejor evaluación de riesgos y facilita la toma de decisiones en tiempo real sobre el uso del modelo.

La validación es un aspecto central de la gestión del riesgo de modelo. Equipos de validación independientes prueban el modelo con datos históricos (back-testing), evalúan la sensibilidad a factores dinámicos como tasas de interés o cambios demográficos y Verify que los resultados se alineen con las expectativas del negocio.

Para los modelos de aprendizaje automático (ML), la validación se extiende a verificar el sesgo algorítmico, la robustez y el sobreajuste, que es cuando un algoritmo se ajusta demasiado (o incluso exactamente) a sus datos de entrenamiento y no puede sacar conclusiones precisas de ningún otro dato. El objetivo es garantizar que los resultados del modelo permanezcan estables e interpretables, incluso a medida que cambian las entradas. 

La gobernanza no se detiene una vez que se despliega un modelo. El monitoreo continuo del modelo es necesario para detectar la degradación del desempeño, la deriva en las entradas del modelo o los cambios en la calidad de los datos. Las herramientas de observabilidad pueden ayudar a rastrear métricas como la precisión y la recuperación, detectando anomalías que pueden requerir un nuevo entrenamiento o recalibración. 

En los flujos de trabajo modernos de operaciones de machine learning (MLOps) workflows, las organizaciones pueden automatizar partes del proceso de despliegue, incorporando verificaciones de gobernanza directamente en el pipeline de integración continua, entrega continua (CI/CD). Esto permite una iteración más rápida sin comprometer la supervisión.

El gobierno de modelos es un deporte de equipo en el que los científicos de datos, los oficiales de riesgo, los líderes empresariales, los equipos de cumplimiento y los auditores son todos actores clave. La definición de responsabilidades y flujos de trabajo claros garantiza la rendición de cuentas en cada etapa del ciclo de vida, desde el desarrollo hasta la validación y la retirada del modelo. 

La gobernanza eficaz también implica comunicación. Ya sea a través de paneles internos, informes de gobernanza o incluso un podcast dedicado para equipos multifuncionales, la información debe fluir de manera eficiente entre los stakeholders.

Los principios de gobierno del modelo se aplican en una variedad de industrias, cada una con sus propios riesgos, regulaciones y prioridades:

La gobernanza de los modelos se aplica a través de regulaciones regionales y globales que responsabilizan a las organizaciones por cómo gestionan los modelos a lo largo de su ciclo de vida. Entre las regulaciones notables se incluyen:

La SR 11-7 establece el estándar para la gestión del riesgo de modelos en la banca, requiriendo que las instituciones mantengan un inventario completo de modelos e implementen prácticas de gobernanza en toda la empresa. También exige que los modelos cumplan su propósito previsto, permanezcan actualizados y tengan documentación que sea lo suficientemente clara para una comprensión independiente.

La Asociación Nacional de Comisionados de Seguros (NAIC) introdujo regulaciones modelo en torno a la IA y la toma de decisiones algorítmicas, particularmente en lo que respecta a la puntuación crediticia, los precios y la equidad demográfica. Estos factores son cada vez más críticos para la suscripción de seguros y la gobernanza del procesamiento de reclamaciones.

La Ley de Inteligencia Artificial de la Unión Europea, también conocida como Ley de IA de la UE o Ley de IA, es una ley que rige el desarrollo y/o uso de la IA en la UE. La ley adopta un enfoque de regulación basado en el riesgo, aplicando diferentes reglas a la IA según los riesgos que plantean.

Según el Reglamento General de Protección de Datos (RGPD), cualquier modelo que procese los datos personales de los ciudadanos de la UE debe seguir principios como la equidad, la transparencia y la responsabilidad. Esto afecta indirectamente la gobernanza del modelo de machine learning (ML), especialmente para la explicabilidad y la calidad de los datos. 

Tanto la Autoridad Suiza Supervisora del Mercado Financiero (FINMA) como la Autoridad de Regulación Prudencial (PRA) del Reino Unido han publicado orientaciones sobre la IA y el uso de modelos en los servicios financieros: FINMA Guidance 08/2024 y PRA Supervisory Statement SS1/23, respectivamente.

Estos documentos abordan áreas como el gobierno de modelos, la explicabilidad de los modelos de ML y la documentación completa de modelos. Aunque comparten similitudes con la SR 11-7, cada una pone un énfasis único en aspectos como los riesgos específicos de la IA y la resiliencia operativa.​

El Marco de Basilea esboza los principios para una eficaz agregación de datos de riesgo y presentación de informes de riesgo (BCB 239), que enlazan directamente con las prácticas de gobierno de modelos, como la documentación, la explicabilidad y la supervisión del riesgo de modelo. Los bancos que operan a escala internacional suelen utilizar Basilea como norma de referencia junto con la SR 11-7.

Si bien el valor de la gobernanza de modelos es claro, implementarlo a escala presenta varios desafíos:

• Volumen y complejidad de los modelos: a medida que las organizaciones adoptan más herramientas de aprendizaje automático (ML) e IA, mantener un inventario preciso de modelos se vuelve difícil, especialmente cuando los modelos están integrados en hojas de cálculo o plataformas de terceros.
  
  
• Explicabilidad y confianza: muchos stakeholders, incluidos los reguladores y los líderes empresariales, requieren modelos explicables. Equilibrar el rendimiento con la explicabilidad sigue siendo una tensión persistente en la gobernanza del modelo de IA. 
  
  
• Integración con MLOps: los marcos de gobierno deben adaptarse a los flujos de trabajo en tiempo real y a las implementaciones de estilo DevOps, sin ralentizar la innovación. 

A medida que la IA y el aprendizaje automático (ML) se integran más en los flujos de trabajo, nuevas fuerzas están dando forma a la forma en que las organizaciones abordan la gobernanza de los modelos. Aunque las prácticas fundamentales como la validación, la documentación de modelos y la supervisión de modelos siguen siendo esenciales, varias tendencias emergentes están empezando a redefinir las expectativas.

Estas tendencias reflejan un cambio más amplio: la evolución continua de la gobernanza de modelos desde un enfoque defensivo a una capacidad estratégica. Al aprovechar las prácticas de gobernanza estructuradas y multifuncionales, las organizaciones pueden fortalecer la confianza en sus modelos de machine learning mientras aceleran la innovación.