Qu’est-ce que la gouvernance des modèles ?

La gouvernance des modèles a vu le jour dans le secteur financier en réponse aux risques liés à la complexité des modèles financiers. Avec l’essor des technologies d’intelligence artificielle (IA) et de machine learning (ML), elle a rapidement gagné en importance. Selon McKinsey, 78 % des organisations déclarent utiliser l’IA dans au moins une de leurs fonctions, ce qui souligne à quel point les modèles d’IA et de ML font désormais partie intégrante de la prise de décision opérationnelle et stratégique. 

L’objectif de la gouvernance des modèles est de garantir que les modèles (financiers traditionnels ou de machine learning) fonctionnent comme prévu, restent conformes et fournissent des résultats dignes de confiance au fil du temps. Un cadre solide de gouvernance des modèles favorise la transparence, la responsabilité et la répétabilité tout au long du cycle de vie des modèles.

Dans les secteurs réglementés tels que la banque et l’assurance, la gouvernance des modèles fait partie des exigences de conformité. Aux États-Unis, l’Office of the Comptroller of the Currency (OCC) définit des pratiques de gouvernance spécifiques à la gestion des risques liés aux modèles pour les institutions financières. Bien que les directives de l’OCC n’aient pas force de loi, elles sont utilisées dans le cadre des contrôles réglementaires. Leur non-respect peut entraîner des amendes ou d’autres sanctions.

À mesure que la prise de décision en temps réel se généralise et que les exigences réglementaires évoluent, une gouvernance efficace des modèles apparaît comme un impératif pour les organisations qui souhaitent exploiter l’IA de manière responsable.

Les organisations s’appuient de plus en plus sur des modèles complexes pour prendre des décisions critiques. Qu’il s’agisse de notation de crédit dans le secteur bancaire ou d’évaluation des risques dans le domaine de la santé, l’efficacité de ces modèles dépend des cadres de gouvernance qui les encadrent.

La gouvernance des modèles fournit une structure permettant de superviser le développement, le déploiement et les performances continues des modèles. En établissant clairement les contrôles et les responsabilités à chaque étape du cycle de vie des modèles, les organisations peuvent garantir la fiabilité de leurs modèles et leur adéquation avec leurs objectifs métier. La gouvernance des modèles devient ainsi un élément fondamental de la gestion des risques, de la conformité réglementaire et de l’intégrité opérationnelle. 

La plupart des modèles, en particulier de ML, sont désormais intégrés aux principaux processus de l’entreprise. Sans une gouvernance adéquate, ces modèles peuvent dériver au fil du temps, ce qui peut entraîner une dégradation de leurs performances, des résultats biaisés ou des décisions incohérentes par rapport aux conditions du marché ou aux tendances démographiques du moment. Dans des secteurs tels que la finance ou la santé, ces dysfonctionnements peuvent avoir des conséquences considérables dans le monde réel. 

La gouvernance des modèles fournit un mécanisme permettant d’évaluer et d’atténuer ces risques avant qu’ils n’affectent les résultats de l’entreprise. Par ailleurs, les organisations peuvent utiliser la gouvernance des modèles pour :

• Améliorer la conformité réglementaire en respectant les exigences de l’OCC et d’autres organismes de réglementation.
• Renforcer la confiance des parties prenantes en garantissant l’explicabilité, la cohérence et la fiabilité des résultats des modèles.
• Optimiser l’efficacité opérationnelle grâce à l’automatisation et à l’intégration des workflows de gouvernance.

Alors que l’adoption de l’IA s’accélère, la gouvernance des modèles sert également de base à une IA éthique. Elle permet d’intégrer l’équité, la responsabilité et la transparence dans la conception et le déploiement des modèles dans divers cas d’utilisation. 

Un cadre de gouvernance des modèles permet de structurer un écosystème souvent tentaculaire d’algorithmes, de jeux de données, de parties prenantes et de workflows. Bien que les cadres varient d’un secteur à l’autre, ils comprennent généralement les éléments essentiels suivants :

Une gouvernance solide commence à la source : le développement des modèles. Cet élément comprend la définition des objectifs, la sélection des données d’entraînement, la validation des sources de données et la vérification de la conformité des entrées avec le cas d’utilisation prévu. La qualité des données est essentielle à ce stade, car des entrées erronées ou biaisées peuvent entraîner des résultats de mauvaise qualité.

La documentation des modèles doit rendre compte de la méthodologie choisie, des hypothèses formulées, des jeux de données utilisé et des résultats attendus. Elle sert de base à la transparence et facilite les mises à jour, les audits et la validation des modèles à l’avenir.

Un inventaire centralisé des modèles permet aux organisations de suivre chaque modèle utilisé, ainsi que son objectif, son propriétaire, sa méthodologie et son statut au cours de son cycle de vie. Cela englobe les modèles financiers, les algorithmes de notation de crédit, les modèles de ML utilisés pour la détection des fraudes et même les modèles intégrés dans des feuilles de calcul. 

Un inventaire des modèles bien tenu permet également de mieux évaluer les risques et facilite la prise de décision en temps réel concernant leur utilisation.

La validation est un aspect essentiel de la gestion des risques liés aux modèles. Des équipes de validation indépendantes testent les modèles à l’aide de données historiques (tests rétrospectifs), évaluent leur sensibilité à des facteurs dynamiques tels que les taux d’intérêt ou les changements démographiques, et vérifient que les résultats correspondent aux attentes de l’entreprise.

Pour les modèles de ML, la validation s’étend à la vérification des biais algorithmiques, de la robustesse et du surajustement, qui se produit lorsqu’un algorithme correspond trop étroitement (voire exactement) aux données d’entraînement et ne peut tirer de conclusions précises à partir d’autres données. L’objectif est de garantir que les résultats d’un modèle restent stables et interprétables, même lorsque les entrées changent. 

La gouvernance ne s’arrête pas une fois que les modèles sont déployés. Une surveillance continue des modèles est nécessaire pour détecter toute dégradation des performances, dérive des données d’entrée ou changement dans la qualité des données. Les outils d’observabilité facilitent le suivi d’indicateurs tels que la précision et le rappel, et détectent les anomalies pouvant nécessiter un réentraînement ou un recalibrage. 

Dans les workflows MLOps (Machine Learning Operations) modernes, il est possible d’automatiser certaines parties du processus de déploiement en intégrant des contrôles de gouvernance directement dans le pipeline CI/CD (Continuous Integration/Continuous Delivery). Cela permet d’accélérer les itérations sans compromettre la supervision.

La gouvernance des modèles est un travail d’équipe dans lequel les data scientists, les responsables de la gestion des risques, les dirigeants d’entreprise, les équipes de conformité et les auditeurs jouent tous un rôle clé. La définition de responsabilités et de workflows clairs garantit que chacun assume ses responsabilités à chaque étape du cycle de vie des modèles, du développement à la validation, en passant par le retrait. 

Une gouvernance efficace passe également par la communication. Que ce soit via des tableaux de bord internes, des rapports de gouvernance ou même un podcast dédié aux équipes pluridisciplinaires, les informations doivent circuler efficacement entre les parties prenantes.

Les principes de gouvernance des modèles s’appliquent à un large éventail de secteurs, qui ont chacun leurs propres risques, réglementations et priorités :

La gouvernance des modèles est appliquée par le biais de réglementations régionales et mondiales qui tiennent les organisations responsables de la manière dont elles gèrent les modèles tout au long de leur cycle de vie et les obligent à en rendre compte. Parmi les réglementations notables, citons :

La norme SR 11-7 définit les exigences réglementaires applicables au secteur bancaire en matière de gestion des risques liés aux modèles. Elle impose aux établissements financiers de tenir un inventaire complet des modèles utilisés et de mettre en œuvre des pratiques de gouvernance à l’échelle de l’entreprise. La norme exige également que les modèles répondent à leur objectif, soient tenus à jour et accompagnés d’une documentation suffisamment claire pour permettre à des personnes indépendantes de les comprendre.

La National Association of Insurance Commissioners (NAIC) a introduit des réglementations types concernant l’IA et la prise de décision algorithmique, en particulier en ce qui concerne la notation de crédit, la tarification et l’équité démographique. Ces facteurs revêtent une importance croissante dans la gouvernance relative à la souscription d’assurances et au traitement des sinistres.

La loi européenne sur l’intelligence artificielle, également connue sous le nom d’AI Act vise à encadrer le développement et/ou l’utilisation de l’ intelligence artificielle (IA) au sein de l’Union européenne (UE). Cette loi adopte une approche réglementaire axée sur les risques, appliquant des règles différentes aux systèmes d’IA selon le niveau de risque qu’ils présentent.

En vertu du règlement général sur la protection des données (RGPD), tout modèle qui traite les données personnelles des citoyens de l’UE doit respecter des principes tels que l’équité, la transparence et la responsabilité. Cette réglementation a une incidence indirecte sur la gouvernance des modèles de ML, en particulier en matière d’explicabilité et de qualité des données. 

L’Autorité fédérale de surveillance des marchés financiers (FINMA) de Suisse et la Prudential Regulation Authority (PRA) du Royaume-Uni ont toutes deux publié des lignes directrices sur l’utilisation de l’IA et des modèles dans les services financiers, respectivement sous les noms Communication FINMA sur la surveillance 08/2024 et PRA Supervisory Statement SS1/23.

Ces documents traitent de sujets tels que la gouvernance des modèles, l’explicabilité des modèles de ML et la documentation complète des modèles. Bien qu’ils présentent des similitudes avec la norme SR 11-7, chacun met l’accent sur des aspects particuliers tels que les risques inhérents à l’IA et la résilience opérationnelle.

Le cadre de Bâle définit les principes visant à garantir des pratiques efficaces d’agrégation des données sur les risques et de notification des risques (BCB 239). Ces principes sont directement liés aux pratiques de gouvernance des modèles, telles que la documentation, l’explicabilité et la surveillance des risques liés aux modèles. Les banques opérant à l’international se basent souvent sur le cadre de Bâle, parallèlement à la norme SR 11-7.

Si la gouvernance des modèles présente un intérêt évident, sa mise en œuvre à grande échelle pose plusieurs défis :

• Volume et complexité des modèles : à mesure que les entreprises adoptent davantage d’outils de ML et d’IA, il devient difficile de maintenir un inventaire précis des modèles, en particulier lorsque ceux-ci sont intégrés à des feuilles de calcul ou à des plateformes tierces.
  
  
• Explicabilité et confiance : de nombreuses parties prenantes, notamment les organismes de réglementation et les dirigeants d’entreprise, exigent des modèles explicables. Trouver le juste équilibre entre performances et explicabilité reste un défi permanent dans la gouvernance des modèles d’IA. 
  
  
• Intégration au MLOps : les cadres de gouvernance doivent s’adapter aux workflows en temps réel et aux déploiements de type DevOps, sans ralentir l’innovation. 

Alors que l’IA et le ML se fondent de plus en plus dans les workflows, les organisations sont amenées à repenser leur approche de la gouvernance des modèles. Si les pratiques de base telles que la validation, la documentation et la surveillance des modèles restent essentielles, plusieurs tendances émergentes commencent à redéfinir les attentes.

Ces tendances reflètent un changement plus global : l’évolution continue de la gouvernance des modèles, qui passe d’une approche défensive à une capacité stratégique. En tirant parti de pratiques de gouvernance structurées et transversales, les organisations peuvent renforcer la confiance dans leurs modèles de machine learning tout en accélérant l’innovation.