La gouvernance de l’IA consiste à surveiller et à gérer les activités d’IA au sein de l’entreprise. Elle comprend des processus et des procédures permettant de retracer et de documenter l’origine des données et des modèles déployés au sein de l’entreprise, ainsi que les techniques utilisées pour entraîner, valider et surveiller la précision des modèles. Une bonne gouvernance de l’IA offre aux entreprises trois principaux avantages :
Conformité. S’assurer que les solutions d’IA et les décisions prises par cette dernière sont conformes aux pratiques acceptées, aux normes sectorielles et aux exigences réglementaires.
Confiance. Fiabiliser la prise de décision optimisée par l’IA en veillant à ce que que les modèles d’IA soient explicables et justes.
Efficacité. Normaliser et optimiser les pratiques de développement et de déploiement de l’IA pour réduire les coûts associés et accélérer la mise sur le marché.
Les entreprises qui choisissent de ne pas adopter la gouvernance de l’IA s’exposent à des conséquences lourdes. Le processus de machine learning est itératif et exige une collaboration. Sans une bonne gouvernance et une bonne documentation, il est impossible pour les data scientists et les vérificateurs de connaître l’origine des données utilisées par le modèle et la manière dont ce dernier a été créé. Les résultats peuvent s’avérer difficiles à reproduire. Si les administrateurs entraînent un modèle sur des données erronées ou incomplètes, des mois de travail peuvent être anéantis.
L’absence de gouvernance de l’IA peut également entraîner des sanctions importantes. Les banques se sont vu infliger des amendes de plusieurs millions d’euros pour avoir utilisé des modèles biaisés afin de déterminer l’éligibilité aux prêts. L’UE prévoit d’ajouter des obligations en matière d’IA au Règlement général sur la protection des données (RGPD). Les violations des dispositions du RGPD « font l’objet d’amendes administratives pouvant s’élever jusqu’à 20 000 000 EUR ou, dans le cas d’une entreprise, jusqu’à 4 % du chiffre d’affaires annuel mondial total de l’exercice précédent, le montant le plus élevé étant retenu. »
La réputation de la marque est également un enjeu majeur. Lors d’une expérience, un logiciel d’IA a été utilisé pour apprendre le langage des jeunes sur les réseaux sociaux. Les responsables administratifs ont rapidement retiré le logiciel après avoir constaté que des trolls lui avaient « appris » à créer des publications à caractère raciste, sexiste ou antisémite.
Architecture conceptuelle
Le diagramme ci-dessus illustre les principaux composants d’une solution de gouvernance de l’IA générative s’appuyant sur un grand modèle de langage (LLM).
La gouvernance des modèles fait office de chambre de compensation pour la gouvernance de l’IA. Ce composant associe tableaux de bord, rapports et fonctionnalités d’alerte utilisés pour permettre aux équipes de l’entreprise de garantir, de contrôler et de signaler le caractère équitable, transparent et conforme des modèles d’IA. Le composant de gouvernance des modèles permet également aux entreprises de définir des critères de contrôle, ainsi que d’autres politiques qui déterminent, pour chaque modèle, le moment et les modalités de passage du développement à la production.
La surveillance des modèles consiste à surveiller activement les résultats des modèles pour s’assurer qu’ils sont explicables, équitables et conformes à la réglementation, et qu’ils le restent une fois déployés. Si les sorties des modèles commencent à présenter des dérives ou des biais, le composant de surveillance les signale pour que l’équipe chargée des opérations d’IA les examine.
Présentation du concept
Le diagramme ci-dessous présente les interactions des composantes pour assurer la gouvernance de l’IA au sein de l’entreprise.
Présentation de la solution de gouvernance de l’IA montrant le flux d’informations et les interactions entre les composants pour le développement de modèles et la surveillance continue.
L’équipe chargée de la gouvernance au sein de l’entreprise utilise le composant de gouvernance des modèles pour (i) visualiser les modèles d’IA (de fondation ou non) déployés sur l’infrastructure privée, les hyperscalers et les plateformes cloud, et (ii) définir les critères minimaux d’exploitation, ainsi que d’autres politiques encadrant le déploiement et l’exploitation des modèles au sein de l’entreprise. Les critères et les contrôles sont transmis au composant de surveillance du modèle à des fins de surveillance et d’alerte.
Le développeur de modèles optimise un grand modèle de langage (LLM) et évalue la réponse de ce dernier aux prompts de test. Les résultats de ces tests, ainsi que les statistiques récapitulatives, sont saisis et transmis au composant de surveillance pour être enregistrés et assurer la traçabilité du modèle et des données.
Un validateur de modèles examine les résultats de l’ajustement et des tests et, avec l’aide du composant de surveillance du modèle, les compare aux critères de déclenchement et aux contrôles définis par l’équipe de gouvernance métier. Une fois ces critères et contrôles respectés, le modèle est approuvé pour une utilisation en production.
Le développeur utilise le composant de surveillance pour suivre la performance du modèle au fil du temps. Il veille notamment à ce que les réponses du modèle remplissent les critères de l’entreprise : équité (absence de biais), précision (réponses correctes) et transparence (réponses explicables).
Le composant de surveillance surveille en permanence les modèles d’IA déployés (modèles de fondation/génératifs et modèles de machine learning « traditionnels »), afin de recueillir des statistiques sur leur précision et leur performance.
Le composant de surveillance du modèle recueille également les prompts de l’utilisateur et les réponses du modèle pour (i) éviter la dérive du modèle (biais et/ou écarts de précision), et (ii) extraire les données de test afin d’identifier les domaines thématiques ou les catégories de données nécessitant un réglage supplémentaire.
La solution IBM aujourd’hui
La cartographie actuelle des solutions IBM watsonx.governance et IBM OpenPages au modèle conceptuel sont présentées dans le diagramme ci-dessous. Les modèles de fondation exécutés sur les outils de bout en bout watsonx.ai sur site, sur une infrastructure cloud ou sur une plateforme d’IA tierce comme Amazon Sagemaker, sont surveillés au moment de l’exécution par watsonx.governance. watsonx.governance permet également de créer, de mettre à jour et de gérer les fiches de modèle, appelées « AI Factsheets » dans watsonx.governance, de relever les mesures de performance des modèles et de générer des rapports. Le module de gestion des risques liés aux modèles inclus dans IBM OpenPages fournit les fonctionnalités de compte rendu et de gestion des risques, ainsi que les fonctionnalités de gestion des politiques de développement et de déploiement des modèles.
Illustration de la manière dont IBM OpenPages et IBM watsonx.governance s’intègrent dans la solution pour offrir respectivement des capacités de gouvernance et de surveillance des modèles.
La solution IBM demain
Dans un avenir proche, watsonx.governance regroupera des capacités de gouvernance et de surveillance des modèles
Illustration des capacités de gouvernance et de surveillance des modèles qu’IBM watsonx.governance proposera dans un avenir proche.
La gouvernance des solutions d’IA générative est similaire à celle des modèles d’IA traditionnels. Leurs capacités nécessitent toutefois une gestion plus étroite des entrées et des sorties que les modèles traditionnels, afin de se prémunir contre les prompts inappropriés ou malveillants, et de s’assurer que les modèles produisent des sorties factuelles et acceptables. Cette section illustre la manière dont IBM watsonx.governance est appliqué aux modèles de fondation dans deux cas d’utilisation essentiels : « gestion du cycle de vie des modèles » et « risques liés aux modèles et conformité réglementaire ».
Gestion du cycle de vie des modèles
Présentation de la solution montrant les interactions des utilisateurs et autres composants avec IBM watsonx.governance pour gérer le cycle de vie des modèles d’IA.
Le diagramme ci-dessus illustre la manière dont watsonx.governance facilite la gestion du cycle de vie des modèles, des tests au déploiement en passant par la validation.
Le développeur optimise les prompts du modèle dans la solution sur site watsonx.ai, le service watsonx.ai, ou sur une autre plateforme sur site ou dans le cloud, puis développe et teste les prompts.
Les prompts et les données de réponse des modèles, ainsi que les indicateurs de performance tels que ROUGE, Sari, Chrf et BLEU, sont recueillis par la fonction de gestion du stock de modèles dans watsonx.governance. Plusieurs versions des prompts et des données de réponse sont recueillies pour permettre la comparaison croisée et la sélection de la combinaison modèle-prompts la plus adaptée aux besoins de l’entreprise.
Le vérificateur de modèle examine les résultats des combinaisons prompts-modèles et sélectionne une version à approuver pour le déploiement en production.
Les développeurs de modèles utilisent les mêmes capacités pour suivre les combinaisons de modèle/prompts et leur performance dans différents cas d’utilisation.
Risques liés aux modèles et conformité réglementaire
Les composantes « Risques liés aux modèles et conformité réglementaire » de watsonx.governance sont présentées ci-dessous.
Présentation de la solution montrant les interactions des utilisateurs et autres composants avec IBM OpenPages et IBM watsonx.governance pour gérer les risques liés aux modèles et assurer la conformité réglementaire.
L’équipe chargée de la gouvernance de l’IA au sein de l’entreprise détermine et définit les critères que doivent respecter les modèles en production, à savoir les valeurs minimale et maximale, ainsi que la variance autorisée pour les indicateurs tels que ROUGE. Ces critères sont définis dans l’outil IBM OpenPages Model Risk Management, puis transmis à watsonx.governance.
Le développeur optimise les prompts et développe des prompts de test en s’appuyant sur un modèle de fondation déployé dans la solution sur site watsonx.ai, le service watsonx.ai, ou sur une autre solution sur site ou cloud, telle que Sagemaker.
Les informations sur les prompts et les données de réponse du modèle, ainsi que les indicateurs de performance de ce dernier, sont propagées vers watsonx.governance, où les indicateurs sont comparés aux seuils fixés par l’équipe de gouvernance.
Une fois les indicateurs comparés, les résultats sont transmis à IBM OpenPages à des fins d’examen et de compte rendu par l’équipe de gouvernance. Plus précisément, si la combinaison prompt-modèle répond à tous les critères définis, elle pourra être signalée comme étant prête pour la production ou sans risque. Si le modèle ne répond qu’à certains critères, il peut être signalé comme peu performant et non prêt pour la production, selon la politique définie par l’équipe de gouvernance.
Décisions et considérations relatives à l’architecture
Mettre en place un mécanisme pour opérationnaliser l’IA en toute confiance. Il est impératif d’évaluer le modèle lors du développement et du déploiement pour s’assurer que les réponses du LLM ne sont pas le résultat d’une hallucination et qu’elles sont exemptes de tout propos haineux. Veiller à ce que les réponses du LLM soient explicables, éthiques, fiables et non biaisées. Les indicateurs de qualité du LLM sont très différents de ceux des modèles d’IA traditionnels, qui permettent au data scientist de choisir les indicateurs de manière constante.
Les solutions d’IA générative déployées doivent être cohérentes, sans qu’aucun biais ni aucune dérive n’apparaisse au fil du temps. Il n’est pas rare qu’une entreprise emploie divers LLM sur différents clouds, c’est pourquoi une gouvernance centralisée est indispensable. Il est essentiel d’adopter une approche visant à gouverner divers environnements de déploiement sur plusieurs clouds.
S’assurer que les applications d’IA générative déployées sont à jour et conformes aux réglementations sectorielles en constante évolution. Obtenir une vue unique des modèles déployés par l’entreprise et de leur état.
Veiller à exclure tout contenu de type « haine, abus, injure » des données d’entraînement. Être également en mesure d’indemniser l’entreprise en cas d’utilisation des données propriétaires, tout en veillant à ce qu’aucune donnée personnelle ou protégée par un droit de propriété intellectuelle ne soit divulguée. Être en mesure de réaliser des audits et d’assurer la traçabilité des données utilisées par la solution d’IA générative est essentiel.
Cela décrit la manière dont le modèle RAG est déployé de bout en bout avec des capacités de surveillance et de gouvernance tout au long de son cycle de vie. Tout comme la gouvernance des modèles, la gouvernance des données est très importante. Nous illustrons la manière dont des composants d’IBM watsonx.governance tels que AI OpenScale, FactSheets et IBM Open Pages nous permettent d’assurer la gestion et la gouvernance des applications d’IA générative. IBM Watson Knowledge Catalog optimise la gestion des données, notamment leur catalogage, leur traçabilité et la gestion des données personnelles.
L’architecture d’IA générative d’IBM est celle proposée par IBM IT Architect Assistant (IIAA), un outil de développement et de gestion des architectures. IIAA permet aux architectes d’élaborer et de personnaliser l’architecture pour créer leurs propres solutions d’IA génératives.