Qu’est-ce que la gestion de l’IA ?

Les systèmes d’intelligence artificielle se comportent différemment des logiciels traditionnels. Un programme logiciel classique suit des instructions explicites pour produire un résultat déterministe : un programme classique produira toujours le même résultat si on lui fournit les mêmes données d’entrée dans les mêmes circonstances. Un système piloté par l’IA produit des résultats probabilistes pilotés par le machine learning : sa production peut varier même si l’entrée et les circonstances restent les mêmes.

Cette logique dynamique est particulièrement puissante, mais l’imprévisibilité qu’elle implique comporte des risques potentiels. Par exemple, les entreprises sont confrontées à des risques de réputation liés à des productions biaisées ou toxiques. Les hallucinations de l’IA non contrôlées ou non remarquées présentent leur propre série de risques, allant de la simple gêne ou confusion des utilisateurs à des inexactitudes dans des scénarios essentiels ayant des conséquences majeures. Les attaques adversaires alimentées par l’IA ou les jeux de données compromis peuvent introduire des risques liés à la cybersécurité. Le non-respect des réglementations en matière d’IA dans un environnement en évolution rapide comporte des risques financiers et juridiques.

Un système AIMS est conçu pour anticiper et prendre en compte ces risques. Concrètement, un AIMS peut être défini comme un ensemble de politiques et de protocoles visant à intégrer une gouvernance de l’IA rigoureuse dans tous les workflows pertinents pour l’utilisation, par une entreprise, d’outils et de produits basés sur l’IA. Cela inclut des mesures telles que des évaluations proactives standardisées des risques, des mécanismes de rapport, des audits de routine et un suivi en temps réel des résultats et des performances des modèles.

Bien exécutés, les systèmes de gestion de l’IA ne se contentent pas de réduire les risques, mais optimisent aussi l’efficacité opérationnelle et instaurent la confiance entre développeurs, utilisateurs finaux et autres parties prenantes dont l’adhésion est essentielle à une adoption efficace de l’IA.

Un système complet de gestion de l’intelligence artificielle devrait aborder les points suivants :

Qui pourrait être concerné par les problèmes d’équité et de partialité, et comment serait-il affecté ? Votre projet d’IA pourrait-il involontairement entraîner de la discrimination ? Au-delà des exigences réglementaires, quelles sont vos responsabilités éthiques en matière de confidentialité des données et d’information précise sur les capacités et les limites du système ? Une transparence sincère sur ces questions éthiques maintient la confiance des parties prenantes et améliore la prise de décision ultérieure.

Quelles menaces spécifiques sont inhérentes au développement ou au déploiement de votre application d’IA ? Par exemple, l’utilisation d’outils d’IA dans les domaines de la santé ou du droit doit avoir des conséquences réglementaires. Les erreurs de l’IA dans les contextes du service client risquent de porter atteinte à la réputation. Étant donné que l’atténuation de ces menaces est l’un des principaux objectifs de votre AIMS, l’identification des risques spécifiques liés à l’IA dans votre cas d’utilisation devrait être l’une des premières et des plus importantes étapes du processus.

Une bonne gouvernance des données est essentielle pour maintenir la qualité et la sécurité des données utilisées pour entraîner les modèles d’IA (et des données générées par ces derniers). Elle est particulièrement importante dans les domaines qui impliquent le respect de cadres réglementaires. Par exemple, si un utilisateur fait valoir son « droit à l’oubli » dérivé du RGPD, votre système doit permettre de localiser et de supprimer facilement les données de cette personne. Les systèmes opérant dans des contextes de santé doivent protéger les informations sensibles conformément aux exigences HIPAA.

Les protocoles et les politiques visant à prendre en compte ces considérations doivent être intégrés non seulement dans le développement et le déploiement initial des systèmes d’IA, mais aussi dans leur maintenance permanente. Une gestion appropriée du cycle de vie de l’IA est nécessaire pour détecter et maîtriser les risques liés à la dérive des modèles ou à d’autres problèmes susceptibles de survenir au fil du temps.

Une stratégie pour interroger activement la santé de votre système d’IA au fil du temps est l’un des moyens les plus importants de maintenir les objectifs que votre AIMS est censé vous aider à atteindre. La structure et la cadence spécifiques des audits de routine comptent parmi les considérations opérationnelles les plus importantes en matière de gestion de l’IA.

À qui s’adresse la mise en œuvre et la supervision de tout cela ? Une délimitation claire des rôles et des responsabilités de chacun est nécessaire pour faire passer une stratégie de gestion de l’IA d’une approche qui semble positive sur le papier à une approche qui protège activement l’innovation en matière d’IA au sein de votre entreprise.

L’établissement de ces principes et processus dès le début du processus de développement de l’IA permet d’optimiser et de rationaliser la prise de décision par la suite.

Il existe de nombreuses façons de mettre en œuvre une gestion efficace de l’IA, et certaines entreprises peuvent choisir d’adopter des approches entièrement personnalisées pour leurs initiatives de gestion de l’IA. Mais beaucoup seront bien servis en respectant (ou du moins s’inspirant de) des cadres établis tels que l’ISO 42001, le cadre des exigences de gestion des risques IA du NIST ou les principes prescrits par la EU AI Act.

La norme ISO 42001 - abrégée en ISO/IEC 42001:2023 - estla première norme internationale au monde pour l'établissement, la mise en œuvre, la maintenance et l'amélioration continue de l'AIMS. Développée en 2023, l'objectif déclaré de la norme ISO 42001 est de fournir aux entreprises « les conseils complets dont elles ont besoin pour utiliser l'IA de manière responsable et efficace, même si la technologie évolue rapidement ». Les entreprises peuvent demander une certification formelle ISO 42001, qui implique un audit tiers des systèmes et processus afin d’évaluer leur conformité aux pratiques d’IA prescrites par ISO 42001.

Plus précisément, l’ISO 42001 prescrit une norme de système de gestion (MSS) pour une gouvernance organisationnelle solide de l’IA utilisant la méthodologie Plan-Do-Check-Act.

À l’étape du plan, un AIMS définit les règles d’engagement de votre système d’IA.

• Contexte et portée : définissez précisément les fonctionnalités de vos outils d’IA. Par exemple, vous pouvez spécifier qu’un chatbot de support client peut répondre à des questions de support ou transmettre des problèmes à un humain, mais qu’il ne peut pas autoriser directement des remboursements. 

• Évaluation des risques : recenser les menaces spécifiques liées à ce contexte et à cette portée. Par exemple, le bot du support client peut créer une hallucination de la politique d’une entreprise, provoquant de la confusion ou des attentes erronées. L’atlas des risques liés à l’IA d’IBM peut vous aider à démarrer.

• Définition objective : définissez des indicateurs concrets pour ce qui est considéré comme une « réussite ». Cela dépend généralement du problème que vous souhaitez résoudre en mettant en œuvre des outils d’IA. Si l’objectif de votre projet d’IA est de libérer la bande passante des employés pour des requêtes plus complexes. Par exemple, vous pouvez définir la réussite comme un certain pourcentage de cas résolus sans intervention humaine supplémentaire. 

Lors de l’étape Faire, les principes et les objectifs définis à l’étape précédente sont opérationnalisés dans un workflow de développement d’IA réel.

• Les menaces potentielles doivent être prises en compte dans les politiques de gouvernance des données.

• Des garde-fous et des redondances doivent être mis en place pour se prémunir contre les risques connus.

• L’automatisation de l’évaluation des performances du système, dans la mesure du possible, réduit le travail nécessaire pour mesurer objectivement le succès et améliorer par la suite le système.

Le système d’IA doit être activement supervisé. Chaque action entreprise par le système doit être enregistrée, afin de faciliter l’explication du système. Si un résultat donné du système d’IA est troublant ou insatisfaisant d’une manière ou d’une autre, il ne peut être amélioré que si vous pouvez identifier exactement où des erreurs se sont produites dans le processus.

Des audits de routine devraient permettre de s’assurer que les équipes suivent les protocoles AIMS et qu’elles le font de manière significative, et pas seulement de manière nominale.

En cas d’incidents, un système est en place pour arrêter les travaux et apporter les améliorations nécessaires. Si les audits révèlent des garanties insuffisantes, des problèmes imprévus ou des vulnérabilités de sécurité émergentes, de nouvelles mesures sont mises en place pour y remédier.

Le National Institute of Standards and Technology (NIST) est une agence intégrée au Department of Commerce des États-Unis. Le cadre de gestion des risques liés à l’IA du NIST (AI RMF) est un protocole adaptable pour une utilisation responsable de l’IA, complété par une vaste littérature de documents d’appui, notamment :

• Le protocole de l’IA RMF, qui propose des actions pour atteindre les résultats énoncés dans l’IA RMF même.

• La feuille de route de l’IA RMF, qui vise à « combler les lacunes en matière de connaissances, de pratique ou d’orientation », dans le but d’identifier des moyens de renforcer l’IA RMF elle-même et la capacité du NIST à aider les entreprises des secteurs public et privé à la mettre en œuvre.

• Les croisements piétons RMF par IA, conçus pour aider les entreprises à adapter les pratiques existantes à des concepts et des termes dans divers cadres des exigences de l’IA, y compris (mais sans s’y limiter) l’ISO 42001.

• Cas d’utilisation dans le gouvernement, les secteurs et le milieu universitaire.

Le protocole IA RMF s’appuie sur une méthodologie basée sur la gouvernance, la cartographie, la mesure et la gestion.

Un « comité des risques liés à l’IA » est créé. Ce comité définit la « tolérance aux risques » de l’entreprise et produit un document de politique en matière de risques liés à l’IA, à signer par la direction, qui précise explicitement qui est responsable de toute défaillance de l’IA.

Une phase de découverte identifie les risques spécifiques liés à la fois aux outils d’IA et à la manière dont les gens les utiliseront. Ce processus permet finalement d’établir le profil de risque, en détaillant toutes les menaces identifiées.

Chaque menace cartographiée est quantifiée en fonction de son impact potentiel sur l’entreprise ou ses clients. Cela implique généralement du red teaming et des équipes de stress, pour obtenir un rapport TEVV (test, évaluation, vérification et validation) qui fonctionne comme un « tableau de bord » en matière de précision et de fiabilité du système.

Les problèmes et les vulnérabilités potentielles constatés au cours de la phase de mesure sont traités et pris en compte.

Alors que l’ISO 42001 et le RMF IA du NIST sont des cadres des exigences volontaires, les dispositions de la EU AI Act sont des prescriptions obligatoires pour toute entreprise impliquée dans le développement et le déploiement de systèmes d’IA sur le marché européen.

Les dispositions de l’EU AI Act incluent :

• Documentation technique obligatoire pour la formation, les tests et l’évaluation des modèles.

• La fourniture d’informations sur les capacités et les limites des modèles IA pertinents à tous les fournisseurs en aval qui les utiliseront.

• Conformité à la directive européenne sur les droits d’auteur

• Synthèses publiques des données d’entraînement

Si un modèle d’IA donné dépasse 1 025 opérations en virgule flottante (FLOP) lors de la formation, il est considéré comme présentant des risques systémiques et doit faire l’objet de mesures de protection supplémentaires.

L’UE fournit des outils et des ressources pour aider les entreprises à se conformer à la loi sur l’IA, notamment un vérificateur de conformité interactif qui indique les dispositions qui s’appliquent à votre entreprise, un guide des petites et moyennes entreprises (PME) et un ensemble de documents articles spécifiques.