Qu’est-ce que « AI TRiSM » ?

AI TRiSM signifie gestion de la confiance, des risques et de la sécurité de l’intelligence artificielle (« artificial intelligence trust, risk and security management » en anglais). Ce cadre « garantit la gouvernance, la confiance, l’équité, la fiabilité, la robustesse, l’efficacité et la protection des données dans les modèles d’IA. Cela comprend des solutions et des techniques visant à garantir l’interprétabilité et l’explicabilité des modèles, la protection des données d’IA, le fonctionnement des modèles et la résistance aux attaques adverses¹. »
 

 Il a été développé par le cabinet de recherche et de conseil Gartner et « fournit des solutions proactives pour identifier et atténuer ces risques, garantissant ainsi fiabilité, confiance et sécurité² ».

Selon les chercheurs, il existe de nombreux cadres distincts qui se concentrent spécifiquement sur la confiance, les risques ou la sécurité dans l’IA, mais ils sont difficiles à intégrer et à synchroniser. Or, un tel manque de coordination peut entraîner une gestion fragmentée de l’IA. Il peut également créer des lacunes dans les connaissances sur les risques et les conséquences en matière de sécurité découlant de la mise en œuvre et des pratiques de l’IA.

Le cadre AI TRiSM offre toutefois une approche unifiée. Il rassemble les éléments importants de différents cadres afin de permettre une gestion plus complète des technologies d’IA.

Les partisans considèrent le cadre important pour atténuer les risques et les cybermenaces liés à l’avancement et à l’utilisation croissante de l’IA générative, par exemple les grands modèles de langage (LLM). Le recours à l’IA générative peut accroître la surface d’attaque des organisations, rendre les cyberattaques plus sophistiquées et soulever de nouvelles questions éthiques. Parmi les avantages d’AI TRiSM dans des domaines tels que la santé et la finance, on peut citer la réduction des risques, l’amélioration des mesures de surveillance des modèles et la protection contre les attaques adverses et les accès non autorisés³.

Selon Gartner, « la gestion de la confiance, des risques et de la sécurité dans l’IA (AI TRiSM) garantit :

• Gouvernance
• Fiabilité
• Équité
• Fiabilité
• Protection des données dans les déploiements d’IA⁴ »

On entend par gouvernance de l’IA l’ensemble des processus, normes et garde-fous destinés à garantir la sécurité et l’éthique des systèmes et outils d’IA. Une gouvernance efficace de l’IA passe par la gestion des risques, à l’aide de mécanismes permettant de traiter les éventuels biais, les atteintes à la confidentialité des données et d’autres problèmes, tout en renforçant la confiance et en soutenant l’innovation.

Elle implique la surveillance et l’évaluation continues des systèmes d’IA afin de garantir leur conformité avec les normes éthiques et les réglementations légales établies. La gouvernance de l’IA comprend la gouvernance des données, une discipline de la gestion des données dont l’objectif est de garantir des données sûres, de qualité et facilement accessibles, à des fins de découverte de données et de business intelligence.

Une variété d’organisations et de cadres définissent différents principes directeurs et objectifs en vue de déterminer le caractère digne de confiance des systèmes d’IA. Parmi les plus fréquemment cités, on retrouve la responsabilité, l’explicabilité et l’interprétabilité.

Lorsque les utilisateurs et d’autres parties prenantes peinent à comprendre le fonctionnement d’un modèle d’IA, cela peut nuire à leur confiance dans le système proprement dit. La mise en place de processus et de méthodologies adéquats favorise la compréhension et la confiance des utilisateurs dans les processus décisionnels et les résultats des modèles de machine learning.

L’équité implique souvent de réduire ou d’éliminer les biais dans les modèles d’IA et les données tout au long du cycle de développement. Les modèles d’IA reproduisent les biais présents dans la société, souvent intégrés dans les données d’apprentissage. Une collecte de données biaisée, reflétant des inégalités structurelles, peut nuire à des groupes historiquement marginalisés, notamment dans les domaines du crédit, du recrutement, etc.

L’identification et le traitement des biais dans l’IA nécessite la capacité de diriger, de gérer et de surveiller les activités d’IA au sein de l’entreprise. Ceci peut être réalisé grâce à la gouvernance de l’IA, plus précisément à la mise en place de politiques et de pratiques visant à orienter le développement et l’utilisation responsables des technologies d’IA.

La fiabilité désigne généralement la capacité d’un élément à fonctionner conformément aux attentes ou aux exigences pendant une période donnée et dans certaines conditions. Dans le cas des systèmes d’IA, répondre aux attentes en matière de performances implique notamment de fournir des résultats corrects pendant une période pouvant aller jusqu’à la durée de vie du système⁵.

La protection des données consiste à protéger les données sensibles contre la perte et la corruption. Elle vise à garantir la disponibilité des données, de sorte que les utilisateurs puissent y accéder pour mener à bien leurs activités, même en cas de violation ou d’attaque par un logiciel malveillant.

La protection des données englobe la sécurité des données (protection des informations numériques contre tout accès non autorisé, corruption ou vol) et la confidentialité des données (principe selon lequel une personne doit avoir le contrôle de ses données personnelles). Il s’agit d’un élément essentiel pour se conformer aux principaux cadres réglementaires, tels que le règlement général sur la protection des données (RGPD) de l’Union européenne.

AI TRiSM repose à la fois sur des technologies traditionnelles et sur des solutions plus récentes spécifiques à l’IA. Les premières comprennent des outils de gestion des identités et des accès (IAM) et des solutions de gestion de la posture de sécurité des données.

Les technologies d’IA dédiées à AI TRiSM varient selon les fournisseurs. Certaines se concentrent sur des fonctions particulières, telles que la sécurité ou la conformité. D’autres proposent des produits plus complets, dotés d’un large éventail de fonctionnalités dédiées à la gouvernance de l’IA, ainsi qu’à l’inspection et à l’application des règles d’exécution de l’IA :

Les logiciels de gouvernance de l’IA permettent aux entreprises de surveiller et d’enregistrer automatiquement les informations relatives aux modèles, notamment les activités de développement de l’IA, aux fins suivantes : faciliter les audits, évaluer les risques liés aux modèles, évaluer leurs performances, empêcher la génération de contenus préjudiciables et assurer la conformité réglementaire. Si certains outils de gouvernance se limitent aux modèles d’IA créés en interne, d’autres peuvent être appliqués à des modèles créés sur des plateformes tierces, telles qu’Amazon Bedrock et Microsoft Azure.

Selon un webinaire Gartner, les fonctions d’inspection et d’application des règles d’exécution de l’IA en temps réel couvrent les modèles, les applications et les agents d’IA. Les modèles, les applications et les agents d’IA assurent la « conformité aux contrôles internes et externes », tandis que les applications d’IA fournissent un « contrôle d’accès basé sur le contexte et une classification dynamique des données contextuelles⁶ ».

Il existe de nombreux cas d’utilisation d’AI TRiSM dans le déploiement et la gestion de l’IA en entreprise. Voici quelques exemples :

Les professionnels de santé ont de plus en plus recours à des outils alimentés par l’IA à des fins diverses, de l’automatisation des appareils médicaux à l’analyse d’images. Un programme AI TRiSM peut permettre de protéger les données de santé utilisées dans ces systèmes contre les violations de données. Des mesures telles que la mise en place de contrôles d’accès peuvent par exemple atténuer les risques potentiels d’accès non autorisé.

Lorsque des algorithmes d’IA sont entraînés à partir de jeux de données contenant des biais démographiques, les résultats peuvent être faussés. Ce problème est bien connu dans le secteur financier, où il affecte notamment l’octroi de prêts et les taux d’intérêt. Au Danemark, la Danish Business Association a appliqué les pratiques AI TRiSM en effectuant des tests d’équité pour valider les prédictions des modèles d’IA qui supervisent les transactions financières, ce qui a renforcé la confiance des clients⁷.

Outre le fait de garantir une plus grande équité dans les transactions financières, les mesures AI TRiSM contribuent à protéger les systèmes de détection des fraudes des institutions financières contre les attaques adverses⁸. Ces solutions d’IA facilitent également la mise en conformité des banques aux exigences légales en matière de protection des consommateurs et des informations sensibles.