Il a été développé par le cabinet de recherche et de conseil Gartner et « fournit des solutions proactives pour identifier et atténuer ces risques, garantissant ainsi fiabilité, confiance et sécurité2 ».
Obtenez des informations sur les actualités les plus importantes et les plus intrigantes en matière d’intelligence artificielle. Abonnez-vous à notre newsletter hebdomadaire Think. Lire la Déclaration de confidentialité d’IBM.
Selon les chercheurs, il existe de nombreux cadres distincts qui se concentrent spécifiquement sur la confiance, les risques ou la sécurité dans l’IA, mais ils sont difficiles à intégrer et à synchroniser. Or, un tel manque de coordination peut entraîner une gestion fragmentée de l’IA. Il peut également créer des lacunes dans les connaissances sur les risques et les conséquences en matière de sécurité découlant de la mise en œuvre et des pratiques de l’IA.
Le cadre AI TRiSM offre toutefois une approche unifiée. Il rassemble les éléments importants de différents cadres afin de permettre une gestion plus complète des technologies d’IA.
Les partisans considèrent le cadre important pour atténuer les risques et les cybermenaces liés à l’avancement et à l’utilisation croissante de l’IA générative, par exemple les grands modèles de langage (LLM). Le recours à l’IA générative peut accroître la surface d’attaque des organisations, rendre les cyberattaques plus sophistiquées et soulever de nouvelles questions éthiques. Parmi les avantages d’AI TRiSM dans des domaines tels que la santé et la finance, on peut citer la réduction des risques, l’amélioration des mesures de surveillance des modèles et la protection contre les attaques adverses et les accès non autorisés3.
Selon Gartner, « la gestion de la confiance, des risques et de la sécurité dans l’IA (AI TRiSM) garantit :
On entend par gouvernance de l’IA l’ensemble des processus, normes et garde-fous destinés à garantir la sécurité et l’éthique des systèmes et outils d’IA. Une gouvernance efficace de l’IA passe par la gestion des risques, à l’aide de mécanismes permettant de traiter les éventuels biais, les atteintes à la confidentialité des données et d’autres problèmes, tout en renforçant la confiance et en soutenant l’innovation.
Elle implique la surveillance et l’évaluation continues des systèmes d’IA afin de garantir leur conformité avec les normes éthiques et les réglementations légales établies. La gouvernance de l’IA comprend la gouvernance des données, une discipline de la gestion des données dont l’objectif est de garantir des données sûres, de qualité et facilement accessibles, à des fins de découverte de données et de business intelligence.
Une variété d’organisations et de cadres définissent différents principes directeurs et objectifs en vue de déterminer le caractère digne de confiance des systèmes d’IA. Parmi les plus fréquemment cités, on retrouve la responsabilité, l’explicabilité et l’interprétabilité.
Lorsque les utilisateurs et d’autres parties prenantes peinent à comprendre le fonctionnement d’un modèle d’IA, cela peut nuire à leur confiance dans le système proprement dit. La mise en place de processus et de méthodologies adéquats favorise la compréhension et la confiance des utilisateurs dans les processus décisionnels et les résultats des modèles de machine learning.
L’équité implique souvent de réduire ou d’éliminer les biais dans les modèles d’IA et les données tout au long du cycle de développement. Les modèles d’IA reproduisent les biais présents dans la société, souvent intégrés dans les données d’apprentissage. Une collecte de données biaisée, reflétant des inégalités structurelles, peut nuire à des groupes historiquement marginalisés, notamment dans les domaines du crédit, du recrutement, etc.
L’identification et le traitement des biais dans l’IA nécessite la capacité de diriger, de gérer et de surveiller les activités d’IA au sein de l’entreprise. Ceci peut être réalisé grâce à la gouvernance de l’IA, plus précisément à la mise en place de politiques et de pratiques visant à orienter le développement et l’utilisation responsables des technologies d’IA.
La fiabilité désigne généralement la capacité d’un élément à fonctionner conformément aux attentes ou aux exigences pendant une période donnée et dans certaines conditions. Dans le cas des systèmes d’IA, répondre aux attentes en matière de performances implique notamment de fournir des résultats corrects pendant une période pouvant aller jusqu’à la durée de vie du système5.
La protection des données consiste à protéger les données sensibles contre la perte et la corruption. Elle vise à garantir la disponibilité des données, de sorte que les utilisateurs puissent y accéder pour mener à bien leurs activités, même en cas de violation ou d’attaque par un logiciel malveillant.
La protection des données englobe la sécurité des données (protection des informations numériques contre tout accès non autorisé, corruption ou vol) et la confidentialité des données (principe selon lequel une personne doit avoir le contrôle de ses données personnelles). Il s’agit d’un élément essentiel pour se conformer aux principaux cadres réglementaires, tels que le règlement général sur la protection des données (RGPD) de l’Union européenne.
AI TRiSM repose à la fois sur des technologies traditionnelles et sur des solutions plus récentes spécifiques à l’IA. Les premières comprennent des outils de gestion des identités et des accès (IAM) et des solutions de gestion de la posture de sécurité des données.
Les technologies d’IA dédiées à AI TRiSM varient selon les fournisseurs. Certaines se concentrent sur des fonctions particulières, telles que la sécurité ou la conformité. D’autres proposent des produits plus complets avec un large éventail de fonctionnalités, notamment :
Gouvernance de l'IA
Protection et classification des données d’IA
Inspection et application des règles à l’exécution de l’IA (pour en savoir plus, consultez la section suivante)
Selon les recommandations complémentaires de Gartner publiées en février 2025, les solutions TRiSM devraient également inclure :7
Un inventaire des entités d’IA utilisées dans l’entreprise, telles que les modèles, les agents et les applications dans diverses configurations, allant de l’IA intégrée dans les applications tierces prêtes à l’emploi à l’IA apportée par l’utilisateur, en passant par les systèmes de génération augmentée par récupération et les modèles propriétaires
Données utilisées pour entraîner ou affiner les modèles IA, fournir du contexte aux requêtes utilisateur dans un système RAG, ou alimenter les systèmes agentiques d’IA.
Assurances continues et évaluation des attentes et indicateurs de performance, de fiabilité, de sécurité ou de sûreté utilisés comme références. Les assurances et évaluations sont appliquées avant le déploiement et après le déploiement (hors bande).
Appliqué aux modèles, aux applications et aux interactions entre agents afin de favoriser l’alignement transactionnel avec les politiques de gouvernance de l’organisation. Les connexions, les processus, les communications, les entrées et les sorties applicables sont inspectés pour détecter toute violation des politiques et tout comportement inattendu. Les anomalies sont signalées et bloquées, corrigées automatiquement ou transmises à des humains ou à des systèmes de réponse aux incidents à des fins d’enquête, de triage, de réponse et de résolution applicable.
Il existe de nombreux cas d’utilisation d’AI TRiSM dans le déploiement et la gestion de l’IA en entreprise. Voici quelques exemples :
Les professionnels de santé ont de plus en plus recours à des outils alimentés par l’IA à des fins diverses, de l’automatisation des appareils médicaux à l’analyse d’images. Un programme AI TRiSM peut permettre de protéger les données de santé utilisées dans ces systèmes contre les violations de données. Des mesures telles que la mise en place de contrôles d’accès peuvent par exemple atténuer les risques potentiels d’accès non autorisé.
Lorsque des algorithmes d’IA sont entraînés à partir de jeux de données contenant des biais démographiques, les résultats peuvent être faussés. Ce problème est bien connu dans le secteur financier, où il affecte notamment l’octroi de prêts et les taux d’intérêt. Au Danemark, la Danish Business Association a appliqué les pratiques AI TRiSM en effectuant des tests d’équité pour valider les prédictions des modèles IA qui supervisent les transactions financières, ce qui a renforcé la confiance des clients8.
Outre le fait de garantir une plus grande équité dans les transactions financières, les mesures AI TRiSM contribuent à protéger les systèmes de détection des fraudes des institutions financières contre les attaques adverses9. Ces solutions d’IA facilitent également la mise en conformité des banques aux exigences légales en matière de protection des consommateurs et des informations sensibles.
Consultez le rapport complet ici.
Gouvernez les modèles d’IA générative où que vous soyez et déployez-les dans le cloud ou sur site avec IBM watsonx.governance.
Découvrez comment la gouvernance de l’IA peut contribuer à renforcer la confiance de vos employés dans l’IA, à accélérer l’adoption et l’innovation, et à améliorer la confiance des clients.
Préparez-vous à la loi européenne sur l’IA et adoptez une approche responsable de la gouvernance de l’IA avec IBM Consulting.
1 Gartner Glossary, AI TRiSM, https://www.gartner.com/en/information-technology/glossary/ai-trism. GARTNER est une marque déposée et une marque de service de Gartner, Inc. et/ou de ses filiales aux États-Unis et à l’étranger, utilisée ici avec autorisation. Tous droits réservés.
2, 4 Article de Gartner, Tackling Trust, Risk and Security in AI Models, Avivah Litan, 24 décembre 2024, https://www.gartner.com/en/articles/ai-trust-and-ai-risk
3, 8 « Artificial Intelligence Trust, Risk and Security Management (AI TRiSM): Frameworks, applications, challenges and future research directions. » Expert Systems with Applications. 15 avril 2024.
5 « AI Risks and Trustworthiness ». National Institute of Standards and Technology. Consulté le 23 février 2025.
6 The Gartner Framework to Manage AI Governance, Trust, Risk and Security. [Webinaire] Gartner. Consulté le 28 janvier 2025, Agenda | The Gartner Framework to Manage AI Governance, Trust, Risk and Security
7 Gartner Article, Market Guide for AI Trust, Risk and Security Management, Avivah Litan, Max Goss, Sumit Agarwal, Jeremy D’Hoinne, Andrew Bales, Bart Willemsen. 18 février 2025. https://www.ibm.com/fr-fr/forms/mkt-53702
9 « The Role of Artificial Intelligence in Modern Finance: Current Applications and Future Prospects. » Applied and Computational Engineering. Décembre 2024.