Qu’est-ce que la sécurité de l’IA ?

Mettre au point des systèmes d’intelligence artificielle (IA) sûrs revêt une importance cruciale pour les entreprises et la société en raison de la prévalence et de l’impact croissants de l’IA. La sûreté de l’IA permet de s’assurer que les systèmes en question sont utilisés de la manière la plus responsable possible et que le développement futur de l’IA se fait en gardant les valeurs humaines à l’esprit.

Le développement et le maintien d’une IA sûre nécessitent d’identifier les risques liés à l’IA (par exemple les biais, la sécurité des données et la vulnérabilité aux menaces extérieures) et de créer des processus permettant d’éviter et d’atténuer ces risques. Par exemple, l’atténuation des biais, les tests de robustesse et les cadres éthiques contribuent tous au développement et à l’utilisation responsables des outils d’IA au sein des entreprises.

À mesure que les systèmes d’IA se perfectionnent, ils se fondent de plus en plus dans la vie des gens et dans des domaines critiques du monde réel tels que l’infrastructure, la finance et la sécurité nationale. Ces technologies peuvent avoir des effets à la fois positifs et négatifs sur les organisations qui les utilisent et sur la société dans son ensemble.

Les inquiétudes concernant les effets négatifs de l’IA sont de plus en plus vives. Une enquête réalisée en 2023 a révélé que 52 % des Américains étaient plus inquiets qu’enthousiastes à l’égard de l’utilisation accrue de l’intelligence artificielle¹. Une autre enquête a révélé que 83 % craignaient que l’IA ne conduise accidentellement à un événement catastrophique².

D’autres études montrent que ces inquiétudes ne sont pas infondées. Selon un rapport de 2024, 44 % des personnes interrogées déclarent que leur entreprise a subi les effets négatifs de l’IA (par exemple, des problèmes d’inexactitude ou de cybersécurité).³ Les efforts en matière de sécurité sont souvent déployés après coup. Selon le Rapport d’impact 2023 du Center for AI Safety, seuls 3 % de la recherche technique se concentrent sur la sécurisation de l’IA.⁴

Pour la société dans son ensemble, les mesures de sûreté de l’IA sont indispensables pour protéger la sûreté publique, la vie privée et les droits fondamentaux. En effet, les systèmes d’IA qui sont biaisés, opaques ou non conformes aux valeurs humaines sont susceptibles de perpétuer ou amplifier les inégalités sociétales.

Les experts craignent également que l’intelligence de certains systèmes d’IA avancés n’égale voire ne dépasse celle des humains. L’intelligence artificielle générale (AGI) désigne les systèmes d’IA qui comprennent, apprennent et effectuent des tâches cognitives comme le font les êtres humains. La superintelligence artificielle (ASI) désigne des systèmes d’IA hypothétiques dotés de capacités intellectuelles et de fonctions cognitives plus avancées que celles de n’importe quel être humain. Le développement de l’AGI et de l’ASI suscite des inquiétudes quant à la dangerosité de ces systèmes s’ils ne respectent pas les valeurs humaines ou ne sont pas soumis à une surveillance humaine. Les critiques affirment qu’avec une trop grande autonomie, ces systèmes constitueraient une menace pour la survie de l’humanité.

Du point de vue des entreprises, une IA sûre permet de renforcer la confiance des consommateurs, de se prémunir contre les responsabilités juridiques et d’éviter les mauvaises décisions. Les organisations qui font en sorte que l’utilisation de l’IA soit conforme à leurs valeurs peuvent éviter des conséquences négatives pour elles-mêmes et pour leurs clients.

Les risques liés à l’IA peuvent être classés en plusieurs catégories, chacune nécessitant des mesures de sûreté et des efforts de gestion différents.

• Biais et équité
• Confidentialité
• Perte de contrôle
• Risques existentiels
• Utilisation malveillante
• Cybersécurité

Les systèmes d’IA peuvent perpétuer ou amplifier les biais sociaux. On parle de biais algorithmique lorsque l’IA est entraînée sur des données et des entrées incomplètes ou trompeuses. Cela peut mener à des décisions injustes. Par exemple, un outil d’IA entraîné sur des données discriminatoires est plus susceptible de refuser un prêt bancaire aux emprunteurs issus de certains milieux, ou de préférer un homme à une femme lors d’un recrutement.

Les systèmes d’IA sont susceptibles d’accéder à des données personnelles de manière inappropriée, de les exposer ou de les utiliser à mauvais escient, ce qui suscite des inquiétudes en matière de protection de la vie privée. En cas de violation de données sensibles, les créateurs ou les utilisateurs des systèmes d’IA concernés peuvent être tenus pour responsables.

Les effets des systèmes d’IA avancés, en particulier ceux qui sont conçus pour fonctionner en tant qu’agents autonomes, risquent d’être imprévisibles. Leurs actions pourraient également s’avérer préjudiciables. Le fait qu’ils soient capables de prendre des décisions de manière indépendante les rend potentiellement difficiles à arrêter. Sans un certain contrôle humain, il pourrait être impossible d’intervenir ou de neutraliser un système d’IA agissant de manière inappropriée.

S’ils sont mal gérés, l’AGI, l’ASI et d’autres systèmes d’IA très avancés pourraient potentiellement mettre en danger l’humanité ou perturber les systèmes mondiaux. Les dangers de la course à l’IA, semblable à la course aux armements, mettent en péril la stabilité géopolitique.

L’IA pourrait également être utilisée à mauvais escient dans le cadre d’une manipulation sociétale à grande échelle ou d’une cyberguerre. En 2023, le Center for AI Safety (CAIS), une organisation à but non lucratif, a publié une déclaration tenant en une seule phrase et soutenue par plusieurs chercheurs et leaders dans le domaine de l’IA : « L’atténuation du risque d’extinction par l’IA devrait être une priorité mondiale aux côtés d’autres risques pour la société tels que les pandémies et la guerre nucléaire⁵ ».

Si les conséquences et les erreurs involontaires sont une source de risque pour l’IA, les malfaiteurs peuvent également utiliser la technologie de manière intentionnelle pour causer des dommages. En effet, l’IA peut être utilisée pour mener des cyberattaques, des campagnes de désinformation, une surveillance illégale ou même des dommages physiques. Ces menaces existent tant au niveau individuel que sociétal.

Les systèmes d’IA peuvent être vulnérables aux cybermenaces. Ils peuvent être ciblés par des attaques lors desquelles les acteurs malveillants manipulent les entrées de données pour tromper les modèles, avec pour conséquence des résultats incorrects.

Par exemple, on parle de débridage de l’IA lorsque des pirates utilisent l’injection de prompt et d’autres techniques pour exploiter les vulnérabilités des systèmes d’IA et effectuer des actions non autorisées. On parle aussi d’empoisonnement des données lorsque des données d’entraînement compromises faussent le comportement de l’IA. Enfin, l’accès non autorisé et d’autres vulnérabilités ou risques de sécurité peuvent conduire à un mauvais usage des systèmes d’IA et de leurs données.

Dans le domaine de l’intelligence artificielle, la sûreté et la sécurité sont des aspects liés mais distincts. La sûreté de l’IA vise à résoudre les problèmes inhérents et les conséquences non intentionnelles, tandis que la sécurité de l’IA se concentre sur la protection des systèmes d’IA contre les menaces extérieures.

La sécurité de l’IA vise à connecter l’IA aux valeurs humaines et à réduire le risque que les systèmes d’IA aient un impact négatif sur les entreprises et la société. Elle met l’accent sur l’alignement des IA, qui consiste à encoder des valeurs et des objectifs humains dans les modèles d’IA.

La sécurité de l’IA consiste à protéger les systèmes d’IA contre les menaces externes telles que les cyberattaques et les violations de données. Elle vise à préserver la confidentialité et l’intégrité des modèles d’IA. Autre notion très proche, la sécurité assistée par l’IA désigne l’utilisation de l’intelligence artificielle pour améliorer la posture de sécurité d’une organisation. Il s’agit donc là d’utiliser l’IA et le machine learning (ML) pour anticiper les menaces potentielles et y faire face.

Diverses pratiques sont mises en œuvre pour favoriser un développement et une utilisation responsables des technologies de l’IA. En voici quelques exemples :

• Détection et atténuation des biais algorithmiques
• Tests de robustesse et validation
• IA explicable (XAI)
• Cadres éthiques de l’IA
• Supervision humaine
• Protocoles de sécurité
• Collaboration sectorielle

Les algorithmes peuvent perpétuer ou amplifier les biais présents dans les données sur lesquelles ils sont entraînés. Pour réduire ce risque, les entreprises investissent dans la lutte contre les biais algorithmiques. Des techniques telles que la collecte de jeux de données diversifiés, l’évaluation de l’équité algorithmique et les méthodes de « débiaisage » permettent d’identifier les problèmes.

Des processus rigoureux de test et de validation permettent d’identifier les risques techniques et de renforcer la robustesse des systèmes d’IA. Les tests contradictoires, les tests de résistance et les vérifications formelles sont autant de techniques qui garantissent que les outils et les modèles d’IA fonctionnent comme prévu et n’affichent pas de comportements indésirables.

De nombreux modèles d’IA, en particulier les grands modèles de langage (LLM), sont des « boîtes noires » qui prennent des décisions difficiles à interpréter pour les humains. En l’absence d’un processus décisionnel transparent, les utilisateurs sont moins susceptibles de se fier aux résultats et aux recommandations. Rendre l’IA explicable (XAI) consiste à clarifier les processus opaques qui sous-tendent les systèmes d’IA complexes et à s’appuyer sur l’interprétabilité pour expliquer comment ils parviennent à leurs résultats.

De nombreuses organisations disposent de cadres éthiques pour orienter le développement et l’utilisation des systèmes d’IA. Ces cadres et les critères qui s’y rapportent incluent généralement des principes tels que la transparence, l’équité, la responsabilité et la confidentialité. Ils servent de garde-fous pour l’utilisation et le développement d’outils d’IA.

Si de nombreuses entreprises sont attirées par les capacités d’automatisation de l’IA, il est important de maintenir un contrôle humain pour des raisons de sûreté. Cela signifie que des opérateurs humains doivent surveiller les performances du système d’IA, intervenir si nécessaire et prendre les décisions finales dans les situations critiques. L’approche « human-in-the-loop » (« humain dans la boucle » en français) permet de s’assurer qu’une personne réelle est responsable des actions effectuées par un système d’IA.

La mise en œuvre de mesures de sécurité rigoureuses, telles que le chiffrement, le contrôle d’accès et la détection des anomalies, contribue à protéger les systèmes d’IA contre les mauvais usages ou les accès non autorisés. Les entreprises peuvent également investir dans des mesures de cybersécurité pour se protéger contre les cyberattaques et les cybermenaces susceptibles de compromettre l’intégrité de leurs systèmes d’IA.

La sûreté de l’IA est un domaine complexe et évolutif qui nécessite une collaboration entre les chercheurs, les dirigeants sectoriels et les décideurs politiques. De nombreuses entreprises participent à des consortiums industriels, à des initiatives de recherche et à des efforts de normalisation afin de partager leurs connaissances, leurs bonnes pratiques et les enseignements tirés. Cette coopération permet à la communauté de l’IA de mettre au point des mesures de sûreté plus robustes et plus fiables.

La recherche sur la sûreté de l’IA est un effort commun à de nombreuses parties prenantes.

La sûreté de l’IA commence avec les développeurs et les ingénieurs qui sont chargés de concevoir, de développer et de tester les systèmes d’IA. Ils se concentrent le plus souvent sur des questions fondamentales, telles que la manière d’aligner les objectifs de l’IA sur les valeurs humaines et de créer des modèles qui soient transparents et explicables. Ils sont également chargés de tester et de valider les modèles et les outils afin de garantir qu’ils fonctionnent tel que prévu.

Les entreprises à la pointe du développement de l’IA, dont IBM, OpenAI, Google DeepMind, Microsoft, Anthropic et d’autres, sont à l’avant-garde des efforts en matière de sûreté de l’IA. Elles investissent dans des équipes dédiées, établissent des directives éthiques et adhèrent aux principes de l’IA responsable pour prévenir les résultats nuisibles.

Certaines entreprises ont également élaboré des cadres et des protocoles pour traiter les risques lors des phases de recherche et de déploiement. Il s’agit notamment des outils de détection des biais et des systèmes permettant une supervision humaine. Nombre d’entre elles collaborent également au sein de coalitions industrielles, partageant leurs connaissances pour établir des normes sectorielles portant sur la sécurité de l’IA.

Plus largement, les efforts de gouvernance de l’IA constituent un élément clé des mesures de sûreté de l’IA à l’échelle mondiale. Les organisations internationales, notamment les Nations unies, le Forum économique mondial et l’Organisation de coopération et de développement économiques (OCDE), mènent des initiatives axées sur l’éthique et la sûreté IA. Différents gouvernements à travers le monde mettent également en place des règles et des réglementations en matière de sûreté de l’IA.

Aux États-Unis, l’Artificial Intelligence Safety Institute (AISI), qui fait partie du National Institute of Standards and Technology (NIST), gère les questions de sécurité. Parmi ses priorités, citons l’avancement de la recherche et l’élaboration des mesures d’atténuation des risques.

Dans l’Union européenne, la loi européenne sur l’IA comprend diverses normes et directives de sécurité, ainsi que des sanctions en cas de non-conformité. De son côté, le Royaume-Uni a créé l’AI Safety Institute pour promouvoir le développement d’une IA sûre. Plusieurs autres pays, dont Singapour, le Japon et le Canada, sont également en train de créer des organismes ayant pour mission de renforcer sécurité de l’IA, de mener des recherches et d’informer le développement et la réglementation, le tout en mettant l’accent sur la sécurité publique.

Les décideurs et les chercheurs des organisations non gouvernementales (ONG), les groupes de réflexion et d’autres groupes s’efforcent de répondre aux préoccupations en matière de sécurité. Ils examinent des questions telles que la sécurité nationale, les droits humains ou encore la procédure législative, et font des recommandations favorisant l’alignement du développement d’IA sur les valeurs et les intérêts sociaux. Ils sensibilisent aux risques, fixent des directives éthiques, favorisent la transparence et encouragent la recherche responsable.

Voici quelques-uns des principaux groupes à but non lucratif et de défense en faveur de la sûreté de l’IA :

• Center for AI Safety : le CAIS est un organisme à but non lucratif basé à San Francisco qui mène des recherches et crée des supports d’apprentissage (tels que des manuels) pour réduire les risques sociétaux associés à l’IA.
  
  
• Center for Human-Compatible AI : le CHAI est un centre de recherche de l’université de Californie à Berkeley, qui mène des recherches sur la sécurité de l’IA, notamment sur l’apprentissage par renforcement et l’apprentissage des valeurs.
  
  
• Stanford Institute for Human-Centered Artificial Intelligence : cette organisation de l’Université de Stanford mène un travail de recherche et de sensibilisation en faveur d’un développement d’IA centré sur l’humain et les valeurs de sécurité, de confiance et de responsabilité.
  
  
• Machine Intelligence Research Institute : le MIRI est un groupe de recherche qui se concentre sur les défis techniques liés à l’IA digne de confiance et à l’alignement de l’IA.
  
  
• Partnership on AI : il s’agit d’une collaboration d’organisations universitaires et industrielles qui promeut des pratiques responsables en matière d’IA par le biais de la recherche, de l’information publique et d’autres travaux.
  
  
• Future of Life Institute : cette organisation à but non lucratif cherche à réduire les risques existentiels associés au développement de l’IA avancée par le biais de la recherche et de la sensibilisation.
  
  
• AI Safety Initiative – Cloud Security Alliance : la coalition de la CSA s’efforce de créer des directives et des outils pour permettre aux organisations de déployer des solutions d’IA sûres, responsables et éthiques.