Qu’est-ce que le biais de l’IA ?

Lorsque les préjugés ne sont pas traités, ils entravent la capacité des individus à participer à l’économie et à la société. Le biais réduit la précision de l’IA, et donc son potentiel.

Les entreprises sont moins susceptibles de bénéficier de systèmes qui produisent des résultats biaisés. Les scandales résultant des biais de l’IA pourraient favoriser la méfiance des personnes de couleur, des femmes, des personnes en situation de handicap, de la communauté LGBTQ ou d’autres groupes marginalisés.

Les modèles sur lesquels reposent les efforts d’IA absorbent les préjugés de la société qui peuvent être discrètement intégrés dans les monceaux de données sur lesquels ils sont entraînés. La collecte de données biaisées par l’histoire et qui reflètent les inégalités sociétales peut nuire aux groupes historiquement marginalisés dans des cas d’utilisation tels que le recrutement, la police, la notation de crédit et bien d’autres. Selon le Wall Street Journal, « alors que l’utilisation de l’intelligence artificielle se généralise, les entreprises ont encore du mal à lutter contre les biais omniprésents ».¹

Lorsque l’IA commet une erreur due à un biais (comme le fait de refuser des opportunités à certains groupes de personnes, de les identifier de manière erronée sur des photos ou de les punir injustement), l’organisation fautive subit des dommages à sa marque et à sa réputation. Dans le même temps, les personnes appartenant à ces groupes et la société dans son ensemble peuvent subir un préjudice sans même s’en rendre compte. Voici quelques exemples très médiatisés de disparités et de biais dans l’IA et des torts qu’ils peuvent causer.

Dans le domaine des soins de santé, la sous-représentation des données relatives aux femmes ou aux groupes minoritaires peut fausser les algorithmes prédictifs de l’IA.² Il a ainsi été constaté que les systèmes de diagnostic assisté par ordinateur (CAO) fournissaient des résultats moins précis pour les patients afro-américains que pour les patients blancs.

Si les outils d’IA peuvent rationaliser l’automatisation de la numérisation des CV lors d’une recherche pour aider à identifier les candidats idéaux, les informations demandées et les réponses exclues peuvent entraîner des résultats disproportionnés entre les groupes. Par exemple, si une offre d’emploi utilise le mot « ninja », elle pourrait attirer plus d’hommes que de femmes, même si cela ne constitue en aucun cas une exigence de l’emploi.³

Pour tester la génération d’images, Bloomberg a demandé la création de plus de 5 000 images d’IA et a constaté que « le monde selon Stable Diffusion est dirigé par des PDG blancs. Les femmes sont rarement médecins, avocates ou juges. Les hommes de couleur commettent des crimes, tandis que les femmes de couleur servent des hamburgers. »⁴ Midjourney a mené une étude similaire sur la génération d’art par l’IA, en demandant des images de personnes exerçant des professions spécialisées. Le résultat montrait à la fois des personnes jeunes et âgées, mais les personnes âgées étaient toujours des hommes, ce qui renforce les préjugés sexistes sur le rôle des femmes sur le lieu de travail.⁵ 

Les outils de police prédictive basés sur l’IA utilisés par certains organes de la justice pénale sont censés identifier les zones où les actes criminels sont le plus susceptibles de se produire. Cependant, ces outils s’appuient souvent sur des données historiques d’arrestations, qui peuvent renforcer les schémas existants de profilage racial et de ciblage des communautés minoritaires relativement disproportionné.⁶

Des résultats faussés peuvent nuire aux organisations et à la société dans son ensemble. Voici quelques-uns des types de biais les plus courants de l’IA⁷.

• Biais de l’algorithme : une désinformation peut survenir si le problème ou la question posée n’est pas tout à fait correct ou spécifique, ou si le retour d’information à l’algorithme de machine learning n’aide pas à guider la recherche d’une solution.
  
  
• Biais cognitif : la technologie de l’IA nécessite une intervention humaine, et les humains sont faillibles. Les préjugés personnels peuvent s’infiltrer sans que les praticiens ne s’en rendent compte. Cela peut avoir un impact sur le jeu de données ou le comportement du modèle.
  
  
• Biais de confirmation : étroitement lié au biais cognitif, il se produit lorsque l’IA s’appuie trop sur des croyances ou des tendances préexistantes dans les données, renforçant ainsi les biais existants et l’empêchant d’identifier de nouveaux modèles ou tendances.

• Biais d’exclusion : ce type de biais se produit lorsque des données importantes sont exclues des données exploitées, souvent parce que le développeur n’a pas vu de nouveaux facteurs importants.
  
  
• Biais de mesure : le biais de mesure est causé par des données incomplètes. Il s’agit le plus souvent d’un oubli ou d’un manque de préparation qui fait que le jeu de données n’inclut pas l’ensemble de la population qui devrait être prise en compte. Par exemple, si une université voulait prédire les facteurs de réussite d’un diplôme, mais n’incluait que les diplômés, les réponses passeraient complètement à côté des facteurs qui poussent certains à abandonner.

• Biais d’homogénéité de l’exogroupe : il s’agit d’un cas où il y a méconnaissance de ce que l’on ne connaît pas. Les gens ont tendance à mieux comprendre les membres du groupe auquel ils appartiennent et à penser qu’ils sont plus diversifiés que les membres extérieurs. Les développeurs peuvent ainsi créer des algorithmes moins capables de distinguer les individus qui ne font pas partie du groupe majoritaire dans les données d’apprentissage, ce qui entraîne des préjugés raciaux, des erreurs de classification et des réponses incorrectes.

• Biais de préjugés : il se produit lorsque des stéréotypes et des hypothèses sociétales erronées se retrouvent dans le jeu de données de l’algorithme, ce qui conduit inévitablement à des résultats biaisés. Par exemple, l’IA pourrait renvoyer des résultats montrant que seuls les hommes sont médecins et que toutes les infirmières sont des femmes.
  
  
• Biais de rappel : il se développe lors de l’étiquetage des données, où les étiquettes sont appliquées de manière incohérente par des observations subjectives.
  
  
• Biais d’échantillonnage/sélection : ce problème se pose lorsque les données employées pour entraîner le modèle de machine learning ne sont pas assez nombreuses, pas assez représentatives ou trop incomplètes pour entraîner suffisamment le système. Si tous les enseignants consultés pour entraîner un modèle d’IA ont les mêmes qualifications académiques, alors tous les futurs enseignants envisagés devront avoir des qualifications académiques identiques.
  
  
• Biais de stéréotype : ce biais se produit lorsqu’un système d’IA renforce (généralement par inadvertance) des stéréotypes préjudiciables. Ainsi, un système de traduction pourrait associer certaines langues à des stéréotypes de genre ou ethniques. McKinsey met en garde contre la suppression des préjugés dans les jeux de données : « Une approche naïve consiste à supprimer les catégories protégées (telles que le sexe ou la race) des données et à effacer les étiquettes qui rendent l’algorithme biaisé. Cependant, cette approche peut ne pas fonctionner, car les étiquettes supprimées peuvent affecter la compréhension du modèle et la précision de vos résultats peut s’en trouver dégradée. »⁸

La première étape pour éviter le piège des biais consiste simplement à prendre du recul dès le début et à réfléchir à l’IA. Comme pour presque tous les défis commerciaux, il est beaucoup plus facile de résoudre les problèmes en amont que le faire après coup. Mais de nombreuses organisations sont pressées : elles font des économies de bouts de chandelle et cela leur coûte cher.

L’identification et le traitement des biais dans l’IA exigent la gouvernance de l’IA, c’est-à-dire la capacité de diriger, de gérer et de surveiller les activités d’IA au sein de l’entreprise. En pratique, la gouvernance de l’IA crée un ensemble de politiques, de pratiques et de cadres d’exigences pour guider le développement responsable et l’utilisation des technologies d’IA. Lorsqu’elle est bien menée, la gouvernance de l’IA aide à garantir un équilibre entre les avantages pour les entreprises, les clients, les employés et la société dans son ensemble.

La gouvernance de l’IA comprend souvent des méthodes visant à évaluer l’équité, la justice et l’inclusion. Des approches telles que l’équité contrefactuelle identifient les biais dans la prise de décision d’un modèle et garantissent des résultats équitables, même lorsque des attributs sensibles, tels que le sexe, la race ou l’orientation sexuelle, sont inclus.

Du fait de la complexité de l’IA, un algorithme peut s’apparenter à une boîte noire contenant peu d’informations sur les données qui ont été utilisées pour le créer. Les pratiques et les technologies de transparence contribuent à garantir que des données impartiales sont utilisées pour développer le système et que les résultats seront équitables. Les entreprises qui s’efforcent de protéger les informations des clients renforcent la confiance dans la marque et sont plus susceptibles de créer des systèmes d’IA fiables.

Pour renforcer l’assurance qualité, mettez en place un système « humain » qui propose des options ou formule des recommandations pouvant ensuite être approuvées par des décisions humaines.

Voici une liste de contrôle de six étapes de processus qui peuvent garantir l’impartialité des programmes d’IA.

1. Sélectionnez le bon modèle d’apprentissage :

• lorsqu’un modèle supervisé est utilisé, les parties prenantes sélectionnent les données d’apprentissage. Il est essentiel que l’équipe des parties prenantes soit diversifiée (et ne soit pas uniquement composée de data scientists) et qu’elle ait suivi une formation pour éviter les biais inconscients.
  
• Les modèles non supervisés s’appuient uniquement sur l’IA pour identifier les biais. Des outils de prévention des biais doivent être intégrés au réseau neuronal afin qu’il apprenne à reconnaître ce qui est biaisé.

2. Entraînez le modèle avec les bonnes données : un système de machine learning entraîné avec des données erronées produira des résultats erronés. Quelles que soient les données introduites dans l’IA, elles doivent être complètes et équilibrées afin de reproduire la démographie réelle du groupe considéré.

3. Constituez une équipe équilibrée : plus l’équipe d’IA est diversifiée (sur le plan racial, économique, du niveau d’éducation, du sexe et de la description de poste), plus elle est susceptible de reconnaître les biais. Les talents et les points de vue d’une équipe d’IA bien équilibrée devraient inclure des innovateurs, des créateurs et des responsables de la mise en œuvre de l’IA, ainsi qu’une représentation des consommateurs de cet effort particulier d’IA.⁹

4. Traitez les données avec attention : les entreprises doivent être conscientes des biais à chaque étape du traitement des données. Le risque ne se situe pas seulement dans la sélection des données ; que ce soit pendant le prétraitement, le traitement ou le post-traitement, les biais peuvent s’infiltrer à tout moment et être intégrés à l’IA.

5. Effectuez une surveillance continue : aucun modèle n’est jamais complet ou permanent. Une surveillance et des tests continus avec des données réelles provenant de toute l’organisation peuvent aider à détecter et à corriger les biais avant qu’ils ne causent des dommages. Pour éviter davantage les biais, les organisations devraient envisager de faire appel à une équipe indépendante au sein de l’organisation ou à un tiers de confiance pour les évaluations.

6. Évitez les problèmes d’infrastructure : outre les influences humaines et les données, l’infrastructure elle-même peut parfois être à l’origine de biais. Par exemple, en exploitant des données collectées par des capteurs mécaniques, l’équipement lui-même pourrait introduire un biais si les capteurs fonctionnent mal. Ce type de biais peut être difficile à détecter et nécessite d’investir dans les dernières infrastructures numériques et technologiques.