Qu’est-ce qu’un biais cognitif ?

Même les personnes les plus analytiques et rationnelles peuvent être victimes de biais cognitif, qui sont souvent inconscients. De nombreux biais sont à la fois cachés et omniprésents, pouvant influencer tant l’ analyse des données que la structure même de leur collecte. 

Avec les récentes avancées majeures dans les domaines du machine learning (ML ) et de l’intelligence artificielle (IA), l’intérêt pour les biais cognitifs et la sensibilisation à ce sujet se sont intensifiés. Alors que l’investissement dans ces systèmes intelligents augmente de façon exponentielle, les efforts visant à atténuer les biais liés à l’IA et aux données deviennent critiques tant pour l’éthique de l'IA que pour sa gouvernance.  

Bien que les termes « raisonnement fallacieux » et « biais cognitif » soient parfois utilisés de manière interchangeable, ils sont distincts. Les raisonnement fallacieux résultent d’erreurs commises dans un argument logique. Les erreurs liées aux biais cognitifs sont plus profondes et surviennent au cours des phases de traitement de la pensée. Les biais cognitifs sont souvent ancrés dans des problèmes associés à la mémoire, au rappel, à l’attention, à l’attribution et à d’autres formes de méta-analyse.    

En outre, de nombreux types de raisonnements fallacieux découlent directement d’exemples de biais cognitifs. Les biais cognitifs affectent l’esprit critique. Lorsque des arguments logiques reposent sur un raisonnement biaisé, les erreurs systémiques engendrent fréquemment des raisonnements fallacieux. 

Prenons comme exemple le sophisme des coûts irrécupérables, un terme qui peut désigner tant un biais cognitif qu’un raisonnement fallacieux informel. Comparativement :

En tant que raisonnement fallacieux : le sophisme des coûts irrécupérables désigne un argument logiquement erroné pour continuer à investir des ressources (temps, argent, efforts, etc.) dans un projet, en se basant uniquement sur le montant de ressources irrécupérables déjà investies. Un joueur qui joue à un jeu dont les probabilités sont défavorables ne peut logiquement justifier de continuer à jouer simplement parce qu’il a perdu une somme importante. Logiquement, l’argent perdu n’a aucune incidence sur la décision actuelle de parier à nouveau ou de partir.

En tant que biais cognitif : le dicton « jeter l’argent par les fenêtres », saisit bien l’essence même du sophisme des coûts irrécupérables. D’un point de vue cognitif, des facteurs émotionnels tels que l’aversion pour la perte, les pressions sociales, la honte et la panique peuvent amener le joueur à penser de manière irrationnelle. Il peut en conclure que, malgré les preuves passées démontrant son incapacité à gagner de l’argent, la prochaine main sera différente. 

Les biais cognitifs sont insidieux car les décisions qu’ils entraînent ne sont pas toujours manifestement erronées. Elles peuvent n’être que légèrement sous-optimales, voire exactes par coïncidence. Le manque d’une boucle de rétroaction claire est l’une des raisons pour lesquelles les biais cognitifs persistent. 

S’ils ne sont pas détectés à temps, les biais cognitifs pendant les phases de planification peuvent engendrer des problèmes systémiques susceptibles d’entraîner des résultats erronés, inéquitables ou dangereux. Mais en étudiant et en comprenant les biais cognitifs, les décideurs et ceux qui conçoivent ou sécurisent les systèmes de prise de décision peuvent améliorer les résultats.

Comprendre les biais cognitifs aide les équipes de sécurité à construire des systèmes plus solides et plus sûrs.

En prenant note des erreurs de pensée les plus courantes, les professionnels de la cybersécurité peuvent mieux identifier les faiblesses des outils et des solutions de sécurité. La sensibilisation aux biais cognitifs peut également aider les développeurs et les professionnels de la sécurité à éviter des failles potentiellement critiques lors de la conception, de la création et de la mise en œuvre de leurs plateformes de sécurité, applications et autres systèmes.

Dans les situations où la sécurité est essentielle, comme les communications commerciales sensibles, les secrets d’État ou les informations financières des consommateurs, les biais cognitifs peuvent entraîner des vulnérabilités systémiques qui permettraient aux acteurs malveillants de franchir des mesures de sécurité pourtant strictes. 

Par exemple, le biais de faux consensus est la tendance à supposer que ses propres opinions sont généralement considérées comme correctes, même si aucune donnée ne vient étayer cette conclusion. Ce biais peut amener un développeur à penser que certains types de fonctionnalités de sécurité ne sont pas nécessaires pour le type d’application qu’il crée. Par conséquent, il risque de rendre son système vulnérable à des cyberattaques qu’il n’a pas su anticiper.

Les biais cognitifs altèrent la capacité à interpréter les données et à prendre des décisions éclairées.

Pour les décisions moins importantes, même si les biais cognitifs peuvent entraîner de mauvaises décisions, les enjeux sont évidemment minimes. Pour les décisions plus importantes, les biais cognitifs constituent une plus grande menace.

La plus grande menace posée par les biais cognitifs provient peut-être de l’impact potentiel de ces erreurs lors de la conception de systèmes qui prendront eux-mêmes de nombreuses décisions. Les systèmes d’IA étant de plus en plus répandus, il est donc urgent de mettre en place des mesures de protection contre les biais de l’IA.

Les modèles d’IA présentent souvent des défauts qui découlent tant des biais cognitifs des développeurs humains qui conçoivent ces systèmes, que des biais contenus dans les données d’entraînement de ces systèmes. Les systèmes qui en résultent présentent alors leurs propres biais, ce qui peut entraîner des effets délétères comme la discrimination. 

La gouvernance de l’IA aide à traiter et à prévenir des problèmes tels que les biais algorithmiques, qui poussent les algorithmes de ML à produire des sorties inéquitables ou discriminatoires pouvant renforcer les inégalités socioéconomiques, raciales ou de genre préexistantes. 

La gouvernance, les processus, les normes et les garde-fous en matière d’IA aident les architectes de systèmes d’IA à créer des outils sûrs et éthiques. La gouvernance de l’IA définit les cadres relatifs à la recherche, au développement et aux applications d’IA qui contribuent à garantir la sécurité, l’équité et le respect des droits humains.

L’une des façons dont la gouvernance de l’IA gère les biais consiste à promouvoir l’inclusion de jeux de données d’entraînement diversifiés. Dans des domaines tels que la santé, il est essentiel de recueillir des données auprès d’un large éventail de populations, qui peuvent avoir leur propre particularité contextuelle.

Prenons l’exemple d’une IA dans le secteur de la santé, conçue pour détecter les signes de cancer du poumon. Si ce modèle n’est entraîné que sur des données de non-fumeurs vivant dans des zones rurales, il risque d’être moins efficace lorsqu’il s’agit d’analyser des fumeurs qui vivent dans des zones fortement polluées. Pour rendre l’IA plus efficace, il est essentiel d’inclure des données d’entraînement représentant autant de scénarios que possible. 

Un autre exemple de gouvernance de l’IA en action serait les efforts visant à mettre en place et à maintenir des systèmes de type l’humain dans la boucle (HITL). Ces types de systèmes requièrent une supervision humaine des sorties d’IA. Les cadres HITL permettent d’assurer un contrôle supplémentaire. Si l’humain détecte un biais que le système d’IA n’a pas détecté, il peut annuler la décision de l’IA.  

Si les biais cognitifs sont observés depuis des siècles, la notion a été formellement introduite pour la première fois dans les années 1970 par les psychologues Amos Tversky et Daniel Kahneman. En 1974, dans leur article Judgment Under Uncertainty : Heuristics and Biases, ils décrivaient pour la première fois la manière dont les gens tendent à s’appuyer sur des raccourcis cognitifs, appelés heuristiques, pour prendre des décisions ou tirer des conclusions. 

Dans les domaines de la psychologie sociale et de l’économie comportementale, des chercheurs ont émis l’hypothèse que les humains ont évolué pour utiliser les heuristiques afin d’alléger la charge cognitive, surtout lorsque la précision n’est pas aussi importante que l’efficacité. Tversky et Kahneman ont constaté que les heuristiques, règles empiriques courantes ou « astuces du métier », étaient particulièrement répandues dans les situations où les jugements doivent être faits rapidement, sans contexte complet ou dans un contexte d’incertitude générale. 

Bien que certaines heuristiques puissent aider efficacement les personnes, les entreprises et les machines à prendre des décisions rapides et efficaces, Tversky et Kahneman ont identifié la manière dont les biais cognitifs pouvaient souvent conduire à des résultats indésirables. 

Malheureusement, même les personnes conscientes des biais cognitifs y sont encore sensibles. Cependant, en étudiant les différents types de biais cognitifs, on peut efficacement réduire leurs impacts négatifs sur le processus décisionnel. Il peut être particulièrement utile de faire examiner les analyses et les décisions par des équipes ou des systèmes externes, spécialement entraînés pour reconnaître les biais cognitifs.  

La première étape pour combattre les biais est de prendre conscience des différentes manières dont ils se manifestent. Depuis la publication de l’article révolutionnaire de Tversky et Kahneman, les chercheurs ont découvert de nombreux types de biais cognitifs.

Voici les types de biais cognitifs les plus courants :

Le biais de confirmation est la tendance à surévaluer les informations qui confirment les croyances existantes, tout en dévalorisant les informations qui les contredisent. Par exemple, quelqu’un qui pense que la plupart des cyberattaques sont le résultat de menaces extérieures peut rejeter les rapports de plus en plus nombreux sur les attaques d’initié, en les qualifiant de données aberrantes.

La tendance à supposer que ses propres conditions, expériences ou circonstances peuvent être attribuées à des sources extérieures, tandis que celles des autres sont le résultat de leurs propres actions. Par exemple, quelqu’un qui tombe dans le piège d’un e-mail d’hameçonnage peut penser que les cybercriminels sont extrêmement intelligents. Pourtant, la même personne peut voir un collègue tomber dans un piège similaire et conclure que son collègue est naïf et facile à berner.

Tout comme le biais acteur-observateur, le biais d’autocomplaisance attribue les résultats personnels négatifs à des forces extérieures, tout en s’attribuant indûment le mérite des résultats positifs. Ce biais d’autocomplaisance peut amener une personne à penser qu’une main de poker chanceuse est le résultat de ses propres compétences, tout en interprétant une main perdante comme un coup du sort inévitable. 

L’erreur d’attribution fondamentale consiste à percevoir les autres comme bons ou mauvais en fonction de leurs motivations internes. Par exemple, une personne frustrée car coincée derrière un véhicule lent peut supposer que le conducteur est irréfléchi et malpoli, sans prendre en compte des facteurs externes possibles comme de mauvaises conditions de circulation ou un problème de moteur.

La tendance à accorder une importance démesurée à la première information apprise sur un nouveau sujet. Les fournisseurs peuvent tirer parti de ce biais d’ancrage lorsqu’ils font la promotion de l’ancien prix, plus élevé d’un produit. En ancrant le client dans un chiffre plus important, le prix réduit semble être une meilleure offre.

L’effet de halo désigne la manière dont l’impression que l’on se fait d’une personne influence notre capacité à juger de son caractère ou de ses capacités. Ce type de biais cognitif peut se manifester de nombreuses façons, mais un exemple particulièrement regrettable est la capacité des personnes conventionnellement attirantes ou sociables à gagner rapidement la confiance des inconnus. Les cybercriminels abusent souvent de l’effet halo lorsqu’ils tentent des attaques d’ingénierie sociale en utilisant, par exemple, des avatars attrayants. 

La tendance, lors de la prise de décision, à accorder plus d’attention à certains facteurs et à en ignorer d’autres. Par exemple, lors de l’achat d’une solution de cybersécurité, une personne souffrant d’un biais d’attention peut accorder plus d’attention au coût global du produit, sans se demander s’il répond à tous ses besoins.

La tendance à percevoir sa propre expérience de la réalité comme objective et à s’attendre à ce que les autres perçoivent le monde de la même manière. Ironiquement, une personne souffrant de réalisme naïf peut rejeter les opinions divergentes comme étant elles-mêmes irrationnelles ou biaisées.

La tendance selon laquelle l’analyse extérieure d’un événement influence la perception personnelle des données présentées. Ce type de biais peut conduire les témoins oculaires à douter de leur propre regard en se basant sur l’analyse de tiers biaisés. 

La tendance à supposer que, parce qu’une chose n’a pas été conçue pour remplir une certaine fonction, elle ne peut absolument pas remplir cette fonction. Par exemple, penser que, parce qu’une clé n’a pas été conçue pour enfoncer un clou, elle ne peut être utilisée comme marteau. Or, en cas de besoin, une clé peut tout à fait être utilisée comme marteau. 

La tendance à croire que l’on a moins de chances d’échouer, et plus de chances de réussir. Si un penchant pour l’optimisme peut s’avérer utile dans certaines situations, une présomption injustifiée de réussite peut causer la ruine. Les décisions influencées par un biais d’optimisme sont plus susceptibles d’ignorer des problèmes graves et d’exposer les décideurs à des résultats potentiellement dévastateurs. 

Un type de biais d'échantillonnage, le biais du survivant est la tendance à confondre un sous-ensemble d’un groupe avec le groupe. Le biais du survivant amène les gens à concentrer à tort toute leur attention sur les seuls points de données qui « survivent » à un certain nombre de tests de qualification.

L’un des exemples de biais du survivant les plus connus remonte à la Seconde Guerre mondiale.¹ Consulté au sujet de zones de renforcement du blindage d’un avion, Abraham Wald a formulé ses recommandations en s’appuyant sur une analyse statistique des endroits où les avions revenant de combat présentaient le plus de dommages. Cependant, au lieu de renforcer ces zones, Wald a recommandé de renforcer les zones qui présentaient le moins de dommages. Wald a compris que ses données ne représentaient que les avions ayant survécu au combat ; il en a donc conclu à juste titre que les dommages subis par ces avions n’étaient pas aussi critiques que ceux causés ailleurs. Les avions ayant subi des dommages dans les zones non représentées avaient été détruits et n’avaient pas survécu pour être catalogués dans l’analyse de répartition des dégâts. 

La tendance à prendre une décision, à arriver à une conclusion ou à adopter une croyance en fonction du nombre de personnes qui ont des positions similaires. L’effet de mode décrit essentiellement l’influence que la popularité et les pressions sociales peuvent avoir sur la psychologie d’une personne. 

La manière dont les informations sont présentées peut donner lieu à des conclusions différentes. Par exemple, un sondage politique demandant aux personnes interrogées d’évaluer leur approbation des « choses graves commises par le gouverneur » obtiendra des scores inférieurs à ceux d’une description plus objective de la « politique du gouverneur ». 

La tendance à survaloriser les informations facilement accessibles ou faciles à mémoriser. Ce biais peut amener un médecin à diagnostiquer à tort une grippe chez un patient en se basant sur la présence de symptômes semblables à ceux de la grippe, sans rechercher d’autres maladies présentant des symptômes similaires. Bien qu’il soit plus facile de supposer qu’il s’agit de la grippe, les décisions prises avec des informations limitées sont souvent affectées par le biais de disponibilité.

Également connu sous le nom de négligence, l’oubli de la fréquence de base désigne la tendance à négliger ou à ignorer les données générales, statistiques ou démographiques (la fréquence de base) au profit de preuves spécifiques ou anecdotiques. Lors des analyses, il est essentiel d’établir d’abord une fréquence de base afin de mesurer correctement les écarts statistiques. 

Également appelé phénomène du « je le savais » ou déterminisme rampant, le biais de rétrospection est la tendance à percevoir les événements passés comme étant plus révélateurs des résultats futurs qu’ils ne l’étaient. A posteriori, on peut facilement établir des liens de causalité comme si le présent était une fatalité. Sur le moment, cependant, de nombreux résultats étaient possibles, ce qui rendait l’avenir moins clair. 

Ce biais cognitif est la tendance à s’appuyer sur des hypothèses fondées sur des stéréotypes plutôt que sur des informations objectives. Par exemple, on peut supposer qu’un musicien avec des tatouages et une coupe de cheveux rebelle joue du rock and roll, alors qu’il s’agit en fait d’un violoniste classique. L'heuristique de représentativité décrit la tendance à « juger un livre à sa couverture ». 

Nommé d’après les chercheurs David Dunning et Justin Kruger, ce biais cognitif désigne la tendance des personnes sans compétences dans un domaine particulier à surestimer leur performance ou leurs capacités dans ce domaine. Cet excès de confiance s’explique notamment par le fait qu’à mesure que l’on apprend de nouvelles informations sur un sujet, on prend conscience de la profondeur de ce sujet. Les novices n’ont pas encore acquis cette conscience.

Ironiquement, une étude récente a révélé une sorte d’effet Dunning-Kruger inversé lorsqu’il s’agit d’utiliser l’IA. Les chercheurs ont demandé à deux groupes de résoudre des problèmes logiques. Un groupe a été autorisé à utiliser l’IA pour tirer des conclusions, et l’autre non. Après le test, les participants qui ont utilisé l’IA ont également été invités à estimer leur performance et leur degré d’expérience dans l’utilisation des outils d’IA. 

Typiquement, l’effet Dunning-Kruger montre une corrélation inverse entre la confiance dans l’utilisation de l’IA et la capacité réelle du sujet à utiliser l’IA efficacement. Cependant, c’est le contraire qui a été observé. Les sujets ayant un niveau d’expérience de l’IA plus élevé ont également surestimé leur capacité à utiliser efficacement l’IA. 

Bien qu’une étude plus approfondie soit nécessaire avant de tirer des conclusions significatives, ce rapport souligne l’importance cruciale de l’examen des biais cognitifs. Lorsqu’il s’agit de prendre des décisions, les biais cognitifs peuvent avoir une incidence considérable sur les résultats et les conclusions, et ce de manière inattendue. Lorsque les biais cognitifs entraînent des erreurs lors du processus de prise de décision, même les données les meilleures, les plus pertinentes et les plus percutantes peuvent être mal interprétées.