Cos'è il bias cognitivo?

Anche le persone più analitiche e razionali possono cadere vittime di bias cognitivi, che spesso sono inconsci. Molti bias sono sia nascosti che pervasivi, e potenzialmente influenzano sia l'analisi dei dati che la struttura stessa della raccolta dei dati. 

Con i recenti e importanti progressi nel machine learning (ML) e nell'intelligenza artificiale (AI), l'interesse e la consapevolezza dei bias cognitivi sono aumentati. Con la crescita esponenziale degli investimenti in questi sistemi intelligenti, gli sforzi per mitigare i bias dell'AI e dei dati stanno diventando fondamentali sia per l'etica dell'AI che per la governance dell'AI.  

Sebbene i termini fallacia logica e pregiudizio cognitivo siano talvolta usati in modo intercambiabile, sono distinti. Le fallacie logiche derivano da errori commessi in un ragionamento logico. Gli errori di bias cognitivi sono più profondi, sorendo durante le fasi di elaborazione del pensiero. I bias cognitivi sono spesso radicati in problemi legati alla memoria, al richiamo, all'attenzione, all'attribuzione e ad altre forme di meta-analisi.    

Inoltre, molti tipi di fallacia logica derivano direttamente da esempi di bias cognitivo. I bias cognitivi influenzano il pensiero critico. Quando le argomentazioni logiche sono costruite su ragionamenti distorti, gli errori sistemici creano comunemente fallacie logiche correlate. 

Prendiamo, ad esempio, la fallacia del costo non ricavato, un termine che può descrivere sia un bias cognitivo sia una fallacia logica informale. Comparativamente: 

Come fallacia logica: la fallacia del costo sommerso si riferisce a un argomento logicamente errato per continuare a investire risorse (tempo, denaro, energie e così via) in un progetto basandosi unicamente sulla quantità di risorse irrecuperabili già investite. Un giocatore che gioca a un gioco con quote sfavorevoli non può logicamente giustificare di continuare a giocare solo perché ha già perso una grossa somma. Logicamente, il denaro perso è irrilevante rispetto alla decisione attuale di scommettere di nuovo o di ritirarsi.

Come bias cognitivo: il detto comune, "gettare soldi buoni dopo quelli cattivi", cattura bene l'essenza dell'errore dei costi irrecuperabili. Da una prospettiva cognitiva, i fattori emotivi come l'avversione alle perdite, le pressioni sociali, la vergogna e il panico possono portare il giocatore a pensare in modo irrazionale. Potrebbero concludere che, nonostante le prove passate abbiano dimostrato la loro incapacità di vincere denaro, la prossima mano sarà diversa. 

Il bias cognitivo è insidioso perché le decisioni che produce non sono sempre palesemente errate. Potrebbero invece essere solo leggermente non ottimali, o addirittura casualmente accurati. Questa mancanza di un chiaro feedback è una delle ragioni per cui persistono i bias cognitivi. 

Se non individuati tempestivamente, gli effetti a catena dei bias cognitivi durante le fasi di pianificazione possono creare problemi sistemici che potrebbero portare a risultati errati, iniqui o pericolosi. Ma studiando e comprendendo i bias cognitivi, i decisori e chi progetta o garantisce il processo decisionale possono contribuire a ottenere Risultati ancora migliori.

Comprendere i bias cognitivi può aiutare i team di sicurezza a costruire sistemi più robusti e sicuri .

Prendendo nota degli errori comuni nel pensiero umano, i professionisti della cybersecurity possono riconoscere meglio le debolezze negli strumenti e nelle soluzioni di sicurezza. La consapevolezza dei bias cognitivi può anche aiutare sviluppatori e professionisti della sicurezza a evitare potenziali difetti critici nella progettazione, costruzione e implementazione di piattaforme di sicurezza, app e altri sistemi.

In situazioni in cui la sicurezza è essenziale, come la protezione di comunicazioni aziendali sensibili, la protezione di segreti di stato o la tutela delle informazioni finanziarie dei consumatori, il bias cognitivo può portare a vulnerabilità sistemiche che potrebbero permettere agli attori malintenzionati di superare misure di sicurezza altrimenti rigorose. 

Ad esempio, il bias cognitivo del falso consenso è la tendenza a presumere che le proprie opinioni siano ampiamente considerate corrette, anche in assenza di dati a supporto di tale conclusione. Questo pregiudizio potrebbe indurre uno sviluppatore a credere che determinate caratteristiche di sicurezza non siano necessarie per il tipo di app che sta creando. Di conseguenza, potrebbero involontariamente lasciare il loro sistema vulnerabile a attacchi informatici che non avevano mai previsto.

I bias cognitivi compromettono la capacità di interpretare i dati e prendere decisioni informate.

Per le decisioni meno importanti, sebbene i bias cognitivi possano portare a processi decisionali errati, la posta in gioco è ovviamente bassa. Per le decisioni più importanti, il bias cognitivo diventa una minaccia maggiore.

Forse la più grande minaccia rappresentata dai bias cognitivi deriva dal potenziale impatto che questi errori possono avere quando si progettano sistemi che prenderanno molte decisioni da soli. Pertanto, man mano che i sistemi di AI diventano sempre più diffusi, la necessità di misure di protezione contro i pregiudizi in materia di AI diventa sempre più importante.

I modelli AI spesso presentano difetti derivanti sia dai bias cognitivi insiti negli sviluppatori umani che progettano questi sistemi, sia dai bias contenuti nei dati di addestramento dei sistemi. I sistemi risultanti hanno quindi dei propri bias che possono portare a discriminazioni e altri effetti deleteri. 

La governance dell'AI aiuta ad affrontare e prevenire problemi come il bias algoritmico, in cui gli algoritmi di ML producono risultati ingiusti o discriminatori che possono rafforzare disuguaglianze socioeconomiche, razziali o di genere preesistenti. 

La governance dell'AI, i processi, gli standard e i guardrail aiutano gli architetti di sistemi di AI a creare strumenti sicuri ed etici. La governance dell'AI informa i framework per la ricerca, lo sviluppo e le applicazioni di AI che aiutano a garantire sicurezza, equità e rispetto dei diritti umani.

Un modo in cui la governance dell'AI affronta i pregiudizi è promuovendo l'inclusione di diversi set di dati di addestramento. In aree come lo stato di salute, è critico trarre dati da una vasta gamma di popolazioni che potrebbero avere circostanze contestuali uniche.

Per esempio, consideriamo un'AI per lo stato di salute progettata per rilevare i segni del cancro ai polmoni. Se questo modello viene addestrato solo sui dati dei non fumatori che vivono in aree rurali, potrebbe essere meno efficace quando si analizzano soggetti che fumano e vivono in aree ad alto inquinamento. Per creare un AI più efficace, sarebbe fondamentale includere dati di addestramento che rappresentino il maggior numero possibile di scenari potenziali. 

Un altro esempio di governance dell'AI in azione è rappresentato dagli sforzi per istituire e mantenere i sistemi human-in-the-loop (HITL). Questi tipi di sistemi richiedono la supervisione umana degli output dell'AI. I framework HITL aiutano a garantire un controllo aggiuntivo. Se l'umano rileva un bias che il sistema AI ha trascurato, allora può sovrascrivere la decisione dell'IA.  

Sebbene il bias cognitivo sia stato osservato da secoli, il concetto è stato introdotto formalmente per la prima volta negli anni '70 dagli psicologi ricercatori Amos Tversky e Daniel Kahneman. Nel 1974, la coppia ha pubblicato il loro articolo, Judgment Under Uncertainty: Heuristics and Biases, che per primo delineava i modi in cui le persone tendono a fare affidamento su scorciatoie mentali, note come euristiche, quando prendono decisioni o traggono conclusioni. 

Nei campi della psicologia sociale e dell'economia comportamentale, i ricercatori hanno teorizzato che gli esseri umani si sono evoluti per utilizzare l'euristica per alleviare il carico cognitivo, soprattutto quando la precisione perfetta non è importante quanto l'efficienza. Tversky e Kahneman hanno scoperto che le euristiche, ovvero le regole empiriche comuni o i "trucchi del mestiere", erano particolarmente diffuse in situazioni in cui i giudizi dovevano essere espressi rapidamente, senza un contesto completo o in condizioni di generale incertezza. 

Sebbene alcune euristiche possano aiutare efficacemente persone, organizzazioni ed macchine a prendere decisioni rapide ed efficaci, Tversky e Kahneman hanno identificato come il bias cognitivo possa spesso portare a risultati indesiderati. 

Purtroppo, anche le persone consapevoli dei bias cognitivi ne sono comunque soggette. Tuttavia, studiando i diversi tipi di bias cognitivi, si possono efficacemente ridurre i loro impatti negativi sul processo decisionale. Può essere particolarmente utile far revisionare analisi e decisioni da parte di team esterni o sistemi appositamente addestrati per riconoscere i bias cognitivi.  

Il primo passo per combattere i pregiudizi è prendere coscienza delle diverse modalità in cui si manifestano. Dalla pubblicazione dell'articolo rivoluzionario di Tversky e Kahneman, i ricercatori hanno scoperto molti tipi di bias cognitivi.

Alcuni dei tipi più comuni di bias cognitivi sono:

Il bias di conferma è la tendenza a sovrastimare il valore delle informazioni che confermano le convinzioni preesistenti, svalutando al contempo quelle che le contraddicono. Ad esempio, chi crede che la maggior parte degli attacchi informatici sia il risultato di minacce esterne potrebbe liquidare le crescenti segnalazioni di attacchi interni definendole outlier.

La tendenza a presumere che le proprie condizioni, esperienze o circostanze possano essere attribuite a fonti esterne, mentre le circostanze degli altri siano il risultato delle proprie azioni. Ad esempio, qualcuno che cade di un'e-mail di phishing potrebbe credere che i criminali informatici siano stati eccezionalmente intelligenti. Eppure la stessa persona potrebbe vedere un collega cadere in una truffa simile e concludere che il collega è ingenuo e facilmente ingannabile.

Analogamente al bias attore-osservatore, il bias di auto-servizio attribuisce i risultati personali negativi a forze esterne, attribuendosi al contempo un merito ingiustificato per gli esiti positivi. Il bias di auto-servizio potrebbe indurre una persona a presumere che una mano fortunata a poker sia il risultato della propria abilità, mentre interpretare una mano perdente come un inevitabile scherzo del destino. 

L'errore di attribuzione fondamentale è la percezione degli altri come buoni o cattivi in base alle loro motivazioni interne. Ad esempio, una persona frustrata bloccata dietro a un autista lento potrebbe presumere che tale autista sia sconsiderato e scortese, senza considerare fattori esterni potenziali come cattive condizioni di guida o problemi al motore.

La tendenza a dare un'importanza sproporzionata alla prima informazione appresa su un nuovo argomento. I fornitori possono sfruttare il bias di ancoraggio quando pubblicizzano il prezzo precedente e più alto di un prodotto. Ancorando il cliente a un numero maggiore, il prezzo ridotto sembra un'offerta migliore.

L'effetto alone si riferisce al modo in cui l'impressione che si ha di una persona influenza la capacità di giudicare il proprio carattere o le proprie abilità. Questo tipo di bias cognitivo può manifestarsi in molti modi, ma un esempio particolarmente triste è la capacità delle persone convenzionalmente attraenti o gentili di guadagnarsi rapidamente la fiducia degli sconosciuti. I criminali informatici spesso abusano dell'effetto alone quando tentano attacchi di social engineering, ad esempio usando avatar attraenti. 

La tendenza, durante il processo decisionale, a prestare più attenzione a certi fattori ignorando altri. Ad esempio, quando si acquistano soluzioni di cybersecurity, qualcuno che lavora sotto un bias di attenzione potrebbe prestare maggiore attenzione al costo complessivo di un prodotto senza considerare se soddisfi tutte le sue esigenze.

La tendenza a percepire la propria esperienza soggettiva della realtà come oggettiva e aspettarsi che gli altri percepiscano il mondo allo stesso modo. Ironia della sorte, qualcuno che soffre di realismo ingenuo potrebbe liquidare opinioni diverse definendole irrazionali o distorte.

La tendenza dell'analisi esterna di un evento a influenzare la percezione personale dei dati presentati. Questo tipo di pregiudizio ha portato anche gli osservatori oculari a dubitare dei propri occhi sulla base dell'analisi di terze parti distorte. 

La tendenza a presumere che solo perché qualcosa non è progettato per svolgere una determinata funzione, non possa assolutamente svolgere quella funzione. Ad esempio, poiché una chiave inglese non è stata progettata per piantare un chiodo, si potrebbe supporre che non possa essere utilizzata come martello. Tuttavia, in caso di bisogno, una chiave inglese può effettivamente essere usata come un martello. 

La tendenza a credere ha meno probabilità di fallire e più probabilità di avere successo. Mentre una tendenza all'ottimismo può essere preziosa in certe situazioni, una presunzione di successo ingiustificata può portare alla rovina. Le decisioni influenzate da un bias di ottimismo tendono a sminuire questioni serie e a lasciare i decisori esposti a conseguenze potenzialmente devastanti. 

Il bias di sopravvivenza, un tipo di bias di campionamento, è la tendenza a confondere un sottoinsieme di un gruppo più grande per l'intero gruppo. Il bias di sopravvivenza porta le persone a concentrare erroneamente tutta la loro attenzione solo sui punti dati che "sopravvivono" a un certo numero di test di qualificazione.

Uno degli esempi più famosi di bias di sopravvivenza proviene dalla seconda guerra mondiale.¹ Quando è stato consultato sul luogo migliore per rinforzare l'armatura degli aerei, Abraham Wald ha formulato le sue raccomandazioni sulla base di un'analisi statistica dei punti in cui gli aerei di ritorno dal combattimento hanno mostrato il maggior numero di danni. Tuttavia, invece di rafforzare queste aree, Wald ha consigliato di rinforzare le aree che mostravano il minor danno. Wald sapeva che i suoi dati rappresentavano solo gli aerei che erano sopravvissuti al combattimento, quindi ha giustamente dedotto che i danni subiti da questi aerei non erano così critici come quelli subiti altrove. Gli aerei che subirono danni nelle aree non rappresentate erano stati distrutti e non erano sopravvissuti per essere catalogati nell'analisi della distribuzione dei danni. 

La tendenza a prendere una decisione, a giungere a una conclusione o ad adottare una convinzione in base al numero di altre persone che hanno posizioni simili. In sostanza, l'effetto carrozzone descrive l'influenza che la popolarità e le pressioni sociali possono avere sulla psicologia di una persona. 

Il modo in cui le informazioni vengono presentate può portare a conclusioni diverse. Ad esempio, un sondaggio politico che chiede agli intervistati di valutare la loro approvazione per "le cose cattive che il governatore ha fatto" produrrà punteggi più bassi rispetto a una descrizione più obiettiva delle "politiche del governatore". 

La tendenza a dare un valore eccessivo alle informazioni facilmente disponibili o facili da ricordare. Questo bias può indurre un medico a sbagliare la diagnosi di un paziente con l'influenza in base alla presenza di sintomi simili a quelli dell'influenza, senza verificare la presenza di altre malattie con sintomi simili. Anche se potrebbe essere più facile presumere l'influenza, le decisioni prese con informazioni limitate sono spesso influenzate dal bias di disponibilità.

Conosciuta anche come negligenza, la fallacia del tasso di base descrive la tendenza a trascurare o ignorare i dati generali, statistici o a livello di popolazione (il tasso di base) a favore di prove specifiche o aneddotiche. Nell'analisi, è critico stabilire prima un tasso di base per misurare correttamente qualsiasi deviazione statistica. 

Conosciuto anche come fenomeno del "lo sapevo da sempre" o determinismo strisciante, il bias del senno di poi è la tendenza a percepire gli eventi passati come più indicativi dei risultati futuri di quanto non lo siano stati in realtà. Col senno di poi, può sembrare facile collegare le connessioni causali come se il presente fosse una conclusione scontata. In quel momento, però, molti esiti erano possibili, rendendo il futuro meno chiaro. 

Questo bias cognitivo è la tendenza a basarsi su presupposti radicati in stereotipi piuttosto che su informazioni oggettive. Ad esempio, una persona potrebbe presumere che un musicista con tatuaggi e capelli a spillo suoni rock and roll, mentre in realtà potrebbe essere un violinista classico. L'euristica della rappresentatività descrive la tendenza a "giudicare un libro dalla copertina". 

Intitolato ai ricercatori David Dunning e Justin Kruger, questo bias cognitivo descrive la tendenza degli individui non competenti in un determinato ambito a sovrastimare le proprie prestazioni o funzionalità in quel settore. Una spiegazione di questa eccessiva fiducia è che, man mano che una persona apprende nuove informazioni su un argomento, diventa più consapevole su quanto sia profondo quell'argomento. I neofiti non hanno ancora acquisito questa consapevolezza.

Ironia della sorte, uno studio recente ha riscontrato una sorta di effetto Dunning-Kruger inverso nell'uso dell'AI. I ricercatori hanno chiesto a due gruppi di persone di risolvere problemi logici. A un gruppo è stato permesso di usare l'AI per aiutarli a trarre conclusioni, e all'altro no. Dopo aver fatto il test, ai partecipanti che hanno usato l'AI è stato chiesto anche di valutare quanto pensavano di essere stati bravi e quanto erano esperti nell'uso degli strumenti di IAI 

In genere, l'effetto Dunning-Kruger mostrerebbe una correlazione inversa tra la fiducia nell'uso dell'AI e l'effettiva capacità di un soggetto di utilizzare l'AI in modo efficace. Invece, è stato osservato il contrario. I soggetti con livelli più alti di esperienza di AI hanno sopravvalutato la loro capacità di utilizzare efficacemente l'AI. 

Sebbene siano necessari ulteriori studi prima di trarre conclusioni significative, questo rapporto sottolinea l'importanza cruciale di esaminare il bias cognitivo. Quando si tratta del processo decisionale, il bias cognitivo può influenzare in modo significativo i risultati e le conclusioni in modi inaspettati. Quando i bias cognitivi portano a errori durante il processo decisionale, anche i dati migliori, più approfonditi e di maggiore impatto possono essere interpretati in modo completamente errato.