O que é viés cognitivo?

Mesmo as pessoas mais analíticas e racionais podem ser vítimas de viés cognitivo, o que muitas vezes ocorre inconscientemente. Muitos vieses são tanto ocultos quanto generalizados, podendo influenciar tanto a análise de dados quanto a própria estrutura da coleta de dados.

Com os grandes avanços recentes em aprendizado de máquina (ML) e inteligência artificial (IA), o interesse e a consciência do viés cognitivo aumentaram. À medida que o investimento nesses sistemas inteligentes cresce exponencialmente, os esforços para mitigar o viés da IA e o viés de dados estão se tornando críticos tanto para a ética da IA quanto para a governança de IA.

Embora os termos falácia lógica e viés cognitivo sejam às vezes usados de forma intercambiável, eles são distintos. As falácias lógicas decorrem de erros cometidos em um argumento lógico. Os erros de viés cognitivo são mais profundos, surgindo durante os estágios de processamento do pensamento. Os vieses cognitivos geralmente têm suas raízes em problemas associados à memória, à recordação, à atenção, à atribuição e a outras formas de meta-análise.

Além disso, muitos tipos de falácias lógicas decorrem diretamente de exemplos de viés cognitivo. O viés cognitivo afeta o pensamento crítico. Quando os argumentos lógicos são construídos com base em um raciocínio com viés, os erros sistêmicos geralmente criam falácias lógicas relacionadas.

Tome, por exemplo, a falácia dos custos irrecuperáveis, um termo que pode descrever tanto um viés cognitivo quanto uma falácia lógica informal. A título de comparação:

Como uma falácia lógica: a falácia dos custos irrecuperáveis refere-se a um argumento logicamente falho para continuar investindo recursos (tempo, dinheiro, esforço, etc.) em um projeto com base apenas na quantidade de recursos irrecuperáveis já investidos. Um jogador que joga um jogo com probabilidade desfavorável não pode justificar logicamente continuar jogando só porque já perdeu uma grande quantia. Logicamente, o dinheiro perdido é irrelevante para a decisão atual de apostar novamente ou desistir.

Como um viés cognitivo: o ditado comum "jogar dinheiro fora tentando recuperar o que já se perdeu" captura bem a essência da falácia dos custos irrecuperáveis. Do ponto de vista cognitivo, fatores emocionais como a aversão à perda, pressões sociais, vergonha e pânico podem levar o jogador a pensar de forma irracional. Eles podem concluir que, apesar de evidências anteriores demonstrarem sua incapacidade de ganhar dinheiro, a próxima mão será diferente.

O viés cognitivo é insidioso porque as decisões que produz nem sempre são evidentemente erradas. Em vez disso, podem ser apenas sutilmente abaixo do ideal ou, até mesmo, coincidentemente precisas. Essa falta de um ciclo de feedback claro é uma das razões pelas quais os vieses cognitivos persistem.

Se não forem detectados precocemente, os efeitos posteriores dos vieses cognitivos durante as fases de planejamento podem criar problemas sistêmicos que podem levar a resultados errôneos, desiguais ou perigosos. Mas ao estudar e entender o viés cognitivo, os tomadores de decisão e aqueles que projetam ou protegem os sistemas de tomada de decisão podem ajudar a alcançar resultados ainda melhores.

Compreender o viés cognitivo pode ajudar as equipes de segurança a construir sistemas mais fortes e mais seguros.

Ao observar os erros comuns no pensamento humano, os profissionais de cibersegurança podem reconhecer melhor os pontos fracos das ferramentas e soluções de segurança. A consciência dos vieses cognitivos também pode ajudar desenvolvedores e profissionais de segurança a evitar falhas possivelmente críticas ao projetar, construir e implementar plataformas, aplicações e outros sistemas de segurança.

Em situações em que a segurança é essencial, como proteger comunicações comerciais confidenciais, proteger segredos de estado ou proteger informações financeiras do consumidor, o viés cognitivo pode levar a vulnerabilidades sistêmicas que podem permitir que agentes mal-intencionados ultrapassem medidas de segurança rigorosas.

Por exemplo, o viés cognitivo de falso consenso é a tendência de assumir que as próprias opiniões são amplamente consideradas corretas, mesmo que não haja dados para apoiar essa conclusão. Esse viés pode levar um desenvolvedor a acreditar que certos tipos de funcionalidades de segurança não são necessários para o tipo de aplicação que ele está criando. Como resultado, ele pode inadvertidamente deixar seu sistema vulnerável a ataques cibernéticos que nunca previram.

Os vieses cognitivos prejudicam a capacidade de interpretar dados e tomar decisões embasadas.

Para decisões menos importantes, embora o viés cognitivo possa resultar em tomada de decisão inadequada, os riscos são obviamente pequenos.Para decisões maiores, o viés cognitivo se torna uma ameaça maior.

Talvez a maior ameaça representada pelo viés cognitivo venha do impacto potencial que esses erros podem ter no desenvolvimento de sistemas que tomarão muitas decisões por conta própria.Assim, à medida que os sistemas de IA se tornam cada vez mais predominantes, a necessidade de proteções contra o viés da IA se torna urgentemente importante.

Os modelos de IA geralmente apresentam falhas decorrentes tanto dos vieses cognitivos inerentes aos desenvolvedores humanos que projetam esses sistemas quanto dos vieses contidos nos dados de treinamento dos sistemas. Os sistemas resultantes possuem então seus próprios vieses, o que pode resultar em discriminação e outros efeitos prejudiciais.

A governança de IA ajuda a lidar com e a prevenir problemas como o viés algorítmico, no qual algoritmos de ML produzem resultados injustos ou discriminatórios que podem reforçar desigualdades socioeconômicas, raciais ou de gênero preexistentes.

A governança de IA, seus processos, padrões e diretrizes ajudam os arquitetos de sistemas de IA a criar ferramentas que sejam seguras e éticas. A governança de IA orienta os frameworks de pesquisa, desenvolvimento e aplicações de IA que ajudam a garantir a segurança, a imparcialidade e o respeito aos direitos humanos.

Uma maneira pela qual a governança de IA lida com o viés é promovendo a inclusão de diversos conjuntos de dados de treinamento. Em áreas como a saúde, é fundamental extrair dados de uma ampla gama de populações que podem ter circunstâncias contextuais únicas.

Por exemplo, considere uma IA de saúde projetada para detectar sinais de câncer de pulmão. Se esse modelo for treinado apenas com dados de não fumantes que vivem em áreas rurais, ele poderá ser menos eficaz na análise de indivíduos que fumam e vivem em áreas com altos níveis de poluição. Para criar uma IA mais eficaz, seria vital incluir dados de treinamento que representem o maior número possível de cenários potenciais.

Outro exemplo de governança de IA em ação seriam os esforços para instituir e manter sistemas com participação humana (HITL). Esses tipos de sistemas exigem supervisão humana da produção da IA. Os frameworks HITL ajudam a garantir uma verificação adicional. Se o humano detectar um viés que o sistema de IA não detectou, ele poderá anular a decisão da IA.

Embora o viés cognitivo tenha sido observado há séculos, o conceito foi introduzido formalmente pela primeira vez na década de 1970 pelos psicólogos pesquisadores Amos Tversky e Daniel Kahneman. Em 1974, a dupla publicou o artigo, "Judgment Under Uncertainty: Heuristics and Biases", que descrevia pela primeira vez as maneiras pelas quais as pessoas tendem a confiar em atalhos mentais, conhecidos como heurísticas, ao tomar decisões ou tirar conclusões.

Nos campos da psicologia social e da economia comportamental, pesquisadores teorizaram que os humanos evoluíram para usar heurísticas para aliviar a carga cognitiva, especialmente quando a precisão perfeita não é tão importante quanto a eficiência. Tversky e Kahneman descobriram que as heurísticas, regras práticas comuns ou "truques do ofício", eram especialmente predominantes em situações em que os julgamentos devem ser feitos rapidamente, sem contexto completo ou sob incerteza geral.

Embora algumas heurísticas possam efetivamente ajudar pessoas, organizações e máquinas a tomar decisões rápidas e eficazes, Tversky e Kahneman identificaram como o viés cognitivo pode frequentemente levar a resultados indesejáveis.

Infelizmente, mesmo as pessoas que estão cientes dos vieses cognitivos ainda são suscetíveis a eles. No entanto, ao estudar os diferentes tipos de vieses cognitivos, pode-se reduzir efetivamente seus impactos negativos no processo de tomada de decisões. Pode ser especialmente útil contar com análises e avaliações de decisões feitas por equipes ou sistemas externos, especialmente treinados para reconhecer vieses cognitivos.

O primeiro passo para combater o viés é tomar consciência das várias maneiras pelas quais ele se manifesta.Desde a publicação do artigo revolucionário de Tversky e Kahneman, os pesquisadores descobriram muitos tipos de viés cognitivo.

Alguns dos tipos mais comuns de viés cognitivo são:

O viés de confirmação é a tendência de supervalorizar informações que confirmam crenças existentes, enquanto se desvaloriza informações que as contradizem. Por exemplo, alguém que acredita que a maioria dos ciberataques resulta de ameaças externas pode ignorar os crescentes relatos de ataques de agente interno como valores discrepantes.

A tendência de presumir que as próprias condições, experiências ou circunstâncias podem ser atribuídas a fontes externas, enquanto as circunstâncias de outras pessoas são resultado de suas próprias ações. Por exemplo, alguém que cai em um golpe de phishing por e-mail pode acreditar que os cibercriminosos foram excepcionalmente inteligentes. No entanto, a mesma pessoa pode ver um colega de trabalho cair em um golpe semelhante e concluir que seu colega é ingênuo e facilmente enganado.

Assim como o viés ator-observador, o viés de autoconveniência atribui resultados pessoais negativos a forças externas, enquanto se atribui crédito indevido por resultados positivos. O viés de autoconveniência pode levar uma pessoa a presumir que uma mão de sorte no pôquer é o resultado de sua própria habilidade, enquanto interpreta uma mão perdida como uma reviravolta inevitável do destino.

O erro fundamental de atribuição é a percepção de outros como bons ou ruins com base em suas motivações internas. Por exemplo, uma pessoa frustrada atrás de um motorista lento pode presumir que esse motorista é imprudente e grosseiro, sem considerar possíveis fatores externos, como más condições de direção ou problemas no motor.

A tendência de dar importância desproporcional à primeira informação aprendida sobre um novo assunto.Os fornecedores podem aproveitar o viés de ancoragem quando anunciam o preço antigo de um produto, mais alto, junto com o atual. Como o cliente já foi fidelizado no valor mais alto, o preço com desconto parece um negócio muito melhor.

O efeito halo refere-se à forma como a impressão que se tem de uma pessoa influencia a capacidade de julgar seu caráter ou suas habilidades. Esse tipo de viés cognitivo pode se manifestar de diversas maneiras, mas um exemplo particularmente infeliz é a capacidade de pessoas convencionalmente atraentes ou agradáveis conquistarem rapidamente a confiança de estranhos. Os cibercriminosos costumam abusar do efeito halo ao tentar ataques de engenharia social, por exemplo, usando avatares atraentes.

A tendência, durante a tomada de decisão, de prestar mais atenção a certos fatores e ignorar outros. Por exemplo, ao comprar soluções de cibersegurança, alguém que trabalha sob um viés de atenção pode prestar mais atenção ao custo total de um produto sem considerar se ele atende a todas as suas necessidades.

A tendência de perceber a própria experiência subjetiva da realidade como objetiva e esperar que os outros percebam o mundo da mesma maneira. Ironicamente, alguém que sofre de realismo ingênuo pode considerar pontos de vista divergentes como irracionais ou tendenciosos.

A tendência de análises externas de um evento influenciarem a percepção pessoal de um indivíduo sobre os dados apresentados.Esse tipo de viés levou até mesmo testemunhas oculares a duvidarem de seus próprios olhos com base na análise enviesada de terceiros.

A tendência de presumir que, só porque algo não foi projetado para cumprir uma determinada função, não pode, de forma alguma, cumprir essa função. Por exemplo, como uma chave inglesa não foi projetada para martelar um prego, pode-se presumir que ela não pode ser usada como martelo. No entanto, em caso de necessidade, uma chave inglesa pode, de fato, ser usada como um martelo.

A tendência de acreditar que se tem menos chances de falhar e mais chances de sucesso. Embora uma visão otimista possa ser valiosa em certas situações, uma presunção injustificada de sucesso pode levar à ruína. Decisões influenciadas por um viés de otimismo têm maior probabilidade de desconsiderar questões sérias e deixar os tomadores de decisão expostos a resultados potencialmente devastadores.

Um tipo de viés de amostragem, o viés de sobrevivência é a tendência de confundir um subconjunto de um grupo maior com o grupo inteiro. O viés de sobrevivência leva as pessoas a concentrarem erroneamente toda a sua atenção apenas nos dados que "sobrevivem" a um certo número de testes qualificatórios.

Um dos exemplos mais famosos de viés de sobrevivência vem da Segunda Guerra Mundial.¹ Quando consultado sobre onde reforçar a blindagem do avião, Abraham Wald fez suas recomendações com base em uma análise estatística de onde os aviões que retornavam do combate apresentavam os maiores danos. No entanto, em vez de reforçar essas áreas, Wald recomendou reforçar as áreas que apresentavam menos danos. Wald entendeu que seus dados representavam apenas aviões que sobreviveram ao combate, então ele inferiu, com razão, que os danos que esses aviões sofreram não foram tão críticos quanto os danos causados em outros lugares. Os aviões que sofreram danos nas áreas não representadas foram destruídos e não sobreviveram para serem catalogados na análise de distribuição de danos.

A tendência de tomar uma decisão, chegar a uma conclusão ou adotar uma crença com base no número de outras pessoas que defendem posições semelhantes. Essencialmente, o efeito manada descreve a influência que a popularidade e as pressões sociais podem ter na psicologia de uma pessoa.

A forma como a informação é apresentada pode levar a conclusões diferentes. Por exemplo, uma pesquisa política que pede aos entrevistados que avaliem sua aprovação das "coisas ruins que o governador fez" resultará em pontuações mais baixas do que uma descrição mais objetiva das "políticas do governador".

A tendência de supervalorizar informações que estão prontamente disponíveis ou são fáceis de lembrar. Esse viés pode levar um médico a diagnosticar incorretamente um paciente com gripe com base na presença de sintomas semelhantes aos da gripe, sem testar outras doenças com sintomas semelhantes. Embora possa ser mais fácil presumir que seja gripe, as decisões tomadas com informações limitadas são frequentemente influenciadas pelo viés de disponibilidade.

Também conhecida como negligência, a falácia da taxa básica descreve a tendência de ignorar ou desconsiderar dados gerais, estatísticos ou de nível populacional (a taxa básica) em favor de evidências específicas ou anedóticas. Na análise, é fundamental primeiro estabelecer uma taxa base para medir adequadamente quaisquer desvios estatísticos.

Também chamado de fenômeno do "já sabia" ou determinismo gradual, o viés da retrospectiva é a tendência de perceber eventos passados como sendo mais indicativos de resultados futuros do que realmente são. Em retrospectiva, pode parecer fácil estabelecer relações causais como se o presente fosse uma conclusão inevitável. Naquele momento, porém, muitos desfechos eram possíveis, tornando o futuro menos claro.

Esse viés cognitivo é a tendência de confiar em suposições enraizadas em estereótipos em vez de informações objetivas. Por exemplo, uma pessoa pode presumir que um músico com tatuagens e cabelo espetado toca rock and roll, quando na verdade ela pode ser um violinista clássico. A heurística da representatividade descreve a tendência de "julgar um livro pela capa".

Batizado com o nome dos pesquisadores David Dunning e Justin Kruger, esse viés cognitivo descreve a tendência de indivíduos sem habilidade em um domínio específico de superestimar seu desempenho ou recursos dentro desse domínio. Uma explicação para esse excesso de confiança é que, à medida que uma pessoa aprende novas informações sobre um assunto, ela se torna mais consciente da profundidade desse assunto. Os neófitos ainda não adquiriram essa consciência.

Ironicamente, um estudo recente descobriu algo como um efeito Dunning-Kruger inverso quando se trata do uso da IA. Os pesquisadores pediram a dois grupos de pessoas que resolvessem problemas lógicos. Um grupo teve permissão para usar IA para ajudá-los a tirar conclusões, e o outro não. Após realizarem o teste, os participantes que utilizaram IA também foram solicitados a estimar seu próprio desempenho e sua experiência com ferramentas de IA.

Normalmente, o efeito Dunning-Kruger mostraria uma correlação inversa entre a confiança no uso da IA e a capacidade real de um sujeito de usar a IA de forma eficaz. No entanto, observou-se o contrário. Os participantes com maior experiência em IA também superestimaram sua capacidade de usar a IA de forma eficaz.

Embora sejam necessários mais estudos antes de se chegar a conclusões significativas, este relatório destaca a importância crucial de examinar o viés cognitivo. Quando se trata de tomada de decisão, o viés cognitivo pode afetar drasticamente os resultados e conclusões de maneiras inesperadas. Quando o viés cognitivo leva a erros cometidos durante o processo de tomada de decisão, até mesmo os melhores, mais perspicazes e impactantes dados podem ser mal interpretados.