El sesgo cognitivo se refiere a errores sistemáticos, razonamientos defectuosos y malas interpretaciones comunes que se observan frecuentemente durante el proceso de toma de decisiones humanas. Todos los seres humanos son susceptibles al sesgo cognitivo, lo que puede afectar su capacidad para interpretar datos y sacar conclusiones precisas.
Incluso las personas más analíticas y racionales pueden ser víctimas del sesgo cognitivo, que muchas veces es inconsciente. Muchos sesgos son tanto ocultos como generalizados, influyendo potencialmente en el análisis de datos y la propia estructura de la recopilación de datos.
Con los importantes avances recientes en el machine learning (ML) y la inteligencia artificial (IA), ha aumentado considerablemente el interés y la concientización sobre los sesgos cognitivos. A medida que la inversión en estos sistemas inteligentes crece exponencialmente, los esfuerzos para mitigar el sesgo de IA y el sesgo de datos se están volviendo críticos tanto para la ética de la IA como para la gobernanza de la IA.
Aunque los términos falacia lógica y sesgo cognitivo a veces se usan indistintamente, son diferentes. Las falacias lógicas se derivan de errores cometidos en un argumento lógico. Los errores debidos a sesgos cognitivos son más profundos, ya que surgen durante las etapas del procesamiento del pensamiento. Los sesgos cognitivos suelen tener su origen en problemas relacionados con la memoria, la capacidad de recordar, la atención, la atribución y otras formas de metaanálisis.
Además, muchos tipos de falacia lógica se derivan directamente de ejemplos de sesgo cognitivo. El sesgo cognitivo afecta el pensamiento crítico. Cuando los argumentos lógicos se basan en un razonamiento con sesgo, los errores sistémicos suelen crear falacias lógicas relacionadas.
Tomemos, por ejemplo, la falacia del costo irrecuperable, un término que puede referirse tanto a un sesgo cognitivo como a una falacia lógica informal. Comparativamente:
Como falacia lógica: la falacia del costo irrecuperable se refiere a un argumento lógicamente defectuoso para continuar invirtiendo recursos (tiempo, dinero, esfuerzo, etc.) en un proyecto basado únicamente en la cantidad de recursos irrecuperables ya invertidos. Un jugador que juega con probabilidades desfavorables no puede justificar lógicamente continuar jugando solo porque ya ha perdido una gran suma. Lógicamente, el dinero perdido no influye en la decisión actual de volver a apostar o retirarse.
Como sesgo cognitivo: el dicho común, “no gastar en vano” captura bien la esencia de la falacia del costo irrecuperable. Desde una perspectiva cognitiva, los factores emocionales como la aversión a la pérdida, las presiones sociales, la vergüenza y el pánico pueden llevar al jugador a pensar de forma irracional. Podría concluir que, a pesar de la evidencia pasada que demuestra su incapacidad para ganar dinero, la próxima mano será diferente.
Obtenga insights curados sobre las noticias más importantes e intrigantes de la IA. Suscríbase a nuestro boletín semanal Think. Consulte la Declaración de privacidad de IBM .
El sesgo cognitivo es insidioso porque las decisiones que produce no siempre son flagrantemente erróneas. En cambio, podrían ser solo sutilmente subóptimas, o incluso coincidentemente precisas. Esta falta de un ciclo de feedback claro es una de las razones por las que persisten los sesgos cognitivos.
Si no se detecta a tiempo, el efecto posterior de los sesgos cognitivos durante las fases de planificación puede crear problemas sistémicos que podrían llevar a resultados erróneos, injustos o peligrosos. Pero al estudiar y comprender el sesgo cognitivo, los responsables de la toma de decisiones y aquellos que diseñan o aseguran los sistemas de toma de decisiones pueden ayudar a lograr resultados aún mejores.
Comprender los sesgos cognitivos puede ayudar a los equipos de seguridad a crear sistemas más sólidos y seguros.
Al tomar nota de los errores comunes en el pensamiento humano, los profesionales dela ciberseguridad pueden reconocer mejor las debilidades en las herramientas y soluciones de seguridad. Ser conscientes de los sesgos cognitivos también puede ayudar tanto a los desarrolladores como a los profesionales de la seguridad a evitar fallas potencialmente críticas al diseñar, crear e implementar plataformas de seguridad, aplicaciones y otros sistemas.
En situaciones en las que la seguridad es esencial, como proteger las comunicaciones comerciales confidenciales, proteger los secretos de estado o salvaguardar la información financiera del consumidor, el sesgo cognitivo puede generar vulnerabilidades sistémicas que podrían permitir que los actores maliciosos atraviesen medidas de seguridad rigurosas.
Por ejemplo, el sesgo cognitivo del falso consenso es la tendencia a asumir que las propias opiniones se consideran correctas, incluso si no hay datos que respalden esa conclusión. Este sesgo podría llevar a un desarrollador a creer que ciertos tipos de características de seguridad no son necesarias para el tipo de aplicación que está creando. Como resultado, podrían dejar inadvertidamente su sistema vulnerable a ciberataques que nunca previeron.
Los sesgos cognitivos perjudican la capacidad de interpretar los datos y tomar decisiones informadas.
Para decisiones menos importantes, aunque el sesgo cognitivo puede dar lugar a una mala toma de decisiones, obviamente lo que está en juego es poco. Cuando se trata de decisiones más importantes, los sesgos cognitivos se convierten en una amenaza mayor.
Quizás la mayor amenaza que plantea el sesgo cognitivo proviene del impacto potencial que estos errores pueden tener al diseñar sistemas que tomarán muchas decisiones por sí mismos. Por lo tanto, a medida que los sistemas de IA se vuelven cada vez más comunes, la necesidad de contar con medidas de protección contra los sesgos de la IA adquiere una importancia urgente.
Los modelos de IA a menudo tienen fallas derivadas tanto de los sesgos cognitivos inherentes a los desarrolladores humanos que diseñan estos sistemas como de los sesgos contenidos en los datos de entrenamiento de los sistemas. Los sistemas resultantes tienen sus propios sesgos, que pueden dar lugar a discriminación y otros efectos nocivos.
La gobernanza de la IA ayuda a abordar y prevenir problemas como el sesgo algorítmico, en el que los algoritmos de ML producen resultados injustos o discriminatorios que pueden reforzar las desigualdades socioeconómicas, raciales o de género preexistentes.
La gobernanza de la IA, los procesos, los estándares y las medidas de seguridad de IA ayudan a los arquitectos de sistemas de IA a crear herramientas que sean seguras y éticas. La gobernanza de la IA informa los marcos para la investigación, el desarrollo y las aplicaciones de la IA que ayudan a garantizar la seguridad, la equidad y el respeto de los derechos humanos.
Una forma en que la gobernanza de la IA aborda el sesgo es promoviendo la inclusión de diversos conjuntos de datos de entrenamiento. En áreas como la atención médica, es fundamental extraer datos de una amplia gama de poblaciones que podrían tener circunstancias contextuales únicas.
Por ejemplo, consideremos una IA para la atención médica diseñada para detectar signos de cáncer de pulmón. Si este modelo se entrena solo con datos de no fumadores que viven en áreas rurales, podría ser menos efectivo al analizar sujetos que fuman y viven en áreas de alta contaminación. Para crear una IA más eficaz, sería fundamental incluir datos de entrenamiento que representen el mayor número posible de situaciones potenciales.
Otro ejemplo de gobernanza de la IA en acción serían los esfuerzos para instituir y mantener sistemas con humanos en el proceso (HITL). Este tipo de sistemas requieren una supervisión humana de los resultados de la IA. Los marcos HITL ayudan a garantizar una verificación adicional. Si el humano detecta un sesgo que el sistema de IA pasó por alto, el humano puede anular la decisión de la IA.
Si bien el sesgo cognitivo se ha observado durante siglos, el concepto fue introducido formalmente por primera vez en la década de 1970 por los psicólogos investigadores Amos Tversky y Daniel Kahneman. En 1974, la pareja publicó su artículo Judgment Under Uncertainty: Heuristics and Biases, que describió por primera vez las formas en que las personas tienden a confiar en atajos mentales, conocidos como heurísticas, al tomar decisiones o sacar conclusiones.
En los campos de la psicología social y la economía del comportamiento, los investigadores han teorizado que los humanos evolucionaron para usar heurísticas para aliviar la carga cognitiva, especialmente cuando la precisión perfecta no es tan importante como la eficiencia. Tversky y Kahneman descubrieron que las heurísticas (reglas generales comunes o “trucos del oficio”) eran especialmente frecuentes en situaciones en las que los juicios deben hacerse rápidamente, sin contexto completo o en condiciones de incertidumbre general.
Aunque algunas heurísticas pueden ayudar eficazmente a las personas, las organizaciones y las máquinas a tomar decisiones rápidas y eficaces, Tversky y Kahneman identificaron cómo el sesgo cognitivo puede conducir con frecuencia a resultados indeseables.
Por desgracia, incluso las personas que son conscientes de los sesgos cognitivos siguen siendo susceptibles a ellos. Sin embargo, al estudiar los diferentes tipos de sesgo cognitivo, se podrían reducir eficazmente sus impactos negativos en el proceso de toma de decisiones. Puede ser especialmente útil tener análisis y decisiones revisados por equipos externos o sistemas especialmente entrenados para reconocer sesgos cognitivos.
El primer paso para combatir el sesgo es tomar conciencia de las diversas formas en que se manifiesta. Desde la publicación del innovador artículo de Tversky y Kahneman, los investigadores han descubierto muchos tipos de sesgos cognitivos.
Algunos de los tipos más comunes de sesgo cognitivo son:
El sesgo de confirmación es la tendencia a sobrevalorar la información que confirma las creencias existentes, mientras que se menosprecia la información que las contradice. Por ejemplo, alguien que crea que la mayoría de los ciberataques son el resultado de amenazas de usuarios externos podría descartar los crecientes informes de ataques de usuarios internos como valores atípicos.
La tendencia a asumir que las propias condiciones, experiencias o circunstancias pueden atribuirse a fuentes externas, mientras que las circunstancias de otras personas son el resultado de sus propias acciones. Por ejemplo, alguien que cae en un correo electrónico de phishing podría creer que los delincuentes cibernéticos fueron excepcionalmente inteligentes. Sin embargo, la misma persona podría ver a un colega caer en una estafa similar y concluir que es crédulo y fácil de engañar.
Al igual que el sesgo del actor-observador, el sesgo de autoservicio atribuye los resultados personales negativos a fuerzas externas, mientras que se da un crédito indebido por los resultados positivos. El sesgo de autoservicio podría llevar a una persona a asumir que una mano de póquer afortunada es el resultado de su propia habilidad, mientras interpreta una mano perdedora como un giro inevitable del destino.
El error fundamental de atribución es la percepción de los demás como buenos o malos en función de sus motivaciones internas. Por ejemplo, una persona frustrada atrapada detrás de un conductor lento podría asumir que dicho conductor es desconsiderado y grosero, sin considerar posibles factores externos, como malas condiciones de conducción o problemas con el motor.
La tendencia a dar una importancia desmesurada a la primera información aprendida sobre un nuevo tema. Los vendedores pueden aprovechar el sesgo de anclaje cuando anuncian el precio anterior y más alto de un producto. Al anclar al cliente con un número mayor, el precio rebajado parece una mejor opción.
El efecto halo se refiere a cómo la impresión que uno tiene de una persona influye en la capacidad de juzgar su carácter o habilidades. Este tipo de sesgo cognitivo puede manifestarse de muchas maneras, pero un ejemplo particularmente desafortunado es la capacidad de personas convencionalmente atractivas o agradables para ganarse rápidamente la confianza de extraños. Los delincuentes cibernéticos a menudo abusan del efecto halo cuando intentan ataques de ingeniería social, por ejemplo, utilizando avatares atractivos.
La tendencia durante la toma de decisiones a prestar más atención a ciertos factores mientras se ignoran otros. Por ejemplo, al comprar soluciones de ciberseguridad, alguien que trabaja bajo un sesgo de atención podría prestar más atención al costo total de un producto sin considerar si satisface todas sus necesidades.
La tendencia a percibir la propia experiencia subjetiva de la realidad como objetiva y esperar que otros perciban el mundo de la misma manera. Irónicamente, alguien que sufre de realismo ingenuo podría descartar puntos de vista diferentes como irracionales o con sesgo.
La tendencia a que el análisis externo de un evento influya en la percepción personal de los datos presentados. Este tipo de sesgo ha llevado incluso a los observadores presenciales a dudar de sus propios ojos basándose en el análisis de terceros con sesgo.
La tendencia a asumir que solo porque algo no está diseñado para cumplir una determinada función no es posible que cumpla esa función. Por ejemplo, debido a que una llave inglesa no está diseñada para martillar un clavo, se podría suponer que no se puede usar como martillo. Sin embargo, en caso de que sea necesario, una llave inglesa se puede usar como un martillo.
La tendencia a creer que algo es menos probable que fracase y más probable que tenga éxito. Aunque un sesgo hacia el optimismo puede ser valioso en ciertas situaciones, una suposición injustificada de éxito puede llevar a la ruina. Las decisiones influenciadas por un sesgo de optimismo tienen más probabilidades de descartar problemas graves y dejar a los responsables de la toma de decisiones expuestos a resultados potencialmente devastadores.
El sesgo de supervivencia, un tipo de sesgo de muestreo, es la tendencia a confundir un subconjunto de un grupo más amplio con el grupo completo. El sesgo de supervivencia lleva a las personas a enfocar incorrectamente toda su atención solo en puntos de datos que “sobreviven” a algún número de pruebas calificativas.
Uno de los ejemplos más famosos de sesgo de supervivencia proviene de la Segunda Guerra Mundial.1 Cuando se le consultó sobre dónde reforzar mejor el blindaje de los aviones, Abraham Wald hizo sus recomendaciones basadas en un análisis estadístico de dónde los aviones que regresaban del combate mostraron el mayor daño. Sin embargo, en lugar de reforzar estas áreas, Wald recomendó reforzar las áreas que mostraron el menor daño. Wald entendió que sus datos representaban solo aviones que habían sobrevivido al combate, por lo que infirió correctamente que el daño que sufrieron estos aviones no fue tan crítico como el daño causado en otros lugares. Los aviones que sufrieron daños en las áreas no representadas fueron destruidos y no sobrevivieron para ser catalogados en el análisis de distribución de daños.
La tendencia a tomar una decisión, llegar a una conclusión o adoptar una creencia basada en la cantidad de otras personas que ocupan posiciones similares. Esencialmente, el efecto de arrastre describe la influencia que la popularidad y las presiones sociales pueden tener en la psicología de uno.
La forma en que se presenta la información puede llevar a conclusiones diferentes. Por ejemplo, una encuesta política en la que se pide a los encuestados que califiquen su aprobación de “las cosas malas que ha hecho el gobernador” arrojará puntuaciones más bajas que una descripción más objetiva de “las políticas del gobernador”.
La tendencia a sobrevalorar la información que está fácilmente disponible o es fácil de recordar. Este sesgo podría llevar a un médico a diagnosticar erróneamente a un paciente con gripe basándose en la presencia de síntomas similares a los de la gripe sin realizar pruebas para detectar otras enfermedades con síntomas similares. Si bien puede ser más fácil asumir que se trata de una gripe, las decisiones tomadas con información limitada a menudo se ven afectadas por el sesgo de disponibilidad.
También conocida como negligencia, la falacia de la tasa base describe la tendencia a pasar por alto o ignorar datos generales, estadísticos o a nivel de población (la tasa base) en favor de evidencia específica o anecdótica. En el análisis, es crítico establecer primero una tasa base para medir adecuadamente cualquier desviación estadística.
También llamado fenómeno de saberlo todo el tiempo o determinismo progresivo, el sesgo retrospectivo es la tendencia a percibir los eventos pasados como más indicativos de resultados futuros de lo que podrían haber sido. En retrospectiva, puede parecer fácil conectar conexiones causales como si el presente fuera una conclusión inevitable. Sin embargo, en el momento, muchos resultados eran posibles, lo que hacía que el futuro fuera menos claro.
Este sesgo cognitivo es la tendencia a confiar en suposiciones arraigadas en estereotipos en lugar de información objetiva. Por ejemplo, una persona podría suponer que un músico con tatuajes y cabello de punta toca rock and roll, cuando en realidad podría ser un violinista clásico. La heurística de representatividad describe la tendencia a “juzgar un libro por su portada”.
Nombrado en honor a los investigadores David Dunning y Justin Kruger, este sesgo cognitivo describe la tendencia de las personas sin habilidades en un dominio particular a sobreestimar su rendimiento o capacidades dentro de ese ámbito. Una explicación de este exceso de confianza es que, a medida que una persona aprende nueva información sobre un tema, se vuelve más consciente de cuán profundo es ese tema. Los neófitos aún tienen que adquirir esta concientización.
Irónicamente, un estudio reciente reveló una especie de efecto Dunning-Kruger inverso en lo que respecta al uso de la IA. Los investigadores pidieron a dos grupos de personas que resolvieran problemas lógicos. A un grupo se le permitió usar la IA para ayudarlos a sacar conclusiones y al otro no. Tras realizar la prueba, también se pidió a los participantes que utilizaron la IA que valoraran qué tal creían que les había ido y qué nivel de experiencia tenían en el uso de herramientas de IA.
Normalmente, el efecto Dunning-Kruger mostraría una correlación inversa entre la confianza en el uso de la IA y la capacidad real de un sujeto para usar la IA de manera efectiva. Sin embargo, se observó lo contrario. Los sujetos con mayores niveles de experiencia en IA también sobrestimaron su capacidad para usar la IA de forma eficaz.
Si bien se requieren más estudios antes de sacar conclusiones significativas, este informe subraya la importancia crucial de examinar el sesgo cognitivo. Cuando se trata de la toma de decisiones, el sesgo cognitivo puede afectar drásticamente los resultados y conclusiones de maneras inesperadas. Cuando el sesgo cognitivo conduce a errores cometidos durante el proceso de toma de decisiones, incluso los mejores datos, los más perspicaces e impactantes pueden malinterpretarse gravemente.
Gobierne modelos de IA generativa desde cualquier lugar y despliéguelos en la nube u on-premises con IBM watsonx.governance.
Vea cómo la gobernanza de la IA puede ayudar a aumentar la confianza de sus empleados en ella, acelerar la adopción y la innovación, y mejorar la confianza de los clientes.
Prepárese para la Ley de IA de la UE y establezca un enfoque de gobernanza de la IA responsable con la ayuda de IBM Consulting.
1. “Abraham Wald's Work on Aircraft Survivability”, Journal of the American Statistical Association. Junio de 1984.