El sesgo algorítmico se produce cuando los errores sistemáticos en los algoritmos de machine learning producen resultados injustos o discriminatorios. A menudo refleja o refuerza los sesgos socioeconómicos, raciales y de género existentes.
Los sistemas de inteligencia artificial (IA) utilizan algoritmos para descubrir patrones y conocimientos en los datos, o para predecir valores de salida a partir de un conjunto determinado de variables de entrada. Los algoritmos sesgados pueden afectar a estos conocimientos y resultados de manera que conduzcan a decisiones o acciones perjudiciales, promuevan o perpetúen la discriminación y la desigualdad, y erosionen la confianza en la IA y en las instituciones que la utilizan. Estos impactos pueden crear riesgos legales y financieros para las empresas. Por ejemplo, según la Ley de IA de la UE, el incumplimiento de sus prácticas de IA prohibidas puede suponer multas de hasta 35 000 000 de EUR o el 7 % del volumen de negocios anual mundial, si esta cifra es superior.
El sesgo algorítmico es especialmente preocupante cuando se encuentra dentro de los sistemas de IA que respaldan decisiones que alteran la vida en áreas como la sanidad, la aplicación de la ley y los recursos humanos. El sesgo puede introducirse en los algoritmos de muchas maneras, como datos de entrada de entrenamiento sesgados o limitados, decisiones de programación subjetivas o interpretación de resultados.
La mitigación del sesgo algorítmico comienza con la aplicación de los principios de gobierno de la IA, incluidas la transparencia y la explicabilidad, en todo el ciclo de vida de la IA.
Manténgase al día sobre las tendencias más importantes e intrigantes del sector en materia de IA, automatización, datos y mucho más con el boletín Think. Consulte la Declaración de privacidad de IBM.
El sesgo algorítmico no lo causa el algoritmo en sí, sino la forma en que el equipo de ciencia de datos recopila y codifica los datos de entrenamiento. Las causas específicas incluyen:
Los datos defectuosos se caracterizan por no ser representativos, carecer de información, estar sesgados históricamente o ser "malos" por cualquier otro motivo. Conduce a algoritmos que producen resultados injustos y amplifican cualquier sesgo en los datos. Los sistemas de IA que utilizan resultados sesgados como datos de entrada para la toma de decisiones crean un bucle de feedback que también puede reforzar el sesgo con el tiempo. Este ciclo, en el que el algoritmo aprende y perpetúa continuamente los mismos patrones sesgados, conduce a resultados cada vez más sesgados.
También pueden surgir sesgos durante la fase de entrenamiento si los datos se clasifican o evalúan incorrectamente. A veces, los algoritmos pueden "aprender" de la correlación de datos en lugar de la causalidad, ya que no poseen la capacidad de comprender la diferencia. Cuando esto sucede, el resultado del algoritmo puede estar sesgado, ya que el modelo no ha tenido en cuenta otros factores de los datos que pueden ser más importantes.
Un ejemplo comúnmente citado de sesgo de correlación es un modelo hipotético que determina una relación causal entre el aumento de los ataques de tiburones y el aumento de las ventas de helados. En realidad, ambas situaciones suelen darse durante el verano y sólo poseen una relación correlativa.
El diseño de algoritmos también puede introducir sesgos. Los errores de programación, como un diseñador de IA que pondera injustamente los factores en el proceso de toma de decisiones, pueden trasladarse al sistema sin saberlo. La ponderación suele ser una técnica para evitar el sesgo, ya que implica ajustes en los datos para que reflejen mejor la población real. Sin embargo, puede requerir suposiciones por parte de los diseñadores, lo que puede dar lugar a imprecisiones e introducir sesgos. Los desarrolladores también pueden integrar el algoritmo con reglas subjetivas basadas en sus propios sesgos conscientes o inconscientes.
Los sistemas de IA a veces utilizan proxies como sustitutos de atributos protegidos, como la raza o el género. Sin embargo, los proxies pueden estar sesgados involuntariamente, ya que podrían tener una correlación falsa o accidental con los atributos sensibles que debían reemplazar. Por ejemplo, si un algoritmo utiliza los códigos postales como indicador de la situación económica, podría perjudicar injustamente a determinados grupos en los que los códigos postales están asociados a características demográficas raciales específicas.
Los sesgos en la evaluación se producen cuando los resultados del algoritmo se interpretan en función de las ideas preconcebidas de las personas implicadas, en lugar de los resultados objetivos. Incluso si el algoritmo es neutral y se basa en datos, la forma en la que un individuo o una empresa aplica el resultado del algoritmo puede conducir a resultados injustos dependiendo de cómo entienda los resultados.
Cuando el sesgo algorítmico no se aborda, puede perpetuar la discriminación y la desigualdad, crear daños legales y de reputación y erosionar la confianza.
Las decisiones algorítmicas sesgadas refuerzan las disparidades sociales existentes que enfrentan los grupos marginados y estos sesgos humanos conducen a resultados injustos y potencialmente dañinos de los sistemas de IA. Aunque muchas de las aplicaciones de IA más comunes pueden parecer de bajo riesgo (como los motores de búsqueda, los chatbots y los sitios de redes sociales), otras aplicaciones de IA pueden influir en decisiones que alteran la vida. El uso de herramientas de inteligencia artificial sesgadas en áreas como la justicia penal, la sanidad y la contratación podría producir resultados devastadores.
Por ejemplo, la marginación de los afroamericanos en el pasado se refleja en los datos históricos de arrestos de Oakland, California en los Estados Unidos. Si estos datos se utilizan para entrenar un algoritmo policial predictivo (PPA) actual, es probable que las decisiones tomadas por el PPA reflejen y refuercen esos sesgos raciales del pasado.
Las organizaciones que utilizan sistemas de IA sesgados podrían enfrentarse a consecuencias legales y daños a su reputación, ya que las recomendaciones sesgadas pueden tener lo que se conoce como un impacto dispar. Se trata de un término jurídico que hace referencia a situaciones en las que políticas y prácticas aparentemente neutras pueden afectar de forma desproporcionada a personas de clases protegidas, como las susceptibles de sufrir discriminación por motivos de raza, religión, sexo y otras características.
Los grupos protegidos afectados negativamente por decisiones sesgadas de la IA podrían presentar demandas, lo que podría dar lugar a importantes responsabilidades financieras, daños a la reputación a largo plazo y la condena de las partes interesadas. Las organizaciones también podrían enfrentarse a sanciones económicas si se descubre que infringen las leyes antidiscriminatorias aplicables.
Los resultados sesgados de las herramientas de IA erosionan la confianza en la IA de múltiples maneras. Si se descubre que una organización tiene sistemas de IA sesgados, podría perder la confianza de las partes interesadas de la empresa que ya no confían en los procesos algorítmicos de toma de decisiones. Es posible que estas partes interesadas tampoco consideren que el valor de optimización de la IA supera su riesgo y pierdan la confianza en la tecnología en general.
El sesgo algorítmico también puede hacer perder la confianza de los clientes. Basta un solo caso de discriminación para arruinar la reputación de una marca, especialmente en la era de las noticias de rápida difusión. La confianza en la IA es especialmente importante para conservar con los grupos marginados, que ya experimentan prejuicios y discriminación en el mundo físico.
El sesgo algorítmico puede producirse en cualquier escenario o sector que utilice un sistema de IA para tomar decisiones. Estos son algunos posibles ejemplos reales de sesgo algorítmico:
Los tribunales estadounidenses utilizan la herramienta COMPAS (Perfil de gestión de delincuentes correccionales para sanciones alternativas) para evaluar el riesgo de reincidencia de los acusados. Un estudio de ProPublica reveló que el algoritmo de las herramientas podría haber clasificado de forma diferente a los acusados blancos y negros. Por ejemplo, en la evaluación de riesgos, los acusados negros tenían el doble de probabilidades que los acusados blancos de ser clasificados erróneamente como de mayor riesgo de reincidencia violenta. La empresa que creó la herramienta cuestiona este análisis; sin embargo, no revela los métodos utilizados para llegar a las puntuaciones de riesgo1.
Los investigadores crearon su propio algoritmo de vigilancia predictiva entrenado con datos de informes de víctimas de Bogotá, Colombia. Cuando compararon las predicciones del modelo con conjuntos de datos reales sobre delincuencia, detectaron errores importantes. Por ejemplo, predijo un 20 % más de ubicaciones con un alto índice de delincuencia de lo que la realidad en distritos con un gran volumen de denuncias. Pero esto reflejaba un sesgo social: las personas negras tienen más probabilidades de ser denunciadas por un delito que las personas blancas2.
En sanidad, la infrarrepresentación de los grupos minoritarios en los datos puede sesgar los algoritmos predictivos de IA. Por ejemplo, se ha observado que los sistemas de diagnóstico asistido por ordenador (CAD) arrojan resultados de menor precisión para los pacientes negros que para los blancos.
Amazon dejó de utilizar una herramienta de selección de personal basada en IA tras descubrir que discriminaba sistemáticamente a las mujeres que solicitaban empleo. Los desarrolladores entrenaron el algoritmo de contratación utilizando currículos de empleados anteriores, que eran predominantemente hombres. Como resultado, el algoritmo favoreció injustamente las palabras clave y las características que se encuentran en los currículos de los hombres3.
Los sesgos en los servicios financieros pueden tener graves consecuencias para la subsistencia de las personas, ya que los datos históricos pueden contener sesgos demográficos que afectan a la solvencia, la aprobación de préstamos y mucho más. Por ejemplo, un estudio de la Universidad de California en Berkeley demostró que un sistema de IA para hipotecas cobraba sistemáticamente a los prestatarios pertenecientes a minorías tipos más altos por los mismos préstamos en comparación con los prestatarios blancos4.
Investigadores académicos descubrieron un sesgo de género en el generador de imágenes de IA Midjourney. Durante el análisis de más de 100 imágenes generadas, también encontraron casos de sesgo racial, de clase y de edad en los resultados. Por ejemplo, cuando se le pidió que creara imágenes de personas en profesiones especializadas, mostró tanto a personas jóvenes como mayores, pero los mayores siempre eran hombres, lo que reforzaba el sesgo de género con respecto a las mujeres en el lugar de trabajo5.
Una investigación del MIT descubrió que algunos sistemas comerciales de reconocimiento facial de uso general, utilizados para emparejar caras en fotos, por ejemplo, eran incapaces de reconocer a personas de piel más oscura. El reconocimiento era aún peor para las mujeres de piel más oscura. Los datos de entrenamiento que tergiversaban la demografía real sesgaron los resultados6.
Después de que una ley de Chicago obligara a las empresas de transporte privado a revelar sus tarifas, los investigadores descubrieron que el algoritmo de tarificación de Uber y Lyft cobraba más por las entregas en barrios con una gran población no blanca7.
La mitigación del sesgo de los sistemas de IA comienza con el gobierno de la IA, que se refiere a las barreras de protección que garantizan que las herramientas y los sistemas de IA sean y sigan siendo seguros y éticos. Establece los marcos, reglas y normas que dirigen la investigación, el desarrollo y la aplicación de la IA para contribuir a garantizar la seguridad, la equidad y el respeto de los derechos humanos.
Las organizaciones podrían considerar los siguientes principios de gobierno de la IA para evitar posibles sesgos de la IA a lo largo del ciclo de vida del sistema:
El machine learning es tan bueno como los datos que lo entrenan. Para que la IA refleje mejor las diversas comunidades a las que sirve, es necesario representar en los modelos una variedad mucho más amplia de datos de seres humanos. Los datos introducidos en los modelos de machine learning y los sistemas de deep learning deben ser completos y equilibrados, representativos de todos los grupos de personas y reflejar la demografía real de la sociedad.
Ningún sistema informático está nunca completamente "entrenado" o "terminado". La monitorización y las pruebas continuas (a través de iniciativas como evaluaciones de impacto, auditoría algorítmica y pruebas de causalidad) pueden ayudar a detectar y corregir posibles sesgos antes de que creen problemas. Procesos como el sistema "humano en el circuito" requieren que las recomendaciones sean revisadas por humanos antes de tomar una decisión para proporcionar otra capa de garantía de calidad.
Los sistemas de IA pueden ser "cajas negras", lo que dificulta la comprensión de sus resultados. Los sistemas de IA transparentes documentan y explican claramente la metodología del algoritmo subyacente y quién lo entrenó. Cuanto más se entienda cómo se entrenan y ajustan los sistemas de IA y cómo toman sus decisiones, más podrán confiar las partes interesadas y la sociedad en general en la precisión e imparcialidad de la IA.
La IA inclusiva comienza con un equipo diverso e interdisciplinario de programadores de IA, desarrolladores, científicos de datos, ingenieros de ML y más que son variados racialmente, económicamente, por nivel educativo, por género, por descripción de trabajo y otras métricas demográficas. La diversidad dentro del diseño y el desarrollo aportará diferentes perspectivas para ayudar a identificar y mitigar sesgos que de otro modo podrían pasar desapercibidos.
1. "How We Analyzed the COMPAS Recidivism Algorithm”. ProPublica. 23 de mayo de 2016.
2. “Predictive policing is still racist—whatever data it uses”. MIT Technology Review. 5 de febrero de 2021.
3. “Why Amazon’s Automated Hiring Tool Discriminated Against Women”. ACLU. 12 de octubre de 2018.
4. “AI is Making Housing Discrimination Easier Than Ever Before”. The Kreisman Initiative for Housing Law and Policy. Universidad de Chicago. 12 de febrero de 2024.
5. “Ageism, sexism, classism and more: 7 examples of bias in AI-generated images”. The Conversation. 9 de julio de 2023.
6. “Algorithmic bias detection and mitigation: Best practices and policies to reduce consumer harms”. Brookings. 22 de mayo de 2019.
7. “Algorithmic Bias Explained”. The Greenlining Institute. Febrero de 2021.