¿Qué es el sesgo algorítmico?

Los sistemas de inteligencia artificial (IA) emplean algoritmos para descubrir patrones e insights en los datos, o para predecir valores de salida a partir de un conjunto determinado de variables de entrada. Los algoritmos sesgados pueden afectar estos insights y resultados de maneras que conduzcan a decisiones o acciones perjudiciales, promuevan o perpetúen la discriminación y la desigualdad, y erosionen la confianza en la IA y en las instituciones que la utilizan. Estos impactos pueden crear riesgos legales y financieros para las empresas. Por ejemplo, según la Ley de IA de la UE, el incumplimiento de sus prácticas prohibidas de IA puede significar multas de hasta 35 000 000 EUR o el 7 % de la facturación anual mundial, lo que sea mayor.

El sesgo algorítmico es especialmente preocupante cuando se encuentra dentro de los sistemas de IA que respaldan decisiones que alteran la vida en áreas, como la atención médica, la aplicación de la ley y los recursos humanos. El sesgo puede entrar en los algoritmos de muchas maneras, como datos de entrada de entrenamiento sesgados o limitados, decisiones de programación subjetivas o interpretación de resultados.

La mitigación del sesgo algorítmico comienza con la aplicación de los principios de gobernanza de la IA, incluida la transparencia y la explicabilidad, a lo largo de todo el ciclo de vida de la IA.

El sesgo algorítmico no es causado por el algoritmo en sí, sino por la forma en que el equipo de ciencia de datos recopila y codifica los datos de entrenamiento. Las causas específicas incluyen:

• Sesgos en los datos de entrenamiento
• Sesgos en el diseño de algoritmos
• Sesgos en los datos proxy
• Sesgos en la evaluación

Los datos defectuosos se caracterizan por ser no representativos, carecer de información, estar históricamente con sesgo o ser "deficientes". Esto conduce a algoritmos que producen resultados parciales y amplifican cualquier sesgo en los datos. Los sistemas de IA que emplean resultados con sesgo como datos de entrada para la toma de decisiones crean un ciclo de retroalimentación que también puede reforzar el sesgo con el tiempo. Este ciclo, en el que el algoritmo aprende continuamente y perpetúa los mismos patrones con sesgo, conduce a resultados cada vez más sesgados.

También pueden surgir sesgos durante la fase de entrenamiento si los datos se categorizan o evalúan incorrectamente. A veces, los algoritmos pueden "aprender" de la correlación de datos en lugar de la causalidad, ya que no poseen la capacidad de comprender la diferencia. Cuando esto sucede, el resultado del algoritmo puede estar sesgado en el sentido de que el modelo no consideró otros factores en los datos que pueden ser de mayor importancia.

Un ejemplo comúnmente citado de sesgo de correlación es un modelo hipotético que determina una relación causal entre el aumento de los ataques de tiburones y el incremento de las ventas de helados. En realidad, ambas situaciones suelen darse durante el verano y sólo poseen una relación correlativa.

El diseño de algoritmos también puede introducir sesgos. Los errores de programación, como un diseñador de IA que pondera injustamente los factores en el proceso de toma de decisiones, pueden transferirse al sistema sin saberlo. La ponderación suele ser una técnica para evitar sesgos, ya que implica ajustes en los datos para que reflejen mejor la población real. Sin embargo, puede requerir suposiciones por parte de los diseñadores, lo que puede generar imprecisiones e introducir sesgos. Los desarrolladores también pueden integrar el algoritmo con reglas subjetivas basadas en sus propios sesgos conscientes o inconscientes.

Los sistemas de IA a veces emplean proxies como sustituto de atributos protegidos, como la raza o el género. Sin embargo, los proxies pueden estar sesgados involuntariamente, ya que podrían tener una correlación falsa o accidental con los atributos confidenciales que debían reemplazar. Por ejemplo, si un algoritmo emplea códigos postales como proxy del estatus económico, podría perjudicar injustamente a ciertos grupos en los que los códigos postales están asociados con datos demográficos raciales específicos.

Los sesgos en la evaluación se producen cuando los resultados de los algoritmos se interpretan en función de las ideas preconcebidas de las personas implicadas, y no de los resultados objetivos. Aunque el algoritmo sea neutral y se base en datos, la forma en que una persona o compañía aplique los resultados del algoritmo puede dar lugar a resultados injustos en función de cómo los entienda.

Cuando el sesgo algorítmico no se aborda, puede perpetuar la discriminación y la desigualdad, crear daños legales y de reputación y erosionar la confianza.

Las decisiones algorítmicas sesgadas refuerzan las disparidades sociales existentes a las que se enfrentan los grupos marginados, y estos sesgos humanos conducen a resultados injustos y potencialmente dañinos de los sistemas de IA. Si bien muchas de las aplicaciones de IA más comunes pueden parecer de bajo riesgo (como los motores de búsqueda, los chatbots y los sitios de redes sociales), otras aplicaciones de la IA pueden influir en las decisiones que alteran la vida. El uso de herramientas de IA sesgadas en áreas como la justicia penal, la atención médica y la contratación podría arrojar resultados devastadores.

Por ejemplo, la marginación de los afroamericanos en el pasado se refleja en los datos históricos de arrestos de Oakland, California, en los Estados Unidos. Si estos datos se emplean para capacitar un algoritmo policial predictivo (PPA) actual, es probable que las decisiones tomadas por el PPA reflejen y refuercen esos sesgos raciales pasados.

Las organizaciones que emplean sistemas de IA sesgados podrían enfrentar consecuencias legales y daños a la reputación, ya que las recomendaciones sesgadas pueden tener lo que se conoce como un impacto dispar. Este es un término legal que se refiere a situaciones en las que políticas y prácticas aparentemente neutrales pueden afectar de manera desproporcionada a personas de clases protegidas, como aquellas susceptibles de discriminación por motivos de raza, religión, género y otras características.

Los grupos protegidos afectados negativamente por decisiones sesgadas de IA podrían presentar demandas, lo que podría generar pasivos financieros significativos, daños a la reputación a largo plazo y condena por parte de las partes interesadas. Las organizaciones también podrían enfrentar sanciones financieras si se descubre que violan las leyes antidiscriminatorias aplicables.

Los resultados sesgados de las herramientas de IA erosionan la confianza en la IA de múltiples maneras. Si se descubre que una organización tiene sistemas de IA sesgados, podría perder la confianza de las partes interesadas dentro de la compañía que ya no confían en los procesos algorítmicos de toma de decisiones. Es posible que estas partes interesadas ya no consideren el valor de optimización de la IA para compensar su riesgo y pierdan la confianza en la tecnología en general.

El sesgo algorítmico también puede hacer perder la confianza de los clientes. Basta un solo caso de discriminación para arruinar la reputación de una marca, especialmente en una era en la que las noticias se difunden rápidamente. Es especialmente importante mantener la confianza en la IA entre los grupos marginados, como las personas de color, que ya sufren prejuicios y discriminación en el mundo físico.

El sesgo algorítmico puede ocurrir en cualquier escenario o sector que emplee un sistema de IA para tomar decisiones. Estos son algunos ejemplos potenciales de sesgos algorítmicos en el mundo real:

• Sesgos en el sistema de justicia penal
• Sesgos en la atención sanitaria
• Sesgos en el reclutamiento
• Sesgos en los servicios financieros
• Sesgos en los sistemas de reconocimiento facial
• Sesgos en los precios

Los tribunales de Estados Unidos utilizan la herramienta Correctional Offender Management Profiling for Alternative Sanctions (COMPAS) para evaluar el riesgo de reincidencia de los acusados. Un estudio de ProPublica reveló que el algoritmo de herramientas podría haber clasificado a los acusados blancos y negros de manera diferente. Por ejemplo, en la evaluación de riesgos, los acusados negros tenían el doble de probabilidades que los blancos de ser clasificados erróneamente por ser un mayor riesgo de reincidencia violenta. La empresa que creó la herramienta cuestiona este análisis; sin embargo, no revela los métodos utilizados para obtener los puntajes de riesgo.¹

Los investigadores crearon su propio algoritmo policial predictivo entrenado con datos de denuncias de víctimas de Bogotá, Colombia. Cuando compararon las predicciones del modelo con conjuntos de datos reales sobre delitos, encontraron errores importantes. Por ejemplo, predijo un 20 % más de ubicaciones con un alto índice de delincuencia que la realidad en distritos con un gran volumen de denuncias. Pero esto reflejaba un sesgo social: las personas negras tienen más probabilidades de ser denunciadas por un delito que las personas blancas.²

En la atención médica, la representación insuficiente de los grupos minoritarios en los datos puede sesgar los algoritmos predictivos de IA. Por ejemplo, se observó que los sistemas de diagnóstico asistido por computadora (CAD) arrojan resultados de menor precisión para los pacientes negros que para los blancos.

Amazon abandonó una herramienta de reclutamiento de IA después de descubrir que discriminaba sistemáticamente a las solicitantes de empleo. Los desarrolladores entrenaron el algoritmo de contratación a partir de currículos de personas contratadas en el pasado, en su mayoría hombres. En consecuencia, el algoritmo favoreció injustamente las palabras clave y características que se encuentran en los currículos de los hombres.³

El sesgo dentro de los servicios financieros puede tener graves consecuencias para los medios de subsistencia de las personas, ya que los datos históricos pueden contener sesgos demográficos que afectan la solvencia, las aprobaciones de préstamos y más. Por ejemplo, un estudio de la Universidad de California, Berkeley mostró que un sistema de IA para hipotecas cobraba rutinariamente a los prestatarios minoritarios tasas más altas por los mismos préstamos en comparación con los prestatarios blancos.⁴

Investigadores académicos encontraron sesgos de género en el generador de imágenes de IA Midjourney. Durante el análisis de más de 100 imágenes generadas, también encontraron casos de sesgo racial, de clase y de edad en los resultados. Por ejemplo, cuando se le pidió que creara imágenes de personas en profesiones especializadas, mostró a personas más jóvenes y mayores, pero las personas mayores siempre eran hombres, reforzando el sesgo de género respecto a las mujeres en el lugar de trabajo.⁵

Una investigación del MIT descubrió que algunos sistemas comerciales de reconocimiento facial de uso general (utilizados para relacionar rostros en fotos, por ejemplo) eran incapaces de reconocer a personas de piel más oscura. El reconocimiento fue aún peor para las mujeres de piel más oscura. Los datos de entrenamiento que tergiversaron los datos demográficos reales sesgaron los resultados.⁶

Después de que una ley de Chicago obligara a las empresas de transporte a revelar sus tarifas, los investigadores descubrieron que el algoritmo de precios de Uber y Lyft cobraba más por los traslados en barrios con una alta población no blanca.⁷

La mitigación del sesgo de los sistemas de IA comienza con la gobernanza de la IA , que se refiere a las medidas de seguridad que garantizan que las herramientas y los sistemas de IA sean y sigan siendo seguros y éticos. Establece los marcos, reglas y estándares que dirigen la investigación, el desarrollo y la aplicación de la IA para ayudar a garantizar la seguridad, la equidad y el respeto de los derechos humanos.

Las organizaciones pueden considerar los siguientes principios de gobernanza de la IA para evitar posibles sesgos de la IA a lo largo del ciclo de vida del sistema:

• Datos diversos y representativos
• Detección y mitigación de sesgos
• Transparencia e interpretabilidad
• Diseño y desarrollo inclusivos

El aprendizaje automático es tan bueno como los datos que lo capacitan. Para que la IA refleje mejor las diversas comunidades a las que sirve, se debe representar en los modelos una variedad mucho más amplia de datos de seres humanos. Los datos que se introducen en los modelos de aprendizaje automático y los sistemas de aprendizaje profundo deben ser integrales y equilibrados, representativos de todos los grupos de personas y reflejar la demografía real de la sociedad.

Ningún sistema informático está completamente "capacitado" o "terminado". El monitoreo y las pruebas continuos (a través de iniciativas como evaluaciones de impacto, auditoría algorítmica y pruebas de causalidad) pueden ayudar a detectar y corregir posibles sesgos antes de que creen problemas. Procesos como el sistema "human-in-the-loop" requieren que las recomendaciones sean revisadas por humanos antes de tomar una decisión para proporcionar otra capa de garantía de calidad.

Los sistemas de IA pueden ser "cajas negras", lo que dificulta la comprensión de sus resultados. Los sistemas de IA transparentes documentan y explican claramente la metodología del algoritmo subyacente y quién lo capacitó. Cuantas más personas entiendan cómo se capacitan y ajustan los sistemas de IA y cómo toman decisiones, más stakeholders y la sociedad en general podrán confiar en la precisión y equidad de la IA.

La IA inclusiva comienza con un equipo diverso e interdisciplinario de programadores de IA, desarrolladores, científicos de datos, ingenieros de ML y más, que varían según la raza, economía, educación, género, descripción de trabajo y otras métricas demográficas. La diversidad en el diseño y el desarrollo aportará diferentes perspectivas para ayudar a identificar y mitigar sesgos que de otro modo podrían pasar desapercibidos.

Los gobiernos y los responsables políticos están creando marcos y regulaciones de IA para ayudar a guiar, y en algunos casos, hacer cumplir, el uso seguro y responsable de la IA. Por ejemplo:

• La Unión Europea introdujo la Ley de IA de la UE, que contiene requisitos específicos para los sistemas de IA de alto riesgo, como medidas para prevenir y mitigar sesgos.
  
  
• El Informe de Evaluaciones de Impacto Algorítmico del AI Now Institute de la Universidad de Nueva York es un marco práctico. Al igual que una evaluación de impacto ambiental, orienta a las agencias públicas en la evaluación de los sistemas de IA para garantizar la rendición de cuentas pública.⁸
  
  
• El Blueprint for an AI Bill of Rights de la Casa Blanca tiene un principio dedicado a las protecciones contra la discriminación algorítmica. Incluye expectativas y orientación sobre cómo poner en práctica este principio.
  
  
• La Orden Ejecutiva de la Administración Biden sobre el Desarrollo y el Uso Seguros, Protegidos y Confiables de la Inteligencia Artificial establece pautas para el desarrollo y el uso de la IA, incluido el abordaje de la discriminación algorítmica a través de la capacitación, la asistencia técnica y la coordinación entre el Departamento de Justicia de EE. UU. y las oficinas federales de derechos civiles.