¿Qué es el sesgo de la IA?

Cuando el sesgo de la IA no se aborda, puede afectar al éxito de una organización y obstaculizar la capacidad de las personas para participar en la economía y la sociedad. El sesgo reduce la precisión de la IA y, por lo tanto, su potencial.

Las empresas tienen menos probabilidades de obtener beneficio de sistemas que producen resultados distorsionados. Y los escándalos derivados del sesgo de la IA podrían fomentar la desconfianza entre las personas de color, las mujeres, las personas con discapacidad, la comunidad LGBTQ u otros grupos marginados.

Los modelos en los que se basan los esfuerzos de IA absorben los sesgos de la sociedad que pueden estar silenciosamente incrustados en las montañas de datos con los que se entrenan. La recopilación de datos con sesgos históricos que reflejen la desigualdad social puede resultar perjudicial para los grupos históricamente marginados en casos de uso como la contratación, la policía, la calificación crediticia y muchos otros. Según The Wall Street Journal, "A medida que se generaliza el uso de la inteligencia artificial, las empresas siguen esforzándose por abordar la dirección de los prejuicios generalizados"¹.

Cuando la IA comete un error debido a un sesgo (por ejemplo, grupos de personas a quienes se les niegan oportunidades, se las identifica erróneamente en fotografías o se las castiga injustamente), la organización infractora sufre daños a su marca y reputación. Al mismo tiempo, las personas de esos grupos y la sociedad en su conjunto pueden tener una experiencia de daño sin siquiera darse cuenta. A continuación se presentan algunos ejemplos destacados de disparidades y sesgos en la IA y el daño que pueden causar.

En la atención sanitaria, la infrarrepresentación de datos de mujeres o grupos minoritarios puede sesgar los algoritmos predictivos de la IA². Por ejemplo, se ha observado que los sistemas de diagnóstico asistido por ordenador (CAD) ofrecen resultados de menor precisión para los pacientes afroamericanos que para los blancos.

Aunque las herramientas de IA pueden agilizar la automatización del escaneo de currículos durante una búsqueda para ayudar a identificar a los candidatos ideales, la información solicitada y las respuestas filtradas pueden dar lugar a resultados desproporcionados en todos los grupos. Por ejemplo, si un anuncio de empleo utiliza la palabra "ninja", podría atraer a más hombres que mujeres, aunque eso no sea un requisito laboral³.

Como prueba de generación de imágenes, Bloomberg solicitó la creación de más de 5000 imágenes de IA y descubrió que "el mundo según Stable Diffusion está dirigido por CEO hombres blancos. Las mujeres rara vez son médicas, abogadas o juezas. Los hombres de piel oscura cometen delitos, mientras que las mujeres de piel oscura hacen hamburguesas"⁴. Midjourney realizó un estudio similar sobre la generación de arte mediante IA, solicitando imágenes de personas en profesiones especializadas. El resultado mostró tanto a personas más jóvenes como a mayores, pero los mayores eran siempre hombres, lo que refuerza el sesgo de género del papel de la mujer en el lugar de trabajo⁵. 

Se supone que las herramientas policiales predictivas con IA utilizadas por algunas organizaciones en el sistema de justicia penal identifican las zonas en las que es probable que se produzcan delitos. Sin embargo, a menudo se basan en datos históricos sobre detenciones, lo que puede reforzar las pautas existentes de elaboración de perfiles raciales y de ataque desproporcionado a las comunidades minoritarias⁶.

Los resultados distorsionados pueden dañar a las organizaciones y a la sociedad en general. Estos son algunos de los tipos más comunes de sesgo de IA⁷.

• Sesgo del algoritmo: puede producirse información errónea si el problema o la pregunta planteada no es totalmente correcta o específica, o si el feedback que recibe el algoritmo de machine learning no ayuda a orientar la búsqueda de una solución.
  
  
• Sesgo cognitivo: La tecnología de IA requiere la intervención humana, y los humanos son imperfectos. Los sesgos personales pueden infiltrarse sin que los profesionales se den cuenta. Esto puede afectar al conjunto de datos o al comportamiento del modelo.
  
  
• Sesgo de confirmación: estrechamente relacionado con el sesgo cognitivo, ocurre cuando la IA se basa demasiado en creencias o tendencias preexistentes en los datos, duplicando los sesgos existentes e incapaz de identificar nuevos patrones o tendencias.

• Sesgo de exclusión: este tipo de sesgo ocurre cuando se omiten datos importantes de los datos que se utilizan, a menudo porque el desarrollador no ha logrado ver factores nuevos e importantes.
  
  
• Sesgo de medición: el sesgo de medición está causado por datos incompletos. En la mayoría de los casos, se trata de un descuido o una falta de preparación que resulta en que el conjunto de datos no incluya a toda la población que debe tenerse en cuenta. Por ejemplo, si una universidad quisiera predecir los factores para una graduación exitosa, pero incluyera solo a los graduados, las respuestas pasarían por alto por completo los factores que hacen que algunos abandonen la escuela.

• Sesgo de homogeneidad fuera del grupo: se trata de un caso de no saber lo que uno no sabe. Las personas tienden a comprender mejor a los miembros de su propio grupo, el grupo al que uno pertenece, y a pensar que son más diversos que los miembros de grupos externos. El resultado puede ser que los desarrolladores creen algoritmos que sean menos capaces de distinguir entre individuos que no son parte del grupo mayoritario en los datos de entrenamiento, lo que genera sesgo racial, clasificación errónea y respuestas incorrectas.

• Sesgo de prejuicio: se produce cuando los estereotipos y las suposiciones sociales erróneas se abren camino en el conjunto de datos del algoritmo, lo que inevitablemente conduce a resultados sesgados. Por ejemplo, la IA podría arrojar resultados que mostraran que solo los hombres son médicos y todas las enfermeras son mujeres.
  
  
• Sesgo de memoria: se desarrolla durante el etiquetado de datos, donde las etiquetas se aplican de manera inconsistente por observaciones subjetivas.
  
  
• Sesgo muestral/de selección: es un problema cuando los datos utilizados para entrenar el modelo de machine learning no son lo suficientemente grandes, no son lo suficientemente representativos o son demasiado incompletos para entrenar suficientemente el sistema. Si todos los profesores consultados para entrenar un modelo de IA tienen las mismas calificaciones académicas, entonces cualquier futuro profesor considerado tendría que tener las mismas calificaciones académicas.
  
  
• Sesgo de estereotipos: ocurre cuando un sistema de IA, normalmente sin darse cuenta-, refuerza estereotipos perjudiciales. Por ejemplo, un sistema de traducción de idiomas podría asociar algunos idiomas con ciertos géneros o estereotipos étnicos. McKinsey ofrece una advertencia sobre los intentos de eliminar los prejuicios de los conjuntos de datos: “Un enfoque ingenuo es eliminar las clases protegidas (como el sexo o la raza) de los datos y eliminar las etiquetas que hacen que el algoritmo sea sesgado. Sin embargo, es posible que este enfoque no funcione porque las etiquetas eliminadas pueden afectar la comprensión del modelo y la precisión de los resultados puede empeorar"⁸.

El primer paso para evitar la trampa del sesgo es volver al principio y reflexionar sobre la IA. Como ocurre con casi todos los retos empresariales, los problemas son mucho más fáciles de solucionar por adelantado que esperar al choque de tren y, después, analizar el resultado dañado. Sin embargo, muchas organizaciones tienen prisa: no saben lo que hacen y eso les cuesta dinero.

Identificar y abordar los sesgos en la IA requiere un gobierno de la IA, o la capacidad de dirigir, gestionar y monitorizar las actividades de IA de una organización. En la práctica, el gobierno de la IA crea un conjunto de políticas, prácticas y marcos para guiar el desarrollo y uso responsables de las tecnologías de IA. Cuando se hace bien, el gobierno de la IA ayuda a garantizar que haya un equilibrio entre los beneficios otorgados a las empresas, los clientes, los empleados y la sociedad en su conjunto.

El gobierno de la IA suele incluir métodos que tienen como objetivo evaluar la equidad, la equidad y la inclusión. Enfoques como la justicia contrafactual identifican el sesgo en la toma de decisiones de un modelo y garantizan resultados equitativos, incluso cuando se incluyen atributos sensibles como el género, la raza o la orientación sexual.

Debido a la complejidad de la IA, un algoritmo puede ser un sistema de caja negra con pocos conocimentos sobre los datos utilizados para crearlo. Las prácticas y tecnologías de transparencia ayudan a garantizar que se utilicen datos imparciales para construir el sistema y que los resultados sean justos. Las empresas que trabajan en la protección de la información de sus clientes construyen confianza en la marca y tienen más posibilidades de crear sistemas de IA fiables.

Para ofrecer otra capa de garantía de calidad, establezca un sistema "human-in-the-loop" que ofrezca opciones o haga recomendaciones que luego puedan ser aprobadas por decisiones humanas.

Esta es una lista de seis pasos del proceso que pueden evitar que los programas de IA contengan sesgos.

1. Seleccionar el modelo de aprendizaje correcto:

• Cuando se utiliza un modelo supervisado, los stakeholders seleccionan los datos de entrenamiento. Es crítico que el equipo de stakeholder sea diverso, no solo científicos de datos, y que hayan recibido formación para ayudar a prevenir los sesgos inconscientes.
  
• Los modelos no supervisados utilizan únicamente la IA para identificar los sesgos. Es necesario incorporar herramientas de prevención de sesgos en las redes neuronales para que aprendan a reconocer lo que está sesgado.

2. Entrenar con los datos correctos: el machine learning entrenado con los datos incorrectos producirá resultados incorrectos. Cualquier dato que se introduzca en la IA debe ser completo y equilibrado para replicar la demografía real del grupo considerado.

3. Elegir un equipo equilibrado: cuanto más variado sea el equipo de IA (racial, económicamente, por nivel educativo, por género y por descripción del trabajo), más probable será que reconozca sesgos. Los talentos y puntos de vista de un equipo de IA completo deben incluir innovadores de negocios de IA, creadores de IA, implementadores de IA y una representación de los consumidores de este esfuerzo de IA en particular⁹.

4. LLevar a cabo el proceso de datos con atención: las empresas deben ser conscientes de los sesgos en cada paso del proceso de datos. El riesgo no está solo en la selección de datos: ya sea durante el preprocesamiento, el procesamiento interno o el posprocesamiento, el sesgo puede introducirse en cualquier momento e introducirse en la IA.

5. Monitorizar continuamente: ningún modelo está completo o es permanente. La monitorización y las pruebas continuas con datos del mundo real de toda la organización pueden ayudar a detectar y corregir los sesgos antes de que causen daño. Para evitar aún más sesgos, las organizaciones deberían considerar las evaluaciones realizadas por un equipo independiente de la organización o por un tercero de confianza.

6. Evitar los problemas de infraestructura: además de las influencias humanas y de datos, a veces la propia infraestructura puede causar sesgos. Por ejemplo, al utilizar los datos recopilados de los sensores mecánicos, el propio equipo podría inyectar sesgos si los sensores no funcionan correctamente. Este tipo de sesgo puede ser difícil de detectar y requiere invertir en las últimas infraestructuras digitales y tecnológicas.