¿Qué es el sesgo de la IA?
Explorar IBM® watsonx.governance
Primer plano de los ojos mirando al espectador

Colaborador: James Holdsworth

Fecha: 22/12/23

¿Qué es el sesgo de la IA?

El sesgo de IA, también denominado sesgo de aprendizaje automático o sesgo de algoritmo, se refiere a la aparición de resultados sesgados debido a sesgos humanos que distorsionan los datos de entrenamiento originales o el algoritmo de IA, lo que provoca resultados distorsionados y potencialmente perjudiciales.

Cuando no se aborda el sesgo de la IA, puede repercutir en el éxito de una organización y obstaculizar la capacidad de las personas para participar en la economía y la sociedad. Los prejuicios reducen la precisión de la IA y, por tanto, su potencial.

Las empresas tienen menos probabilidades de beneficiarse de sistemas que producen Resultados distorsionados. Y los escándalos derivados del sesgo de la IA podrían fomentar la desconfianza entre las personas de color, las mujeres, las personas con discapacidad, la comunidad LGBTQ u otros grupos marginados.

Los modelos en los que se basa la IA absorben los prejuicios de la sociedad que pueden estar silenciosamente incrustados en las montañas de datos con los que se entrenan. La recopilación de datos históricamente sesgada que refleja la desigualdad social puede resultar perjudicial para grupos históricamente marginados en casos de uso como la contratación, la vigilancia policial, la calificación crediticia y muchos otros.  Según The Wall Street Journal, "a medida que se generaliza el uso de la inteligencia artificial, las empresas siguen luchando para dirigir el sesgo generalizado".1

Visite IBM® watsonx.governance

Acelerar un flujo de trabajo de IA responsable, transparente y explicable.

Contenido relacionado

suscríbase al boletín de IBM

Ejemplos y riesgos del mundo real 

Cuando la IA comete un error debido a un sesgo -por ejemplo, cuando a un grupo de personas se le niegan oportunidades, se le identifica erróneamente en fotos o se le castiga injustamente-, la organización infractora sufre daños en su marca y reputación. Al mismo tiempo, las personas de esos grupos y la sociedad en su conjunto pueden Experiencia perjudicar sin ni siquiera darse cuenta. He aquí algunos ejemplos destacados de disparidades y prejuicios en la IA y el daño que pueden causar.

En la atención sanitaria, la infrarrepresentación de datos de mujeres o grupos minoritarios puede sesgar los algoritmos predictivos de la IA.2 Por ejemplo, se ha observado que los sistemas de diagnóstico asistido por ordenador (CAD) arrojan Resultados de precisión más bajos para los pacientes afroamericanos que para los blancos.

Aunque las herramientas de IA pueden agilizar la Automatización del escaneo de currículos durante una búsqueda para ayudar a identificar a los candidatos ideales, la información solicitada y las respuestas descartadas pueden Resultados en resultados desproporcionados entre grupos. Por ejemplo, si un anuncio de trabajo usa la palabra "ninja", podría atraer a más hombres que mujeres, aunque eso no sea de ninguna manera un requisito laboral.3   

Como prueba de generación de imágenes, Bloomberg pidió que se crearan más de 5.000 imágenes de IA y descubrió que "el mundo según Stable Diffusion está dirigido por hombres blancos director ejecutivo (CEO). Las mujeres rara vez son médicas, abogadas o juezas. Los hombres de piel oscura cometen delitos, mientras que las mujeres de piel oscura voltean hamburguesas".4  Midjourney realizó un estudio similar sobre la generación de arte por IA, solicitando imágenes de personas en profesiones especializadas. Los Resultados mostraban tanto a personas jóvenes como mayores, pero las personas mayores eran siempre hombres, lo que refuerza el sesgo de género del papel de la mujer en el lugar de trabajo.5 

impulsado por IA Se supone que las herramientas policiales predictivas utilizadas por algunas organizaciones del sistema de justicia penal identifican las zonas en las que es probable que se produzcan delitos. Sin embargo, a menudo se basan en datos históricos de arrestos, lo que puede reforzar los patrones existentes de discriminación racial y ataques desproporcionados contra las comunidades minoritarias.6

Fuentes de sesgo 

Los Resultados distorsionados pueden perjudicar a las organizaciones y a la sociedad en general. He aquí algunos de los tipos más comunes de sesgoAI7

  • Sesgo del algoritmo: La desinformación puede Resultados si el problema o la pregunta formulada no es del todo correcta o específica, o si la retroalimentación al algoritmo de aprendizaje automático no ayuda a orientar la búsqueda de una solución. 

  • Sesgo cognitivo: AI Tecnología requiere entrada humana, y los seres humanos son falibles. Los prejuicios personales pueden filtrarse sin que los profesionales se den cuenta. Esto puede afectar al conjunto de datos o al comportamiento del modelo. 
     

  • Sesgo de confirmación:Estrechamente relacionado con el sesgo cognitivo, se produce cuando la IA se basa demasiado en creencias o tendencias preexistentes en los datos, duplicando los sesgos existentes e incapaz de identificar nuevos patrones o tendencias. 
     

  • Sesgo de exclusión: este tipo de sesgo se produce cuando los datos importantes se dejan fuera de los datos que se utilizan, a menudo porque el desarrollador no ha podido ver factores nuevos e importantes. 
     

  • Sesgo de medición: El sesgo de medición se debe a datos incompletos. En la mayoría de los casos, se trata de un descuido o de una falta de preparación que hace que el conjunto de datos no incluya a toda la población que debería tenerse en cuenta. Por ejemplo, si una universidad quisiera predecir los factores para una graduación exitosa, pero incluyera solo a los graduados, las respuestas pasarían por alto por completo los factores que hacen que algunos abandonen la escuela. 
     

  • Sesgo de homogeneidad fuera del grupo: Este es un caso de no saber lo que uno no sabe. Las personas tienden a comprender mejor a los miembros de su propio grupo -el grupo al que uno pertenece- y a Think son más diversos que los miembros de grupos externos. Los Resultados pueden ser que los desarrolladores creen algoritmos menos capaces de distinguir entre individuos que no forman parte del grupo mayoritario en los datos de entrenamiento, lo que da lugar a sesgos raciales, clasificaciones erróneas y respuestas incorrectas. 

  • Prejuicios: Se produce cuando los estereotipos y las suposiciones sociales erróneas se cuelan en el conjunto de datos del algoritmo, lo que inevitablemente conduce a Resultados sesgados. Por ejemplo, la IA podría devolver Resultados que muestren que sólo los hombres son médicos y todas las enfermeras son mujeres. 
     

  • Sesgo de recuerdo: se desarrolla durante el etiquetado de datos, donde las etiquetas se aplican de manera inconsistente mediante observaciones subjetivas.  
     

  • Sesgo de muestra/selección: Se trata de un problema que se produce cuando los datos utilizados para entrenar el modelo de aprendizaje automático no son lo suficientemente grandes, representativos o incompletos como para entrenar suficientemente el sistema. Si todos los profesores consultados para formar a un modelo de AI tienen las mismas cualificaciones académicas, los futuros profesores que se consideren deberán tener idénticas cualificaciones académicas. 
     

  • Sesgo estereotipador: Ocurre cuando un sistema de IA refuerza estereotipos nocivos, normalmente sin darse cuenta. Por ejemplo, un sistema de traducción de idiomas podría asociar algunos idiomas con ciertos géneros o estereotipos étnicos. McKinsey hace una advertencia sobre los intentos de eliminar los prejuicios de los conjuntos de datos: "Un ingenuo Approach está eliminando las clases protegidas (como el sexo o la raza) de los datos y suprimiendo las etiquetas que hacen que el algoritmo sea tendencioso. Sin embargo, este Approach puede no funcionar porque las etiquetas eliminadas pueden afectar a la comprensión del modelo y la precisión de tus Resultados puede empeorar".8

Principios para evitar el sesgo 

El primer paso para evitar la trampa del sesgo es dar un paso atrás al principio y reflexionar un poco sobre la IA. Como ocurre con casi todos los retos empresariales, los problemas son mucho más fáciles de arreglar por adelantado que esperar a que se produzca el choque de trenes y, después, ordenar los Resultados dañados. Pero muchas organizaciones tienen prisa: son prudentes y tontas son libras, y eso les cuesta. 

Identificar y dirigir los sesgos en la IA requiere gobernanza de la IA, o la capacidad de dirigir, gestionar y supervisar las actividades de IA de una organización. En la práctica, la gobernanza de la IA crea un conjunto de políticas, prácticas e infraestructura/marco para guiar el desarrollo y uso responsables de la tecnología de IA. Cuando se hace bien, la gobernanza de la IA ayuda a garantizar que haya un equilibrio en los beneficios otorgados a las empresas, los clientes, los empleados y la sociedad en su conjunto.

La gobernanza de la IA suele incluir métodos destinados a evaluar la justicia, la equidad y la inclusión. Enfoques como la justicia contrafáctica identifican los sesgos en la toma de decisiones de un modelo y garantizan Resultados equitativos, incluso cuando se incluyen atributos sensibles como el sexo, la raza o la orientación sexual.

 Debido a la complejidad de la IA, un algoritmo puede ser un sistema de caja negra con poco Insight en los datos utilizados para crearlo. Las prácticas de transparencia y la tecnología ayudan a garantizar que se utilicen datos imparciales para construir el sistema y que los resultados sean justos. Las empresas que trabajan para proteger la información de sus clientes generan confianza en la marca y tienen más probabilidades de crear sistemas fiables de IA.

Para proporcionar otra capa de garantía de calidad, instituya un sistema de "humano en el circuito" para ofrecer opciones o hacer recomendaciones que luego puedan ser aprobadas por decisiones humanas.

Cómo evitar el sesgo

He aquí una lista de seis pasos del proceso que pueden mantener los programas de IA libres de prejuicios.

1. Seleccione el modelo de aprendizaje correcto:

  • Cuando se utiliza un modelo supervisado, los interesados seleccionan los datos de entrenamiento. Es crítico que el equipo de stakeholder sea diverso -no sólo científicos de datos- y que haya recibido formación para ayudar a prevenir el sesgo inconsciente.  
  • Los modelos no supervisados utilizan la IA por sí sola para identificar sesgos. Las herramientas de prevención de sesgos deben integrarse en la red neuronal para que aprenda a reconocer lo que está sesgado.

2. Entrenar con los datos correctos: El aprendizaje automático entrenado con datos erróneos producirá Resultados erróneos. Los datos que se introduzcan en la IA deben ser completos y equilibrados para reproducir la demografía real del grupo considerado.     

3. Elija un equipo equilibrado: Cuanto más variado sea el equipo de IA -desde el punto de vista racial, económico, por nivel educativo, por sexo y por descripción del puesto-, más probabilidades habrá de reconocer los prejuicios. Entre los talentos y puntos de vista de un equipo de IA equilibrado deben figurar innovadores empresariales de IA, creadores de IA, implementadores de IA y una representación de los consumidores de este esfuerzo concreto de IA.9  

4. Realice el procesamiento de datos de forma consciente: Las empresas deben ser conscientes de los sesgos en cada paso del procesamiento de datos. El riesgo no está sólo en la selección de datos: ya sea durante el preprocesamiento, el procesamiento o el postprocesamiento, el sesgo puede introducirse en cualquier punto y alimentar la IA.  

5. Monitoreo continuo: Ningún modelo está completo o es permanente. La supervisión y las pruebas continuas con datos reales de toda una organización pueden ayudar a detectar y corregir los sesgos antes de que causen daños. Para evitar aún más la parcialidad, las organizaciones deben considerar la posibilidad de que la evaluación la realice un equipo independiente de la propia organización o un tercero de confianza.  

6. Evite los problemas de infraestructura: Aparte de las influencias humanas y de datos, a veces la infraestructura en sí misma puede causar sesgos. Por ejemplo, utilizando datos recogidos de sensores mecánicos, el propio equipamiento podría inyectar sesgo si los sensores funcionan mal. Este tipo de sesgo puede ser difícil de detectar y requiere invertir en las últimas infraestructuras digitales y tecnológicas.

Soluciones relacionadas
Soluciones de IA de IBM

Haga operativa la IA en toda su empresa para obtener beneficios de forma rápida y ética. Nuestra amplia cartera de productos de IA de calidad empresarial y las soluciones de analytics están diseñadas para reducir los obstáculos de la adopción de la IA y establecer la base de datos adecuada, al tiempo que se optimizan los resultados y el uso responsable.

Explorar Soluciones de IA
Master Data Management

Acelere el proceso Insight proporcionando una visión completa de los datos y las relaciones de una entidad en toda la estructura de datos de la empresa.

Explorar herramientas de gestión de datos

Recursos Confianza, transparencia y gobernanza en la IA

En este episodio de AI Academy, Explorar <nombre del recurso> cuestiones como la alucinación, la parcialidad y el riesgo de la IA, y aprender cómo la aplicación de la ética y la gobernanza de la IA genera confianza.

Construir un flujo de trabajo responsable con la gobernanza de la IA

Aprende más sobre la gobernanza de la IA para un flujo de trabajo responsable, transparente y explicable en este eBook.

El sesgo de la IA, a la luz de ejemplos reales

A medida que las empresas aumentan el uso de la IA, la gente se cuestiona hasta qué punto los prejuicios humanos se han introducido en los sistemas de IA.

Dé el siguiente paso

Primeros pasos con su estrategia de gobernanza y sea uno de los primeros en probar watsonx.governance. Se espera que esté disponible para el público en diciembre.

Explorar IBM® watsonx.governance
Notas

1 The Wall Street Journal: El auge de la AI pone de relieve el sesgo de los algoritmos

2 Booz Allen Hamilton: Sesgo de la inteligencia artificial en la atención médica

3 LinkedIn: Reducir los prejuicios de la IA - Guía para líderes de RRHH

4 Bloomberg: Los humanos están sesgados. La IA generativa es aún peor

5 The Conversation US: Edadismo, sexismo, clasismo y más: 7 ejemplos de prejuicios en imágenes generadas por IA

6 Revista de Tecnología: La policía predictiva sigue siendo racista, se utilicen los datos que se utilicen

7 Objetivo tecnológico: Sesgo de aprendizaje automático (sesgo de IA)
     Centro de IA de la Universidad de Chapman: Sesgo en IA    
     AIMultiple: Bias in AI -What it is, Types, Examples & 6 Ways to arreglos it in 2023

8 McKinsey: Abordar el sesgo en la inteligencia artificial (y en los humanos)

9 Forbes: El problema de las IA sesgadas (y cómo mejorarlas)