A medida que las empresas aumentan el uso de la inteligencia artificial (IA), la gente se cuestiona hasta qué punto los prejuicios humanos se han abierto paso en los sistemas de IA. Los ejemplos de sesgo de la IA en el mundo real nos muestran que cuando los datos y algoritmos discriminatorios se incorporan a los modelos de IA, estos implementan sesgos a escala y amplifican los efectos negativos resultantes.

Las empresas están motivadas para abordar el reto de la parcialidad en la IA no sólo para lograr la equidad, sino también para garantizar mejores resultados. Sin embargo, al igual que los prejuicios sistémicos raciales y de género han demostrado ser difíciles de eliminar en el mundo real, eliminar los prejuicios en la IA no es tarea fácil.

En el artículo What AI can and can’t do (yet) for your business, los autores Michael Chui, James Manyika y Mehdi Miremadi, de McKinsey, señalaban: "Estos sesgos tienden a permanecer arraigados porque reconocerlos, y tomar medidas para abordarlos, requiere un profundo dominio de las técnicas de la ciencia de datos, así como una mayor metacomprensión de las fuerzas sociales existentes, incluida la recopilación de datos. En conjunto, la eliminación de prejuicios está demostrando ser uno de los obstáculos más desalentadores, y sin duda el más tenso desde el punto de vista social, hasta la fecha".

Los ejemplos de sesgos de IA de la vida real proporcionan a las organizaciones conocimientos útiles sobre cómo identificar y abordar los sesgos. Al analizar críticamente estos ejemplos y los éxitos en la superación del sesgo, los científicos de datos pueden empezar a construir una hoja de ruta para identificar y prevenir el sesgo en sus modelos de machine learning.

El sesgo de la IA, también conocido como sesgo de machine learning o sesgo de algoritmo, se refiere a los sistemas de IA que producen resultados sesgados que reflejan y perpetúan los sesgos humanos dentro de una sociedad, incluida la desigualdad social histórica y actual. Los sesgos se pueden encontrar en los datos de entrenamiento iniciales, en el algoritmo o en las predicciones que este produce.

Cuando no se abordan los prejuicios, se obstaculiza la capacidad de las personas para participar en la economía y la sociedad. También reduce el potencial de la IA. Las empresas no pueden beneficiarse de sistemas que producen resultados distorsionados y fomentan la desconfianza entre las personas de color, las mujeres, las personas con discapacidad, la comunidad LGBTQ u otros grupos de personas marginadas.

Eliminar el sesgo de la IA requiere profundizar en los conjuntos de datos, los algoritmos de machine learning y otros elementos de los sistemas de IA para identificar las fuentes de sesgo potencial.

Sesgo de los datos de entrenamiento

Los sistemas de IA aprenden a tomar decisiones basándose en datos de entrenamiento, por lo que es esencial evaluar los conjuntos de datos para detectar la presencia de sesgos. Un método consiste en revisar el muestreo de datos para detectar grupos sobrerrepresentados o infrarrepresentados en los datos de entrenamiento. Por ejemplo, los datos de entrenamiento de un algoritmo de reconocimiento facial que representa en exceso a las personas de raza blanca pueden dar lugar a errores al intentar el reconocimiento facial de personas de color. Del mismo modo, los datos de seguridad que incluyen información recopilada en zonas geográficas predominantemente negras podrían crear un sesgo racial en las herramientas de IA utilizadas por la policía.

El sesgo también puede deberse a cómo se etiquetan los datos de entrenamiento. Por ejemplo, las herramientas de IA para la contratación que utilizan un etiquetado incoherente o excluyen o sobrerrepresentan ciertas características podrían eliminar de la consideración a los solicitantes de empleo cualificados.

Sesgo algorítmico

El uso de datos de entrenamiento defectuosos puede dar lugar a algoritmos que produzcan repetidamente errores, resultados injustos o incluso amplifiquen el sesgo inherente a los datos defectuosos. El sesgo algorítmico también puede deberse a errores de programación, como que un desarrollador pondere injustamente factores en la toma de decisiones del algoritmo basándose en sus propios sesgos conscientes o inconscientes. Por ejemplo, indicadores como los ingresos o el vocabulario podrían ser utilizados por el algoritmo para discriminar involuntariamente a personas de una determinada raza o sexo.

Sesgo cognitivo

Cuando las personas procesamos información y emitimos juicios, nos vemos inevitablemente influidos por nuestras experiencias y nuestras preferencias. Como resultado, la gente puede incorporar estos sesgos a los sistemas de IA a través de la selección de datos o de cómo se ponderan los datos. Por ejemplo, el sesgo cognitivo podría llevar a favorecer los conjuntos de datos recopilados de estadounidenses en lugar de tomar muestras de una serie de poblaciones de todo el mundo.

Según el Instituto Nacional de Estándares y Tecnología (NIST), esta fuente de sesgo es más común de lo que se piensa. En su informe Towards a Standard for Identifying and Managing Bias in Artificial Intelligence (NIST Special Publication 1270), el NIST señalaba: "Los factores humanos y sistémicos, institucionales y sociales, son también fuentes importantes de sesgo en la IA, y actualmente se pasan por alto. Para superar con éxito este reto habrá que tener en cuenta todas las formas de sesgo. Esto significa ampliar nuestra perspectiva más allá del machine learning para reconocer e investigar cómo se crea esta tecnología en nuestra sociedad y cómo repercute en ella".

A medida que la sociedad es más consciente de cómo funciona la IA y de la posibilidad de sesgo, las organizaciones han descubierto numerosos ejemplos destacados de sesgo en la IA en una amplia gama de casos de uso.

• Sanidad: los datos infrarrepresentados sobre mujeres o grupos minoritarios pueden sesgar los algoritmos predictivos de la IA. Por ejemplo, se ha observado que los sistemas de diagnóstico asistido por ordenador (CAD) arrojan resultados de menor precisión para los pacientes negros que para los blancos.

• Sistemas de seguimiento de candidatos: los problemas con los algoritmos de procesamiento del lenguaje natural pueden producir resultados sesgados dentro de los sistemas de seguimiento de candidatos. Por ejemplo, Amazon dejó de utilizar un algoritmo de contratación tras descubrir que favorecía a los solicitantes basándose en palabras como "ejecutado" o "capturado", más frecuentes en los currículos de los hombres.

• Publicidad en línea: los sesgos en los algoritmos de publicidad de los motores de búsqueda pueden reforzar los prejuicios de género en los puestos de trabajo. Una investigación independiente de la Universidad Carnegie Mellon de Pittsburgh reveló que el sistema de publicidad en línea de Google mostraba los puestos mejor pagados a los hombres con más frecuencia que a las mujeres.

• Generación de imágenes: una investigación académica descubrió un sesgo en la aplicación de generación de arte de IA generativa Midjourney. Cuando se le pedía que creara imágenes de personas en profesiones especializadas, mostraba tanto a personas jóvenes como mayores, pero los mayores eran siempre hombres, lo que reforzaba el sesgo de género del papel de la mujer en el lugar de trabajo.

• Herramientas policiales predictivas: se supone que las herramientas policiales predictivas con IA utilizadas por algunas organizaciones del sistema de justicia penal identifican las zonas en las que es probable que se produzcan delitos. Sin embargo, a menudo se basan en datos históricos sobre detenciones, lo que puede reforzar las pautas existentes de elaboración de perfiles raciales y de ataque desproporcionado a las comunidades minoritarias.

Identificar y abordar el sesgo en la IA comienza con el gobierno de la IA, o la capacidad de dirigir, gestionar y monitorizar las actividades de IA de una organización. En la práctica, el gobierno de la IA crea un conjunto de políticas, prácticas y marcos para guiar el desarrollo y uso responsables de las tecnologías de IA. Cuando se hace bien, el gobierno de la IA garantiza un equilibrio de beneficios para las empresas, los clientes, los empleados y la sociedad en su conjunto.

A través de las políticas de gobierno de la IA, las empresas pueden desarrollar las siguientes prácticas:

• Conformidad: las soluciones de IA y las decisiones relacionadas con la IA deben ser coherentes con las normativas del sector y los requisitos legales pertinentes.
• Confianza: las empresas que trabajan para proteger la información de sus clientes generan confianza en la marca y tienen más probabilidades de crear sistemas de IA fiables.
• Transparencia: debido a la complejidad de la IA, un algoritmo puede ser un sistema de caja negra con pocos conocimientos sobre los datos utilizados para crearlo. La transparencia ayuda a garantizar que se utilicen datos imparciales para crear el sistema y que los resultados sean justos.
• Eficiencia: una de las mayores promesas de la IA es reducir el trabajo manual y ahorrar tiempo a los empleados. La IA debe diseñarse para ayudar a alcanzar los objetivos empresariales, mejorar la velocidad de comercialización y reducir los costes.
• Imparcialidad: el gobierno de la IA suele incluir métodos para evaluar la imparcialidad, la equidad y la inclusión. Enfoques como la justicia contrafactual identifican el sesgo en las decisiones de un modelo y garantizan resultados equitativos incluso cuando se modifican atributos sensibles como el sexo, la raza o la orientación sexual.
• Toque humano: procesos como el sistema "human-in-the-loop" ofrecen opciones o hacen recomendaciones que luego son revisadas por humanos antes de tomar una decisión para ofrecer otro nivel de garantía de calidad.
• Aprendizaje reforzado: esta técnica de aprendizaje no supervisado utiliza recompensas y castigos para enseñar a un sistema a aprender tareas. McKinsey señala que el aprendizaje por refuerzo trasciende los prejuicios humanos y tiene el potencial de aportar "soluciones y estrategias antes inimaginables que ni siquiera los profesionales más experimentados habrían considerado nunca".

Una combinación tecnológica adecuada puede ser crucial para una estrategia eficaz de gobierno de los datos y la IA, con una arquitectura de datos moderna y una plataforma de IA fiable como componentes clave. La orquestación de políticas dentro de una arquitectura de data fabric es una herramienta excelente que puede simplificar los complejos procesos de auditoría de IA. Al incorporar la auditoría de IA y los procesos relacionados en las políticas de gobierno de su arquitectura de datos, su organización puede ayudar a obtener una comprensión de las áreas que requieren una inspección continua.

En IBM Consulting llevamos años ayudando a los clientes a establecer un proceso de evaluación de los prejuicios y otras áreas. A medida que aumente la adopción de la IA y evolucionen las innovaciones, también madurará la orientación en materia de seguridad, como ocurre con todas las tecnologías que se han integrado en el tejido de una empresa a lo largo de los años. A continuación, compartimos algunas de las buenas prácticas de IBM para ayudar a las organizaciones a prepararse para la implementación segura de la IA en sus entornos:

1. Aproveche la IA de confianza evaluando las políticas y prácticas de los proveedores.
2. Permita un acceso seguro a usuarios, modelos y datos.
3. Proteja los modelos de IA, los datos y la infraestructura frente a ataques de adversarios.
4. Implante la protección de datos en las fases de entrenamiento, pruebas y operaciones.
5. Lleve a cabo prácticas de modelado de amenazas y codificación segura en el ciclo de vida de desarrollo de la IA.
6. Detecte y responda a las amenazas para las aplicaciones y la infraestructura de IA.
7. Evalúe y decida la madurez de la IA mediante el marco de IA de IBM.