A medida que las empresas aumentan el uso de la inteligencia artificial (IA), la gente se pregunta hasta qué punto los sesgos humanos han llegado a los sistemas de IA. Los ejemplos de sesgo de IA en el mundo real nos muestran que cuando los datos y algoritmos discriminatorios se incorporan en modelos de IA, los modelos despliegan sesgos a escala y amplifican los efectos negativos resultantes.

Las empresas están motivadas a abordar el desafío del sesgo en la IA no solo para lograr equidad, sino también para garantizar mejores resultados. Sin embargo, al igual que los sesgos raciales y de género sistémicos han demostrado ser difíciles de eliminar en el mundo real, eliminar los sesgos en la IA no es una tarea fácil.

En el artículo What AI can and can't do (yet) for your business, los autores Michael Chui, James Manyika y Mehdi Miremadi de McKinsey señalaron: “Tales sesgos tienden a permanecer arraigados porque reconocerlos y tomar medidas para abordarlos, requiere un dominio profundo de las técnicas de ciencia de datos, así como una mayor comprensión de las fuerzas sociales existentes, incluida la recopilación de datos. En conjunto, la eliminación de sesgos está demostrando ser uno de los obstáculos más desalentadores y, sin duda, el más cargado de problemas sociales hasta la fecha”.

Los ejemplos de sesgos de la IA de la vida real proporcionan a las organizaciones información útil sobre cómo identificar y abordar los sesgos. Al analizar críticamente estos ejemplos y los éxitos en la superación del sesgo, los científicos de datos pueden comenzar a crear una hoja de ruta para identificar y prevenir el sesgo en sus modelos de aprendizaje automático.

El sesgo de la IA, también conocido como sesgo de aprendizaje automático o sesgo de algoritmo, se refiere a los sistemas de IA que producen resultados sesgados que reflejan y perpetúan los sesgos humanos dentro de una sociedad, incluida la desigualdad social histórica y actual. Las sesgos se pueden encontrar en los datos iniciales de entrenamiento, el algoritmo o las predicciones que produce el algoritmo.

Cuando el sesgo no se aborda, obstaculiza la capacidad de las personas para participar en la economía y la sociedad. También reduce el potencial de la IA. Las empresas no pueden beneficiarse de sistemas que producen resultados distorsionados y fomentan la desconfianza entre las personas de color, las mujeres, las personas con discapacidad, la comunidad LGBTQ u otros grupos de personas marginadas.

Eliminar el sesgo de la IA requiere profundizar en los conjuntos de datos, los algoritmos de aprendizaje automático y otros elementos de los sistemas de IA para identificar las fuentes de posibles sesgos.

Sesgo en los datos de entrenamiento

Los sistemas de IA aprenden a tomar decisiones basadas en datos de entrenamiento, por lo que es vital evaluar los conjuntos de datos para detectar la presencia de sesgos. Un método es revisar las muestras de datos para grupos sobrerrepresentados o subrepresentados dentro de los datos de entrenamiento. Por ejemplo, los datos de entrenamiento para un algoritmo de reconocimiento facial que sobrerrepresenta a las personas blancas pueden crear errores en los intentos de reconocimiento facial para personas de color. Del mismo modo, los datos de seguridad que incluyen información recopilada en áreas geográficas que son predominantemente negras podrían crear sesgos raciales en las herramientas de IA empleadas por la policía.

El sesgo también puede deberse a cómo se etiquetan los datos de entrenamiento. Por ejemplo, las herramientas de contratación de IA que emplean un etiquetado incoherente o excluyen o sobrerrepresentan ciertas características podrían eliminar la consideración de los solicitantes de empleo calificados.

Sesgo algorítmico

El uso de datos de entrenamiento erróneos puede dar lugar a algoritmos que produzcan repetidamente errores, resultados injustos o incluso amplifiquen el sesgo inherente a los datos erróneos. El sesgo algorítmico también puede ser causado por errores de programación, como que un desarrollador pondere injustamente los factores en la toma de decisiones del algoritmo en función de sus propios sesgos conscientes o inconscientes. Por ejemplo, el algoritmo podría emplear indicadores como los ingresos o el vocabulario para discriminar involuntariamente a personas de un determinado grupo étnico o género.

Sesgo cognitivo

Cuando las personas procesamos información y hacemos juicios, inevitablemente nos vemos influenciados por nuestras experiencias y nuestras preferencias. Como resultado, las personas pueden incorporar estos sesgos en los sistemas de IA a través de la selección de datos o la forma en que se ponderan los datos. Por ejemplo, el sesgo cognitivo podría llevar a favorecer conjuntos de datos recopilados de estadounidenses en lugar de muestras de una variedad de poblaciones de todo el mundo.

Según el NIST, esta fuente de sesgo es más común de lo que se piensa. En su informe Towards a Standard for Identifying and Managing Bias in Artificial Intelligence (Publicación especial 1270 del NIST), el NIST señaló que “los factores humanos, institucionales y sociales sistémicos también son fuentes importantes del sesgo de la IA, y actualmente se pasan por alto. Para enfrentar con éxito este desafío será necesario tener en cuenta todas las formas de sesgo. Esto significa ampliar nuestra perspectiva más allá del canal del aprendizaje automático para reconocer e investigar cómo se crea esta tecnología dentro de nuestra sociedad e impacta en ella”.

A medida que la sociedad se vuelve más consciente de cómo funciona la IA y de la posibilidad de sesgo, las organizaciones han descubierto numerosos ejemplos de alto perfil de sesgo en la IA en una amplia gama de casos de uso.

• Atención médica: los datos infrarrepresentadosde mujeres o grupos minoritarios pueden sesgar los algoritmos de IA predictiva. Por ejemplo, se observó que los sistemas de diagnóstico asistido por computadora (CAD) arrojan resultados de menor precisión para los pacientes negros que para los blancos.

• Sistemas de seguimiento de solicitantes: los problemas con los algoritmos de procesamiento del lenguaje natural pueden producir resultados sesgados dentro de los sistemas de seguimiento de solicitantes. Por ejemplo, Amazon dejó de usar un algoritmo de contratación después de encontrar que favorecía a los solicitantes basándose en palabras como “ejecutado” o “capturado”, que se encontraban más comúnmente en los currículums de los hombres.

• Publicidad en línea: los sesgos en los algoritmos publicitarios de los motores de búsqueda pueden reforzar el sesgo de género en los puestos de trabajo. Una investigación independiente realizada en la Universidad Carnegie Mellon de Pittsburgh reveló que el sistema de publicidad en línea de Google mostraba los puestos mejor pagados a los hombres con más frecuencia que a las mujeres.

• Generación de imágenes: la investigación académica encontró sesgos en la aplicación de generación de arte mediante IA generativa Midjourney. Cuando se le pidió que creara imágenes de personas en profesiones especializadas, mostró a personas más jóvenes y mayores, pero las personas mayores siempre eran hombres, lo que reforzaba el sesgo de género del papel de la mujer en el lugar de trabajo.

• Herramientas policiales predictivas: se supone que las herramientas policiales predictivas impulsadas por IA empleadas por algunas organizaciones en el sistema de justicia penal identifican áreas donde es probable que ocurran delitos. Sin embargo, a menudo se basan en datos históricos de arrestos, lo que puede reforzar los patrones existentes de elaboración de perfiles raciales y ataques desproporcionados a las comunidades minoritarias.

Identificar y abordar el sesgo en la IA comienza con la gobernanza de la IA, o la capacidad de dirigir, gestionar y monitorear las actividades de IA de una organización. En la práctica, la gobernanza de la IA crea un conjunto de políticas, prácticas y marcos para guiar el desarrollo y uso responsables de las tecnologías de IA. Cuando se hace bien, la gobernanza de la IA garantiza un equilibrio de beneficios para las empresas, los clientes, los empleados y la sociedad en su conjunto.

A través de las políticas de gobernanza de la IA, las empresas pueden crear las siguientes prácticas:

• Cumplimiento normativo: las soluciones de IA y las decisiones relacionadas con la IA deben ser coherentes con las normativas y los requisitos legales pertinentes de la industria.
• Confianza: las compañías que trabajan para proteger la información de los clientes generan confianza en la marca y tienen más probabilidades de crear sistemas de IA confiables.
• Transparencia: debido a la complejidad de la IA, un algoritmo puede ser un sistema de caja negra con poca información sobre los datos empleados para crearlo. La transparencia ayuda a garantizar que se empleen datos imparciales para construir el sistema y que los resultados sean justos.
• Eficiencia: una de las mayores promesas de la IA es reducir el trabajo manual y ahorrar tiempo a los empleados. La IA debe estar diseñada para ayudar a alcanzar los objetivos empresariales, mejorar la velocidad de comercialización y reducir los costos.
• Imparcialidad: la gobernanza de la IA suele incluir métodos para evaluar la imparcialidad, la equidad y la inclusión. Enfoques como la justicia de hipótesis de contraste identifican el sesgo en las decisiones de un modelo y garantizan resultados equitativos incluso cuando se modifican atributos sensibles como el sexo, el origen étnico o la orientación sexual.
• Contacto humano: los procesos como el sistema de “intervención humana” ofrecen opciones o hacen recomendaciones que luego son revisadas por humanos antes de tomar una decisión para proporcionar otra capa de aseguramiento de calidad.
• Aprendizaje reforzado: esta técnica de aprendizaje no supervisado emplea recompensas y castigos para mostrar a un sistema para aprender tareas. McKinsey señala que el aprendizaje por refuerzo trasciende los sesgos humanos y tiene el potencial de producir “soluciones y estrategias nunca antes imaginadas que incluso los profesionales experimentados podrían nunca haber considerado”.

Una combinación tecnológica adecuada puede ser indispensable para una estrategia eficaz de gobernanza de los datos y la IA, con una arquitectura de datos moderna y una plataforma de IA confiable como componentes clave. La orquestación de políticas dentro de una arquitectura de tejido de datos es una excelente herramienta que puede simplificar los complejos procesos de auditoría de IA. Al incorporar la auditoría de IA y los procesos relacionados en las políticas de gobernanza de su arquitectura de datos, su organización puede comprender las áreas que requieren una inspección continua.

En IBM Consulting, hemos estado ayudando a los clientes a establecer un proceso de evaluación de sesgos y otras áreas. A medida que la adopción de la IA se amplía y las innovaciones evolucionan, también se desarrollarán las directrices de seguridad, como es el caso de cada tecnología que se ha integrado en el tejido de una empresa a lo largo de los años. A continuación, compartimos algunas de las mejores prácticas de IBM para ayudar a las organizaciones a prepararse para el despliegue seguro de IA en sus entornos:

1. Aproveche la IA confiable al evaluar las políticas y prácticas de los proveedores.
2. Habilite el acceso seguro a usuarios, modelos y datos.
3. Proteja los modelos, los datos y la infraestructura de IA de los ataques de adversarios.
4. Implemente la protección de la privacidad de datos en las fases de entrenamiento, pruebas y operaciones.
5. Realice prácticas de modelado de amenazas y codificación segura en el ciclo de vida del desarrollo de IA.
6. Realice detección y respuesta a amenazas para aplicaciones e infraestructura de IA.
7. Evalúe y decida la madurez de la IA a través del marco de IA de IBM.