La importancia de la diversidad en la IA no es la opinión, son las matemáticas

Todos queremos ver nuestros valores humanos ideales reflejados en nuestras tecnologías. Esperamos que tecnologías como la inteligencia artificial (IA) no nos mientan, que no discriminen, y que sean seguras para que nosotros y nuestros hijos las usemos. Sin embargo, muchos creadores de IA se enfrentan actualmente a reacciones adversas por los sesgos, las imprecisiones y las prácticas de datos problemáticas que se exponen en sus modelos. Estos problemas requieren más que una solución técnica, algorítmica o basada en IA. En realidad, se requiere un enfoque holístico y sociotécnico.

Todos los modelos predictivos, incluida la IA, son más precisos cuando incorporan inteligencia y experiencia humanas diversas. Esto no es una opinión; tiene validez empírica. Consideremos el teorema de predicción de la diversidad. En pocas palabras, cuando la diversidad en un grupo es grande, el error de la multitud es pequeño, lo que apoya el concepto de “la sabiduría de la multitud”. En un estudio influyente, se demostró que grupos diversos de personas con poca capacidad para resolver problemas pueden superar a grupos de personas con gran capacidad para resolver problemas (Hong & Page, 2004).

En lenguaje matemático: cuanto más amplia sea su varianza, más estándar será su media. La ecuación se ve así:

Donde
c = la predicción promedio de la multitud
𝜽 = el valor real
si = la predicción del individuo i-ésimo
n = el número de individuos

Un estudio adicional proporcionó más cálculos que refinan las definiciones estadísticas de una multitud sabia, incluyendo el desconocimiento de las predicciones de otros miembros y la inclusión de aquellos con predicciones o juicios máximamente diferentes (correlacionados negativamente). Por lo tanto, no es solo el volumen, sino la diversidad lo que mejora las predicciones. ¿Cómo podría afectar este insight a la evaluación de modelos de IA?

Para citar un aforismo común, todos los modelos están equivocados. Esto es cierto en las áreas de estadística, ciencia e IA. Los modelos creados sin el conocimiento especializado necesario pueden generar resultados erróneos.

Hoy en día, un pequeño grupo homogéneo de personas determina qué datos usar para capacitar modelos de IA generativa, que provienen de fuentes que sobrerrepresentan ampliamente el inglés. “Para la mayoría de los más de 6,000 idiomas del mundo, los datos de texto disponibles no son suficientes para entrenar un modelo fundacional a gran escala” (de “On the Opportunities and Risks of Foundation Models”, Bommasani et al., 2022).

Además, los modelos en sí se crean a partir de arquitecturas limitadas: "Casi todos los modelos de NLP de última generación ahora se adaptan a partir de uno de los pocos modelos fundacionales, como BERT, RoBERTa, BART, T5, etc. Si bien esta homogeneización produce un aprovechamiento extremadamente alto (cualquier mejora en los modelos fundacionales puede generar beneficios inmediatos en todo el NLP), también es una responsabilidad; todos los sistemas de IA podrían heredar los mismos sesgos problemáticos de algunos modelos fundacionales (Bommasani et al.)”

Para que la IA generativa refleje mejor las diversas comunidades a las que sirve, se debe representar en los modelos una variedad mucho más amplia de datos de seres humanos.

La evaluación de la precisión del modelo va de la mano con la evaluación del sesgo. Debemos preguntarnos, ¿cuál es la intención del modelo y para quién está optimizado? Consideremos, por ejemplo, quién obtiene más beneficio de los algoritmos de recomendación de contenido y los algoritmos de los motores de búsqueda. Los stakeholders pueden tener intereses y objetivos muy diferentes. Los algoritmos y modelos requieren objetivos o proxies para el error de Bayes: el error mínimo que un modelo debe mejorar. Este proxy suele ser una persona, como un experto en la materia con experiencia en el dominio.

Las regulaciones y planes de acción emergentes de IA subrayan cada vez más la importancia de los formularios de evaluación de impacto algorítmico. El objetivo de estos formularios es capturar información crítica sobre los modelos de IA para que los equipos de gobernanza puedan evaluar y abordar sus riesgos antes de desplegarlos. Las preguntas típicas incluyen:

• ¿Cuál es el caso de uso de su modelo?
• ¿Cuáles son los riesgos de impacto dispar?
• ¿Cómo evalúa la equidad?
• ¿Cómo hace que su modelo sea explicable?

Aunque se diseñó con buenas intenciones, el problema es que la mayoría de los propietarios de modelos de IA no entienden cómo evaluar los riesgos para su caso de uso. Un refrán común podría ser: "¿Cómo podría mi modelo ser injusto si no recopila información de identificación personal (PII)?" En consecuencia, los formularios rara vez se completan con la consideración necesaria para que los sistemas de gobernanza marquen con precisión los factores de riesgo.

Por lo tanto, se subraya la naturaleza sociotécnica de la solución. Al propietario de un modelo (una persona) no se le puede dar simplemente una lista de casillas de verificación para evaluar si su caso de uso causará daño. En cambio, lo que se requiere son grupos de personas con experiencias del mundo vivido muy variadas que se reúnan en comunidades que ofrezcan seguridad psicológica para tener conversaciones difíciles sobre el impacto dispar.

IBM cree en adoptar un enfoque de "cliente cero", implementando las recomendaciones y los sistemas que haría para sus propios clientes en soluciones de consultoría y basadas en productos. Este enfoque se extiende a las prácticas éticas, razón por la cual IBM creó un Centro de Excelencia (COE) de IA confiable.

Como se ha explicado anteriormente, la diversidad de experiencias y habilidades es crítica para evaluar adecuadamente los impactos de la IA. Pero el prospecto de participar en un Centro de Excelencia podría ser intimidante en una empresa repleta de innovadores, expertos e ingenieros distinguidos en IA, por lo que es necesario cultivar una comunidad de seguridad psicológica. IBM comunica esto claramente diciendo: “¿Le interesa la IA? ¿Le interesa la ética de la IA? Tiene un lugar en esta mesa”.

El COE ofrece capacitación en ética de IA a profesionales de todos los niveles. Se ofrecen tanto programas de aprendizaje síncrono (profesor y alumnos en clase) como asíncronos (autoguiados).

Pero es la capacitación aplicada del COE la que brinda a nuestros profesionales los insights más profundos, ya que trabajan con equipos globales, diversos y multidisciplinarios en proyectos reales para comprender mejor el impacto dispar. También aprovechan los marcos de pensamiento de diseño que el grupo Design for AI de IBM utiliza internamente y con los clientes para evaluar los efectos no deseados de los modelos de IA, manteniendo en la mente a aquellos que a menudo están marginados. (Véase Wheel of Power and Privilege, de Sylvia Duckworth, para ver ejemplos de cómo las características personales se entrecruzan para privilegiar o marginar a las personas). IBM también donó muchos de los marcos a la comunidad de código abierto Design Ethically.

A continuación se muestran algunos de los informes que IBM ha publicado sobre estos proyectos:

• La Fundación de la Cámara de Comercio de EE. UU. e IBM exploran la aplicación de la IA generativa para la contratación basada en habilidades.
• Cómo el Titanic nos ayudó a pensar en la IA explicable

Se requieren herramientas automatizadas de gobernanza de modelos de IA para obtener insights importantes sobre cómo está funcionando tu modelo de IA. Pero tenga en cuenta que capturar el riesgo mucho antes de que su modelo se haya desarrollado y esté en producción es óptimo. Al crear comunidades de profesionales diversas y multidisciplinarias que ofrecen un espacio seguro para que las personas tengan conversaciones difíciles sobre el impacto dispar, puede comenzar su camino hacia la puesta en práctica de sus principios y desarrollar la IA de manera responsable.

En la práctica, cuando contrate profesionales de IA, tenga en cuenta que más del 70 % del esfuerzo en la creación de modelos consiste en curar los datos correctos. Desea contratar personas que sepan recopilar datos que sean representativos y que también se recopilen con consentimiento. También desea que las personas que saben trabajar en estrecha colaboración con expertos en el dominio se cercioren de que tienen el enfoque correcto. Es clave garantizar que estos profesionales tengan la inteligencia emocional para abordar el desafío de curar responsablemente la IA con humildad y discernimiento. Debemos ser intencionales para aprender a reconocer cómo y cuándo los sistemas de IA pueden exacerbar la inequidad tanto como pueden aumentar la inteligencia humana.