¿Cuáles son las métricas clave para medir la gobernanza de la IA?

Recientemente, me hicieron esta pregunta: ¿Cómo mido el éxito en mis compromisos de ética y gobernanza de la IA? Mido el éxito por si los principios éticos de la IA están integrados en la estrategia, los flujos de trabajo y la toma de decisiones, no solo por escrito. Si los equipos están capacitados para cuestionar, se incluyen las comunidades afectadas y los modelos se construyen con responsabilidad en cada etapa, está en el camino correcto.

Para empezar, el fallo más profundo es no tener en cuenta el comportamiento humano y la experiencia de una persona que interactúa con la IA que supuestamente está "aumentando" su inteligencia. Pienso que es importante saber cómo se mide el comportamiento de las personas. Un principio fundamental de la psicología humana 101 es que se obtiene muchos más de los comportamientos humanos se que miden.

¿Qué comportamientos humanos estamos midiendo en torno al uso de IA? ¿Qué comportamientos humanos quieren ver más nuestros clientes en el uso de la IA?

Para comenzar, aquí hay una historia sobre uno de mis clientes favoritos de todos los tiempos: un gran departamento de policía. Este cliente se distinguió de la cultura de cualquier otro que se encontró anteriormente. Cuando comenzamos nuestro compromiso con los miembros del consejo de gobierno de IA del departamento de policía, muchos de ellos no sabían por qué estaban allí.  

La razón era que todos tenían una amplia experiencia en el dominio policial. Dirían que no eran expertos en inteligencia artificial (IA) o machine learning (ML). Le preguntaban: "¿Para qué me necesitan en este consejo de gobernanza?".

Por esa razón, nuestro esfuerzo comenzó con explicar por qué estaban allí y por qué era importante tener a mano su sabiduría y experiencia de dominio en el tema en cuestión. Pero no nos detuvimos ahí, tuvimos que demostrar por qué se necesitaban. Necesitaban aprender y comprender que lo que aportaban a estas soluciones de IA era muy crítico para hacer bien la IA. Para que la implementación de IA tenga éxito, es esencial poner a las personas primero.

La forma en que nos conectamos con ellos fue demostrándoles activamente que la parte difícil de hacer bien la IA no era estrictamente técnica en absoluto. Contar con expertos en el dominio (verdaderos expertos en el ámbito de la vigilancia) es esencial. Estas personas entienden los datos, el contexto en el que se recopilaron y las relaciones entre los puntos de datos, lo que garantiza que la IA correcta se construya, mantenga y gobierne de manera responsable. 

Algunas de las tácticas que utilizamos fueron ejercicios de pensamiento de diseño que nacieron del propio gremio de diseño de IA de IBM. Estos ejercicios de Design thinking abordan preguntas como:

• ¿Tenemos a las personas adecuadas en la sala?

• ¿Cuál es el problema central que estamos tratando de resolver?

• ¿Tenemos los datos correctos y la comprensión adecuada de los datos según los expertos en el dominio para hacer que esta iniciativa de IA cobre vida?

• ¿Qué principios tácticos de IA deben reflejarse en nuestros sistemas de IA para ganar la confianza del público? ¿Y cómo definimos los requisitos funcionales y no funcionales necesarios para dar vida a esos principios?

• ¿Cuáles son los efectos no deseados de estos modelos de IA? 

• ¿Cómo abordaría la mitigación de riesgos de una manera intencional? 

• ¿Quiénes son todos los personajes que necesitamos construir?

• ¿Qué necesitamos comunicar sobre el uso previsto y no previsto de esta IA?

Este trabajo introspectivo debe realizarse en un entorno que priorice la humildad y la inclusión, la seguridad psicológica e incluya a personas con diversas experiencias vividas en el mundo. El resultado de este trabajo es que los equipos finalmente tienen el lenguaje que necesitaban desde hace mucho tiempo. Les permite comunicar claramente a los creadores o compradores lo que se debe desarrollar o adquirir para curar de manera responsable las soluciones de IA.

Nuevamente, obtienes los comportamientos humanos que mides. Entonces, la pregunta es, ¿cuáles son esos comportamientos humanos que necesitábamos medir para determinar el éxito de un proyecto de gobernanza?

Una pregunta común que se debe hacer es:

• ¿Qué comportamientos humanos se están midiendo? ¿Cuáles son los comportamientos humanos que se enfatizan en los esfuerzos de comunicación y son los mismos comportamientos relacionados con la gobernanza que se están midiendo?

A menudo, se anima a los empleados a utilizar la IA en el lugar de trabajo (a riesgo de ser despedidos) y, a veces, se les dice que son responsables de resultados responsables. Pero a menudo se miden estrictamente por lo rápido que pueden hacer su trabajo y lo productivos que pueden ser, sin medirse en absoluto por los resultados en sí.

Hubo varios casos documentados en los que el experto en el dominio sabía que la IA estaba equivocada y se le dijo expresamente que usara su mejor juicio. Sin embargo, en lugar de contradecir a la IA, no hicieron nada, porque, una vez más, su desempeño se evaluó de acuerdo con métricas completamente diferentes. De hecho, algunas personas son castigadas por contradecir a una IA en el trabajo. 

Cuando volvamos a la pregunta, qué comportamientos estamos midiendo, exploremos cómo podemos medir si la IA mejora la inteligencia de una persona. También debemos considerar si esa persona se involucra activamente como consumidor crítico de IA. Estas personas deben ser incentivadas de manera mensurable para ayudar a entrenar a la IA, o al menos alertar a otros, con el fin de impulsar resultados más responsables.

Para poder hacer eso, debemos medir si los empleados que usan IA realmente entienden el riesgo de la IA, realmente entienden la naturaleza real de los datos, del sesgo, del impacto dispar. ¿Saben lo que significa ser responsable? ¿Se miden de tal manera que fomenten esa responsabilidad?

Estos comportamientos de liderazgo son solo algunos ejemplos de las cosas que sabemos que debemos buscar cuando consideramos establecer la cultura organizacional adecuada.

Un componente fundamental para saber si ha tenido éxito en un compromiso de gobernanza de la IA es si se ha ganado la confianza de la gente. Sepa de nuevo: no hay nada fácil en crear IA de una manera que gane confianza. Esos líderes a los que admiro pueden mostrar su trabajo.

Lo que me encantaría que sacara de este artículo es que también forma parte de esta conversación, aunque piense que no es así. No necesita un título en ciencia de datos ni un doctorado en IA, se lo prometo. El hecho de que aporte una experiencia mundial diferente significa que pertenece a esta conversación sobre la IA.

No es solo porque la IA se haya popularizado y es probable que aparezca en su lugar de trabajo que esta conversación es importante. Querrá saber que los modelos de IA que utilizan, incluso sus hijos, están a salvo de adversarios y se basan en la verdad. Deben ser justos, evitar lanzar repentinamente discursos de odio tóxicos o descarrilarse y proteger los datos personales con fuertes garantías de privacidad.

Seamos honestos: esta transición a la IA es difícil. Liderar en la era de la IA significa sentirse cómodo con la ambigüedad. Significa elegir hacer lo correcto, no solo lo que es fácil o rentable a corto plazo. Requiere desarrollar una comprensión más profunda de las tecnologías de IA: cómo funcionan, qué pueden lograr, los riesgos que conllevan. Y requiere impartir ese conocimiento y comprensión a toda la fuerza laboral. Significa invertir en alfabetización en IA, gobernanza de la IA y un líder capaz de gobernanza de la IA.

Los líderes que dan un paso al frente ahora, que hacen preguntas valientes, dotan de recursos a los sistemas adecuados y centran los valores humanos, no solo evitan los escollos, sino que dan forma activamente a un futuro de IA más responsable. Se ganan la confianza que se convierte en una ventaja competitiva duradera. Este momento de liderazgo es suyo. Haz que valga la pena. Haz que valga la pena.