¿Quién es responsable de una IA responsable? La respuesta podría sorprenderle

Los líderes de abastecimiento, adquisiciones y gestión de proveedores (SVPM) tienen mucho trabajo por hacer en lo que respecta a la inclusión de la Gobernanza de la IA en su software y contratos. Un informe reciente de Gartner advierte que los líderes de SPVM que pasan por alto la necesidad de incorporar la gobernanza de la IA están exponiendo a su organización a un riesgo significativo.

"La mayoría de los contratos de proveedores de software y nube carecen de compromisos explícitos que los hagan responsables de proporcionar IA responsable, mientras que otros contratos incluyen descargos de responsabilidad que eliminan la responsabilidad por sistemas y resultados de IA irresponsables", dijo Gartner.

Cuando hablo ante una gran audiencia y planteo la pregunta ¿Quién en una organización debería ser responsable de los resultados responsables de la IA? Las tres respuestas principales que recibo son bastante preocupantes. 

Las tres respuestas más comunes que recibo son: "nadie", "no usamos IA" y "todos". Ninguna de estas respuestas es correcta y todas son preocupantes.

La primera respuesta, y la más común, que nadie es responsable de los resultados de los modelos de IA, es abiertamente preocupante. Aquí no hay excusas. No debe, no puede ser aceptable conformar con una responsabilidad cero en torno a la IA. 

La segunda respuesta, no usamos IA, es ridícula si se tiene en cuenta que la IA ya se está integrando en muchas de las licencias de aplicaciones de software empresarial que ya utilizan. Además, muestra que una organización no está rastreando la IA en su inventario o, peor aún, no comunica los usos apropiados e inadecuados de la IA a sus empleados. Ese es un problema importante. 

Y la respuesta final, que es responsabilidad de todos, es al menos una respuesta noble. Todos los que tocan un modelo de IA a lo largo de su ciclo de vida son responsables. Sin embargo, si se considera que todos son responsables de la gobernanza, ¿alguien realmente se considera responsable de la gobernanza? Debe haber más en la responsabilidad de la IA que la idea de que si todos manejan su propia gobernanza, estaremos bien.

Claramente, existe una desconexión entre cómo una organización piensa que está manejando su responsabilidad por la IA y la realidad. Permítanme explicar lo que se necesita para que una organización sea realmente responsable. 

Los responsables de la gobernanza de la IA y la ética tienen que gestionar muchas piezas móviles, siendo la más importante la alineación de valores dentro de sus organizaciones. Lo que esto significa es lograr que todos sus colegas reconozcan la importancia crítica de este trabajo para el individuo y la organización. Esto no siempre es posible sin una comunicación y un apoyo constantes por parte del director ejecutivo (CEO) o del Consejo de Administración. Estos líderes de gobernanza de la IA deben ayudar a garantizar que se invite a colegas como el director de seguridad de la información (CISO) a reuniones sobre inversiones en IA. 

Al principio, estos líderes de gobernanza de la IA pueden ser vistos como un obstáculo que frena el progreso. Los líderes de gobernanza de la IA financiados y empoderados tienen la oportunidad de establecer plataformas integrales de gobernanza de la IA que pueden acelerar los despliegues confiables de modelos en una fracción del tiempo. Al contar con conjuntos de datos previamente aprobados y procesos examinados, los desarrolladores de soluciones de IA pueden conocer de antemano los casos de uso, los datos y los métodos que ya fueron aprobados previamente por la organización.

Además de la alineación de valores, la persona o equipo a cargo de la IA responsable necesita realizar un seguimiento del inventario de modelos de IA de la organización. No se puede gobernar lo que no se ve. Por lo tanto, es necesario realizar un seguimiento de todo lo que la organización compró o construyó que pueda contener IA o machine learning (ML), junto con los metadatos asociados a cada uno de esos modelos. 

Estos metadatos se almacenan tradicionalmente en una hoja informativa o, como a veces se le llama, una tarjeta modelo de IA. Esto debería decirle cuál es el propósito del modelo, quién es responsable de él, de dónde provienen los datos, para qué se audita, con qué frecuencia se audita, los resultados de esas auditorías, etc.

Luego, necesitan saber cómo auditar estos modelos de IA y soluciones para monitorear si la Tecnología se comporta de la manera que usted pretendía que se comportara. Esta es una consideración crítica para hacer que sus proveedores se responsabilicen contractualmente de sus modelos.

Y luego tienen que hacer un seguimiento de la normativa. El escenario normativo cambia constantemente, especialmente en lo que se refiere a la IA. Muchos países, estados y ciudades tienen leyes específicas sobre el uso y los riesgos de la IA, y el año pasado la UE puso en marcha la Ley de IA de la UE. Muchas compañías y gobierno ya fueron demandados con éxito por sus modelos erróneos.

Se reconoce que se pueden tener modelos que sean "legales pero horribles", lo que significa que se debe impulsar la ética que rodea a la IA. Y cada vez que se adentra en el tema de la ética, debe ser un gran maestro. 

Debes ser capaz de mostrar a las personas que construyen modelos en tu nombre o incluso compran modelos en tu nombre a hacerlo de una manera que refleje la ética de tu organización.

Basta con mirar el valor humano de la "equidad". Todos esperamos que los modelos de IA sean justos, pero ¿de quién es la visión del mundo de la equidad que se representa en el modelo de IA? Como sociedad, no podemos estar de acuerdo en que exista una única visión del mundo sobre la justicia.

Lo que esto significa de la pluma al papel es que las personas responsables de los programas de Gobernanza de la IA y ética dentro de sus organizaciones también se encuentran a cargo de los programas de Alfabetización en IA. 

Estos programas de alfabetización en IA no se limitan a enseñar a los empleados cómo usar la IA en sus trabajos para ser más productivos. La alfabetización en IA comienza con el aprendizaje de cuál es la relación que la organización quiere tener con la IA. Estos programas de alfabetización introducen los principios básicos que las organizaciones esperan ver reflejados en cualquier solución de IA que se construya o compre. Muestra cómo poner en práctica cada uno de esos principios o ayudarlos a cobrar vida en diferentes niveles de riesgo.

Estos programas de alfabetización en IA son necesariamente multidisciplinarios porque ganarse la confianza en la IA no es estrictamente un problema técnico, sino sociotécnico. Construir modelos que reflejen los valores humanos puede ser una de las cosas más difíciles que los seres humanos nos hemos propuesto hacer. Requiere personas que tengan experiencia en todo tipo de disciplinas.

Ser responsable de la IA es un trabajo importante y por eso estas personas necesitan una enorme cantidad de Power y un mandato financiado para hacer este trabajo. No puede ser solo una actividad secundaria. Hay que trabajar mucho para solucionar esos problemas. Todas las organizaciones deberían trabajar para delegar la responsabilidad de la IA de forma responsable.

En pocas palabras, obtiene más de los comportamientos humanos que mide. ¿Qué comportamientos de los empleados está incentivando y midiendo en lo que respecta a la curación responsable de los modelos? Considere formas en las que pueda incentivar y medir los comportamientos correctos, pero también cómo integrar mejor la enseñanza y el aprendizaje en sus procesos de gobernanza de la IA. Muchos no tienen incentivos para ser reflexivos al completar formularios de inventario de modelos de IA o, lo que es peor, pueden desconocer por completo los riesgos del modelo que defienden.

En resumen, quiero que recuerde cuatro conclusiones clave:

1. Listo o no, la IA se está utilizando en su organización en este momento. Tanto si mantiene un inventario de los modelos de IA que ha adquirido como si no, para 2026 el 80 % de los proveedores de software tendrán IA integrada en sus aplicaciones empresariales. Sea proactivo y establezca una estrategia de IA rigurosa que le permita gobernar la IA y operarla de manera eficiente.
2. Los líderes de la gobernanza de la IA necesitan un mandato financiado porque la gobernanza de la IA requiere una enorme cantidad de trabajo, y la naturaleza de ese trabajo está creciendo. Financie a su personal y deles el poder para hacer este trabajo.
3. Implemente su IA de manera ética y sea intencional con los resultados humanos. Todos esperamos que los modelos de IA que usamos o que se usan en nosotros reflejen nuestros propios valores humanos, que no nos "mientan", que sean justos y que sean seguros de usar. Reconozca que esto no es estrictamente un desafío técnico, sino sociotécnico. Requerirá un enfoque holístico y experiencia en el comportamiento humano.
4. Se necesita mucho para eliminar el riesgo de la IA. La IA a escala requiere la estrategia, los datos, la arquitectura, la seguridad y la gobernanza adecuados. También requiere el entendimiento adecuado entre sus proveedores. Elija un socio pragmático para hacer esto bien y cerciorar de que no ocurran errores.