¿Quién es responsable de una IA responsable? La respuesta puede sorprenderle

Los líderes de abastecimiento, adquisiciones y gestión de proveedores (SVPM) tienen mucho trabajo por hacer en lo que respecta a incluir un gobierno de la IA responsable en su software y contratos. Un informe reciente de Gartner advierte que los líderes de SPVM que pasan por alto la necesidad de incorporar el gobierno de la IA están exponiendo a su organización a un riesgo significativo.

"La mayoría de los contratos de proveedores de software y en la nube carecen de compromisos explícitos que los hagan responsables de proporcionar IA responsable, mientras que otros contratos incluyen renuncias que eliminan la responsabilidad de los sistemas y resultados irresponsables de IA", dijo Gartner.

Cuando hablo ante un público numeroso y planteo la pregunta ¿Quién debe ser responsable de los resultados de la IA responsable en una organización? Las tres respuestas principales que recibo son bastante preocupantes. 

Las tres respuestas más comunes que recibo son: "nadie", "no usamos IA" y "todos". Ninguna de estas respuestas es correcta y todas son preocupantes.

La primera y más común respuesta, que nadie es responsable de los resultados de los modelos de IA, es abiertamente preocupante. En este caso no hay excusa. No debería, no puede ser aceptable que nos conformemos con que no haya ninguna responsabilidad en torno a la IA. 

La segunda respuesta, no utilizamos la IA, es irrisoria si tenemos en cuenta que la IA ya se está incorporando a muchas de las licencias de aplicaciones de software empresarial que ya utilizan. Además, demuestra que una organización no está realizando un seguimiento de la IA en su inventario o, lo que es peor, no está comunicando a sus empleados los usos apropiados y no apropiados de la IA. Es un problema importante. 

Y la respuesta final, que es responsabilidad de todos, es al menos una respuesta noble. Todos los que tocan un modelo de IA a lo largo de su ciclo de vida son responsables. Sin embargo, si se considera que todo el mundo es responsable del gobierno, ¿se considera realmente que alguien es responsable del gobierno? Debe haber algo más en la responsabilidad de la IA que la idea de que si cada uno se ocupa de su propio gobierno, estaremos bien.

Está claro que hay una desconexión entre la forma en que una organización piensa que gestiona su responsabilidad por la IA y la realidad. Déjeme explicarle lo que se necesita para que una organización sea realmente responsable. 

Los responsables del gobierno de la IA y la ética tienen que gestionar muchas piezas móviles, siendo la más fundamental la alineación de valores dentro de sus organizaciones. Lo que esto significa es lograr que todos sus pares reconozcan cuán importante es este trabajo para el individuo y la organización. Esto no siempre es posible sin una comunicación y un apoyo constantes por parte del CEO o del Consejo de Administración. Estos líderes de gobierno de la IA deben ayudar a garantizar que se invite a colegas como el CISO a reuniones sobre inversiones en IA. 

En un principio, estos líderes de gobierno de la IA pueden considerarse un obstáculo que ralentiza el progreso. Los líderes de gobierno de la IA financiados y capacitados tienen la oportunidad de establecer plataformas integrales de gobierno de la IA que pueden acelerar las implementaciones confiables de modelos en una fracción del tiempo. Al contar con conjuntos de datos previamente aprobados y procesos examinados, los desarrolladores de soluciones de IA pueden conocer de antemano los casos de uso, los datos y los métodos que ya han sido aprobados previamente por la organización.

Aparte de la alineación de valores, la persona o el equipo a cargo de la IA responsable necesita llevar un registro del inventario de modelos de IA de la organización. No se puede gobernar lo que no se ve. Por lo tanto, es necesario realizar un seguimiento de todo lo que la organización haya comprado o construido que pueda contener IA o machine learning (ML), junto con los metadatos asociados a cada uno de esos modelos. 

Estos metadatos se almacenan tradicionalmente en una ficha técnica o, como a veces se denomina, una tarjeta modelo de IA. Esto debería decirle cuál es el propósito del modelo, quién es responsable de él, de dónde provienen los datos, para qué se audita, con qué frecuencia se audita, los resultados de esas auditorías, etc.

A continuación, tienen que saber cómo auditar estos modelos y soluciones de IA para controlar si la tecnología se comporta de la manera que usted pretende que se comporte. Esta es una consideración crítica para que sus proveedores sean contractualmente responsables de sus modelos.

Y luego tienen que hacer un seguimiento de la normativa. El panorama normativo cambia constantemente, especialmente en lo que respecta a la IA. Muchos países, estados y ciudades tienen leyes específicas sobre el uso y los riesgos de la IA y el año pasado la UE puso en marcha la Ley de IA de la UE. Muchas empresas y agencias de gobierno ya han sido demandadas con éxito por sus modelos errantes.

Se reconoce que se pueden tener modelos "legales pero espantosos", lo que significa que hay que impulsar la ética que rodea a la IA. Y cada vez que aborda el tema de la ética, debe ser un gran profesor. 

Debe ser capaz de enseñar a las personas que construyen modelos en su nombre o incluso compran modelos en su nombre a hacerlo de una manera que refleje la ética de su organización.

Basta con mirar el valor humano de la "equidad". Todos esperamos que los modelos de IA sean justos, pero ¿de quién es la visión del mundo de la equidad que se representa en el modelo de IA? Como sociedad, no podemos estar de acuerdo en que exista una visión del mundo singular sobre la equidad.

Lo que esto significa sobre el papel es que las personas responsables de los programas de gobierno y ética de la IA en sus organizaciones también se están encontrando a cargo de los programas de alfabetización en IA. 

Estos programas de alfabetización en IA no se limitan a enseñar a los empleados a utilizar la IA en sus trabajos para ser más productivos. La alfabetización en IA comienza con saber cuál es la relación que la organización quiere tener con la IA. Estos programas de alfabetización introducen los principios básicos que las organizaciones esperan ver reflejados en cualquier solución de IA que se construya o compre. Enseña cómo operacionalizar cada uno de esos principios o ayudarlos a cobrar vida a través de diferentes niveles de riesgo.

Estos programas de alfabetización en IA son necesariamente multidisciplinares, porque ganarse la confianza en la IA no es estrictamente un problema técnico, sino sociotécnico. Crear modelos que reflejen los valores humanos puede ser una de las cosas más difíciles que, como seres humanos, nos hemos propuesto hacer. Exige personas que tengan experiencia en todo tipo de disciplinas.

Ser responsable de la IA es un trabajo importante y por eso estas personas necesitan una enorme cantidad de poder y un mandato financiado para hacer este trabajo. No puede ser solo un trabajo secundario. Se necesita mucho trabajo para resolver esos problemas. Todas las organizaciones deberían trabajar para delegar la responsabilidad de la IA de manera responsable.

En pocas palabras, obtiene más de los comportamientos humanos que mide. ¿Qué comportamientos de los empleados está incentivando y midiendo en lo que respecta a la curación responsable de los modelos? Considere formas en las que puede incentivar y medir los comportamientos correctos, pero también cómo integrar mejor la enseñanza y el aprendizaje en sus procesos de gobierno de la IA. A muchos no se les incentiva a ser cuidadosos a la hora de rellenar los formularios de inventario de modelos de IA o, lo que es peor, pueden desconocer por completo los riesgos del modelo que defienden.

En resumen, quiero que recuerde cuatro puntos clave:

1. Esté preparado o no, la IA se está utilizando en su organización ahora mismo. Tanto si lleva un inventario de los modelos de IA que ha adquirido como si no, en 2026 el 80 % de los proveedores de software habrán integrado la IA en sus aplicaciones empresariales. Sea proactivo y establezca una estrategia de IA rigurosa que le permita gobernar la IA y hacerla funcionar con eficacia.
2. Los líderes del gobierno de la IA necesitan un mandato financiado porque el gobierno de la IA requiere una enorme cantidad de trabajo, y la naturaleza de ese trabajo está creciendo. Financie a su personal y deles el poder de hacer este trabajo.
3. Implemente su IA de forma ética y sea intencional con los resultados humanos. Todos esperamos que los modelos de IA que utilizamos o que se utilizan en nosotros reflejen nuestros propios valores humanos, que no nos "mientan", que sean justos y que sean seguros de usar. Reconozca que no se trata estrictamente de un reto técnico, sino sociotécnico. Requerirá un enfoque holístico y conocimientos sobre el comportamiento humano.
4. Se necesita mucho para reducir el riesgo de la IA. La IA escalada requiere la estrategia, los datos, la arquitectura, la seguridad y el gobierno adecuados. También es necesario que exista un entendimiento adecuado entre sus proveedores. Elija un socio pragmático para hacerlo bien y asegurarse de que no se cometan errores.