Gobierno de agentes de IA: grandes retos, grandes oportunidades

El gobierno de la inteligencia artificial se refiere a los procesos, normas y barreras que ayudan a garantizar que los sistemas y herramientas de IA sean seguros y éticos. Los marcos de gobierno de la IA dirigen la investigación, el desarrollo y la aplicación de la IA para ayudar a garantizar la seguridad, la equidad y el respeto de los derechos humanos.

En lo que respecta a los agentes, los marcos de gobierno deberán actualizarse para tener en cuenta la autonomía de los agentes. El potencial económico de los agentes es enorme, pero también lo es el panorama de riesgos asociado. Fomentar que los sistemas inteligentes funcionen de forma más segura, ética y transparente será una preocupación creciente a medida que se vuelvan más autónomos.

Las mismas características que hacen que la IA agéntica sea potente (autonomía, adaptabilidad y complejidad) también hacen que los agentes sean más difíciles de gobernar. Uno de los principales retos de gobierno de los agentes de IA es su capacidad para tomar decisiones de forma independiente. A diferencia de los sistemas de software convencionales que siguen una programación estricta basada en reglas, los agentes de IA utilizan algoritmos de machine learning para analizar datos y determinar acciones basadas en probabilidades. Esta autonomía permite a la IA operar en entornos en tiempo real.

Esta falta de control humano dificulta garantizar que los agentes de IA actúen de forma segura, justa y ética. En situaciones de alto riesgo, como los vehículos autónomos o el comercio algorítmico de acciones, la decisión de un agente de IA puede tener consecuencias importantes, pero la supervisión humana no siempre está disponible. Esto crea un dilema de gobierno. ¿Cómo pueden los líderes equilibrar la eficiencia y la autonomía de la IA con la necesidad de responsabilidad y control?

Muchos agentes de IA, especialmente los agentes más avanzados impulsados por machine learning, realizan procesos de toma de decisiones que no son fáciles de interpretar para los humanos. A diferencia de los sistemas basados en reglas con lógica rastreable, los modelos de machine learning toman decisiones basadas en patrones complejos en los datos que ni siquiera sus desarrolladores pueden entender completamente. Esta opacidad dificulta la auditoría de las decisiones impulsadas por IA, lo que supone un reto en casos de uso de automatización en automatización en rápida evolución. Imagínese si un sistema de IA denegara una aplicación basándose en datos incorrectos, o si un sistema sanitario recomendara el tratamiento equivocado. Los stakeholders deben ser capaces de comprender los motivos de la decisión.

El sesgo es otro reto. Los sistemas de IA aprenden de los datos históricos, pero si los datos contienen sesgos, la IA puede amplificarlos. Los agentes de IA pueden tomar decisiones indeseables, como priorizar la eficiencia sobre la equidad o la privacidad.

Como cualquier sistema de IA, los agentes autónomos también son vulnerables a las amenazas de seguridad. Los modelos de IA y los bots pueden manipularse mediante ataques adversarios, en los que ligeras modificaciones en los datos de entrada engañan a la IA para que tome decisiones incorrectas. Los modelos de lenguaje de gran tamaño (LLM) y los chatbots que se comunican con los usuarios en lenguaje natural pueden ser engañados para generar contenido dañino. La implementación descentralizada de agentes de IA dificulta la aplicación de medidas de seguridad uniformes.

Los sistemas agénticos a menudo dependen de las APIpara integrarse con aplicaciones externas y fuentes de datos. Las API mal gobernadas pueden exponer vulnerabilidades, lo que las convierte en objetivos de ciberataques. Los riesgos de ciberseguridad incluyen ataques adversarios, fugas de datos y accesos no autorizados que exponen información confidencial. Para mitigar estos riesgos, las API deben tener controles de acceso y mecanismos de autenticación para evitar interacciones no autorizadas.

Además de la seguridad, las organizaciones también deben cumplir las normativas a la hora de diseñar agentes de IA. Sin embargo, la normativa suele ir por detrás de los avances tecnológicos. Los sistemas de IA son intrínsecamente complejos e impredecibles, y los requisitos de cumplimiento pueden ser ambiguos o contradictorios. Es posible que pronto veamos que los órganos rectores nacionales y transnacionales del mundo elaboran normas en torno al uso de agentes específicamente.

Las buenas prácticas tradicionales de gobierno de la IA, como el gobierno de datos, las evaluaciones de riesgos, los flujos de trabajo transparentes, la explicabilidad, las normas éticas y la monitorización continua, también se aplican a los sistemas de agencia. Pero el gobierno agéntico puede ir más allá de estas prácticas establecidas.

En lugar de limitarse a probar los modelos antes de la implementación, las organizaciones pueden crear entornos simulados en los que los agentes de IA puedan tomar decisiones sin consecuencias en el mundo real antes de implementarse por completo. El entorno aislado de IA permite a los desarrolladores estudiar dilemas éticos no deseados antes de exponer a los agentes a usuarios reales. Los modelos de ética de IA pueden someterse a pruebas de estrés moral, como escenarios simulados de accidentes de conducción autónoma o dilemas éticos en la contratación de IA.

La monitorización de agente a agente es otra forma de evitar los problemas antes de que se salgan de control. Dado que los ecosistemas de agencia pueden ser tan complejos, los agentes necesitarán colaborar y negociar entre sí a menudo. Monitorizar estas interacciones y establecer reglas de resolución de conflictos para los agentes puede ayudar a garantizar que puedan trabajar juntos en armonía.

Los agentes de trabajo también pueden combinarse con "agentes de gobierno" diseñados para monitorizar y evaluar a otros agentes y prevenir posibles daños. Para mitigar los riesgos, los agentes deben monitorizarse continuamente para detectar la desviación del modelo. Imagine a un agente de servicio de atención al cliente que trata con clientes malhumorados todo el día y que desarrolla una personalidad de mal genio como resultado de adaptarse a tales interacciones. Ahora imagine a un agente de gobierno comportándose como un monitor de pasillo, apartando a este agente y comunicando algo como: "Hoy no parece usted mismo". Los agentes también pueden programarse para buscar la aprobación humana para ciertas acciones.

Más allá de estas prácticas, muchos expertos recomiendan que los agentes dispongan de un mecanismo de apagado de emergencia que permita desactivarlos inmediatamente, especialmente en entornos de alto riesgo. Las organizaciones pueden establecer procedimientos de contención para ayudar a garantizar que la IA que funciona mal no pueda escalar los problemas antes de la intervención. Algunas organizaciones están experimentando con agentes de pruebas de estrés con ataques adversos en casos límite y en condiciones extremas o inesperadas para identificar vulnerabilidades.

El gobierno de los agentes de IA pronto será un poco más fácil. Los proveedores de plataformas de gobierno ofrecerán herramientas de gobierno de la IA con paneles de control que proporcionan acceso a métricas especializadas para sistemas de agencia e interacción de agentes. Por ejemplo, los ingenieros de software de IBM están trabajando actualmente en la integración de métricas especializadas como la relevancia del contexto, la fidelidad y la similitud de las respuestas en watsonx.gov. El software de gobierno adecuado ayudará a los stakeholders a realizar un seguimiento de sus agentes a lo largo de todo su ciclo de vida, lo que les permitirá aprovechar al máximo la IA agéntica.

A medida que los sistemas de IA agéntica se vuelven más autónomos, garantizar que funcionen de forma segura, ética y protegida es un desafío cada vez mayor. Las organizaciones deben adoptar modelos de gobierno escalables, aplicar protocolos sólidos de ciberseguridad y gestión de riesgos e integrar la supervisión humana en el bucle. Si las organizaciones pueden escalar los sistemas agénticos de forma segura, podrán capturar un valor prácticamente ilimitado.