Gobernanza de agentes de IA: grandes desafíos, grandes oportunidades

Gobernanza de la inteligencia artificial se refiere a los procesos, estándares y medidas de protección que ayudan a garantizar que los sistemas y herramientas de IA sean seguros y éticos. Los marcos de gobernanza de la IA dirigen la investigación, el desarrollo y la aplicación de la IA para ayudar a garantizar la seguridad, la equidad y el respeto a los derechos humanos.

Cuando se trata de agentes, los marcos de infraestructura deberán actualizarse para tener en cuenta la autonomía de los agentes. El potencial económico para los agentes es enorme, pero también lo es el escenario de riesgos asociado. Fomentar que los sistemas inteligentes funcionen de manera más segura, ética y transparente será una preocupación creciente a medida que se vuelvan más autónomos.

Las mismas características que hacen que la IA agéntica sea poderosa (autonomía, adaptabilidad y complejidad) también hacen que los agentes sean más difíciles de gobernar. Uno de los principales desafíos de gobernanza de los agentes de IA es su capacidad para tomar decisiones de forma independiente. A diferencia de los sistemas de software convencionales que siguen una programación estricta basada en reglas, los agentes de IA utilizan algoritmos de machine learning para analizar datos y determinar acciones basadas en probabilidades. Esta autonomía permite que la IA opere en entornos en tiempo real.

Esta falta de control humano dificulta garantizar que los agentes de IA actúen de manera segura, justa y ética. En situaciones de alto riesgo, como los vehículos autónomos o el comercio algorítmico de acciones, la decisión de un agente de IA puede tener consecuencias importantes, pero la supervisión humana no siempre está disponible. Esto crea un dilema de gobernanza. ¿Cómo pueden los líderes equilibrar la eficiencia y la autonomía de la IA con la necesidad de responsabilidad y control?

Muchos agentes de IA, especialmente los agentes más avanzados impulsados por machine learning, realizan procesos de toma de decisiones que no son fáciles de interpretar para los humanos. A diferencia de los sistemas basados en reglas con lógica rastreable, los modelos de machine learning toman decisiones basadas en patrones complejos en los datos que ni siquiera sus desarrolladores pueden comprender por completo. Esta opacidad dificulta la auditoría de las decisiones impulsadas por IA, lo cual es un desafío en los casos de uso de automatización de rápido movimiento. Imagínese si un sistema de IA denegara una aplicación basada en datos incorrectos, o si un sistema de atención médica recomendara el tratamiento incorrecto. Stakeholders deben ser capaces de comprender la lógica detrás de la decisión.

Elsesgo es otro desafío. Los sistemas de IA aprenden de los datos históricos, pero si los datos contienen sesgos, la IA puede amplificarlos. Los agentes de IA pueden tomar decisiones no deseadas, como priorizar la eficiencia sobre la equidad o la privacidad.

Como cualquier sistema de IA, los agentes autónomos también son vulnerables a las amenazas de seguridad. Los modelos de IA y los bots pueden manipularse mediante ataques adversarios, en los que ligeras modificaciones en los datos de entrada engañan a la IA para que tome decisiones incorrectas. Losmodelos de lenguaje de gran tamaño (LLM) y los chatbots que se comunican con los usuarios en lenguaje natural pueden ser engañados para generar contenido dañino. El despliegue descentralizado de agentes de IA dificulta la implementación de medidas de seguridad uniformes.

Los sistemas agénticos a menudo dependen de APIpara integrarse con aplicaciones externas y fuentes de datos. Las API mal gobernadas pueden exponer vulnerabilidades, lo que las convierte en objetivos de ciberataques. Los riesgos de ciberseguridad incluyen ataques adversarios, fugas de datos y acceso no autorizado que expone información confidencial. Para mitigar estos riesgos, las API deben tener controles de acceso y mecanismos de autenticación para evitar interacciones no autorizadas.

Además de la seguridad, las organizaciones también deben cumplir con las regulaciones al diseñar agentes de IA. Sin embargo, las regulaciones a menudo van rezagados con respecto a los avances tecnológicos. Los sistemas de IA son inherentemente complejos e impredecibles, y los requisitos de cumplimiento pueden ser ambiguos o contradictorios. Es posible que pronto veamos que los órganos rectores nacionales y transnacionales del mundo elaboran normas en torno al uso de agentes específicamente.

Las mejores prácticas de gobernanza de IA tradicionales, como la gobernanza de datos, las evaluaciones de riesgos, los flujos de trabajo transparentes, la explicabilidad, los estándares éticos y el monitoreo continuo también se aplican a los sistemas agénticos. Pero la gobernanza agéntica puede ir más allá de estas prácticas establecidas.

En lugar de solo probar los modelos antes del despliegue, las organizaciones pueden crear entornos simulados donde los agentes de IA pueden tomar decisiones sin consecuencias en el mundo real antes de desplegarse por completo. El sandbox de IA permite a los desarrolladores estudiar dilemas éticos no deseados antes de exponer a los agentes a usuarios reales. Los modelos éticos de IA pueden someterse a pruebas de estrés moral, como escenarios simulados de accidentes de conducción autónoma o dilemas éticos en la contratación de IA.

El monitoreo de agente a agente es otra forma de evitar los problemas antes de que se salgan de control. Debido a que los ecosistemas de agentes pueden ser tan complejos, los agentes necesitarán colaborar y negociar entre sí a menudo. Monitorear estas interacciones y establecer reglas de resolución de conflictos para los agentes puede ayudar a garantizar que trabajen juntos en armonía.

Los agentes de trabajo también pueden combinarse con "agentes de gobernanza" diseñados para monitorear y evaluar a otros agentes, y prevenir posibles daños. Para la mitigación de riesgos, los agentes deben monitorearse continuamente para detectar la desviación del modelo. Imagine un agente de atención al cliente que trata con clientes malhumorados todo el día y desarrolla una personalidad de mal genio como resultado de adaptarse a tales interacciones. Ahora imaginemos a un agente de gobernanza que se comporta como un vigilante de corredor, que se lleva a este agente y le comunica algo como: "No te ves bien hoy". Los agentes también pueden programarse para buscar la aprobación humana para ciertas acciones.

Más allá de estas prácticas, muchos expertos recomiendan que los agentes tengan un mecanismo de apagado de emergencia que les permita desactivarlos de inmediato, especialmente en entornos de alto riesgo. Las organizaciones pueden establecer procedimientos de contención para ayudar a garantizar que la IA que funciona mal no pueda escalar los problemas antes de la intervención. Algunas organizaciones están experimentando con agentes de pruebas de estrés con ataques adversarios en casos extremos y en condiciones extremas o inesperadas para identificar vulnerabilidades.

Controlar los agentes de IA pronto será un poco más fácil. Los proveedores de plataformas de gobernanza ofrecerán sólidas herramientas de gobernanza de la IA con paneles que brindan acceso a métricas especializadas para sistemas de agentes y la interacción de los agentes. Por ejemplo, los ingenieros de software de IBM están trabajando actualmente en la integración de métricas especializadas, como la relevancia del contexto, la fidelidad y la similitud de respuestas en watsonx.gov. El software de gobernanza adecuado ayudará a los stakeholders a realizar un seguimiento de sus agentes a lo largo de su ciclo de vida de extremo a extremo, lo que les permitirá aprovechar al máximo IA agéntica.

A medida que los sistemas de IA agéntica se vuelven más autónomos, garantizar que funcionen de manera segura y ética es un desafío creciente. Las organizaciones deben adoptar modelos de gobernanza escalables, aplicar protocolos sólidos de ciberseguridad y gestión de riesgos e integrar la supervisión humana en el bucle. Si las organizaciones pueden escalar los sistemas agénticos de forma segura, podrán capturar un valor prácticamente ilimitado.