El escenario evolutivo de la ética y la gobernanza de la IA agentiva

La explosión del término “IA agente” en los medios de comunicación podría hacer que se pregunte: ¿es simplemente una nueva frase de marketing? Después de todo, el término "agente" (o "agente virtual ") se ha utilizado durante mucho tiempo en inteligencia artificial (IA) para referirse a un ayudante automatizado, como chatbots para atención al cliente o funciones de RR. HH.

En términos más generales, en la automatización robótica de procesos, un robot de software podría actuar como agente de un usuario o una aplicación para ejecutar tareas específicas. Los casos de uso incluyen la gestión de la cadena de suministro, el procesamiento de nóminas y la administración de bases de datos, por nombrar algunos. Losmicroservicios también pueden considerarse sistemas multiagente.

Hemos tenido agentes desde que existe la IA. La novedad es que la IA agencial ahora se define por su dependencia de la IA generativa. Su zumbido proviene del potencial de extender las habilidades probabilísticas emergentes de los modelos lingüísticos grandes (LLM) a nuevos espacios de acción. Mientras que la IA generativa crea respuestas o contenido, la IA agencial actúa de forma autónoma sobre esas respuestas. Estas capacidades plantean nuevos riesgos éticos y preocupaciones de gobernanza, que exploraremos.

Los beneficios de la IA agentiva son convincentes.  “La IA agentiva nos acerca a los casos de uso que, hasta hace poco, considerábamos ciencia ficción, en los que las máquinas pueden completar tareas complejas que implican flujos de trabajo complejos, toma de decisiones y acciones basadas en datos con una mínima intervención humana”, escribe IBM. Cole Stryker.

Los agentes de IA pueden analizar las herramientas a su disposición, utilizar asistentes de IA para encontrar más información sobre temas y guiar a los usuarios a través de estos pasos. La IA multimodal también está acelerando la adopción de agentes al aumentar la capacidad de los sistemas de agentes para analizar el mundo a través de diversos medios, proyectar múltiples pasos adelante y actuar en nombre del usuario.

En las arquitecturas multiagente tradicionales, los humanos diseñan la lógica de control para resolver problemas claramente definidos. Por el contrario, los agentes de IA (o agentes LLM) utilizan la lógica de control creada por la IA generativa, y el LLM actúa como orquestador o coordinador. El nuevo modelo IBM® Granite 3.0 8B Instruct ejemplifica este enfoque al admitir casos de uso de agentes que requieren la invocación de herramientas, e IBM® watsonx Orchestrate amplía estas capacidades para admitir la funcionalidad de agentes para recursos humanos y funciones de chat.

Los sistemas de IA agéntica totalmente realizados tienen la capacidad autónoma de diseñar workflows y utilizar herramientas para resolver problemas complejos, ya sean anticipados, vagamente definidos o imprevistos. A través de interfaces de programación de aplicaciones (API), estas herramientas pueden interactuar en entornos externos al tiempo que aprovechan los datos con los que se entrenaron sus modelos.

“Los sistemas agentic tienen una noción de planificación, bucles, reflexión y otras estructuras de control que utilizan en gran medida las capacidades de razonamiento inherentes del modelo para lograr una tarea de extremo a extremo”, escriben los investigadores de IBM. "Junto con la capacidad de usar herramientas, complementos y llamadas de funciones, los agentes están facultados para realizar un trabajo de propósito más general".

Consideremos algunos casos de uso en el sector de servicios financieros: los sistemas de IA agente podrían optimizar de forma autónoma las comunicaciones con los clientes y adaptar las estrategias de compromiso. Podrían evaluar la solvencia, personalizar las ofertas de préstamos y gestionar de forma autónoma las cuentas de alto riesgo. También podrían rastrear las amenazas del mercado en tiempo real y recomendar la mitigación de riesgos. Dichos sistemas podrían mejorar en gran medida la productividad, pero solo si se abordan las preocupaciones de seguridad y observabilidad.

La IA agentiva amplifica todos los riesgos que se aplican a la IA tradicional, la IA predictiva y la IA generativa porque una mayor agencia significa más autonomía y, por lo tanto, menos interacción humana.

Estos riesgos deben abordarse tanto a través de medios tecnológicos como a través de la responsabilidad humana por las pruebas y los resultados. Se requiere un marco operativo sólido para la gobernanza y la gestión del ciclo de vida.

"Dar a los LLM más libertad para interactuar con el mundo exterior tiene el potencial de magnificar sus riesgos", dice Maya Murad, gerente técnica de productos de IBM Research. “Muchas cosas podrían salir mal cuando le das a un agente el Power® de crear y luego ejecutar código como parte de la ruta para responder una consulta. Podrías terminar borrando todo tu sistema de archivos o emitiendo resultados confidenciales”.

“Se demostró específicamente que los agentes son 'menos robustos, propensos a comportamientos más dañinos y capaces de generar contenido más sigiloso que los LLM, lo que pone de relieve importantes desafíos de seguridad'”, citan los investigadores de IBM.

Murad recomienda limitar estos riesgos ejecutando código en un sandbox seguro, instalando barreras de seguridad y realizando investigaciones ofensivas mediante simulaciones adversariales, análisis de malware y red-teaming. También se deben aplicar las políticas de la empresa sobre cómo y dónde compartir datos.

Están surgiendo nuevas estrategias para probar y supervisar los sistemas de IA agencial, entre las que se incluyen plantillas de ataques adversarios y métodos de seguimiento, como los agentes guardianes. Sin embargo, estas estrategias deben evaluarse para alinearse con la gobernanza de su organización en materia de ética, seguridad y riesgo.

La gobernanza automatizada de la IA, que abarca el desarrollo, el despliegue y la operación, ayuda a garantizar que los modelos de IA se mantengan alineados con sus intenciones. Kits de herramientas flexibles e integrales, como IBM watsonx.governance puede acelerar workflows responsables y ayudar en el cumplimiento normativo.

La IA agente avanza tan rápido que las organizaciones pueden tener dificultades para encontrar precedentes o mejores prácticas para minimizar los daños. Como tiene el potencial de magnificar el impacto de los datos con sesgo o algoritmos con sesgo, las organizaciones deben tomar la iniciativa ética y desarrollar cuidadosamente infraestructuras/marcos de Gobernanza de la IA junto con la Gobernanza de la IA automatizada.

Como hemos escrito, la base para toda la gobernanza de la IA está centrada en el ser humano. La gobernanza organizativa incluye la definición de procesos para la incorporación y el inventario de modelos de IA. También implica gestionar y mantener los programas de comunicación y alfabetización de los empleados y designar líderes responsables para supervisar la gobernanza y mantenerse actualizados sobre la evolución de las regulaciones.

La puesta en marcha de la gobernanza de la IA de manera eficaz y responsable requiere ciertos pasos, y se debe prestar especial atención a las consideraciones exclusivas de la IA agentiva. Estos pasos y consideraciones son:

1. Asegurar mandatos financiados.
2. Identificación de líderes responsables: Los líderes responsables ahora también deben asumir la responsabilidad de los impactos de la IA agentic y las aplicaciones agentic. Como guía para este paso, considere las siguientes preguntas:
   
   – ¿Qué significa responsabilidad cuando la lógica de control no está guiada por humanos? Cuando la supervisión de la lógica de control se mueve de ser “humano en el bucle” a “humano en el bucle”, la parte responsable es quien aprueba el uso de la IA agentiva y cualquier sistema de gobernanza automatizado. 
   
   – Las API utilizadas por los agentes deben estar encriptadas por seguridad, garantizar la privacidad mediante el uso de anonimización de datos y cumplir con las regulaciones de datos jurisdiccionales. ¿Quién en su organización se asegurará de que se cumplan estas normas?
   
   
3. Desarrollar Alfabetización en IA en toda la organización y centros de excelencia: Estas iniciativas ahora deben incluir conceptos de IA agentiva.
   
   Como guía para este paso, considere las siguientes preguntas: – ¿Las partes interesadas entienden cómo los agentes de IA toman decisiones (la lógica de control)? ¿Qué tipo de relación quiere tener su organización con la IA? Si su objetivo es aumentar la inteligencia humana, ¿cómo puede medir que la inteligencia humana se está aumentando a través de agentes de IA? ¿Qué comportamientos le gustaría ver más y medir? ¿Cómo se puede medir, por ejemplo, que las personas se sientan empoderadas?    
   
   – Pregunta guía: ¿ Entienden los empleados cuándo y dónde se utiliza la IA? ¿Pueden acceder a una lista de proveedores de software, aplicaciones y fuentes de datos aprobados? La arquitectura Agentic no debe proporcionar una puerta trasera para la IA en la sombra ni evadir responsabilidades.
   
   
4. Comproponerse con la revisión y evolución continuas de las prácticas éticas y el cumplimiento: En este paso final, es importante reflexionar sobre las siguientes consideraciones clave:
   
   — La regulación de la IA agentic está en su infancia, por lo que podemos esperar una regulación en torno a la divulgación orientada al consumidor del uso de agentes de IA. La falta de divulgación del uso de sistemas de IA ya se identifica como un riesgo. Ahora bien, dentro de un flujo agentic, debemos determinar cuándo divulgar el uso de herramientas agentic, similar a cómo se notifica a los usuarios de aplicaciones cuando son redirigidos a un sitio o aplicación externa.

La responsabilidad por los impactos de los sistemas de IA agentivos abarca a los creadores de LLM, los adaptadores de modelos, los implementadores y los usuarios de aplicaciones de IA. Están surgiendo mejores prácticas de seguridad (PDF), que incluyen:

• Evaluación humana de la idoneidad de las tareas del agente.
• Limitar el espacio de acción y exigir la aprobación humana.
• Hacer que los comportamientos predeterminados sean los menos disruptivos.
• Proporcionar legibilidad (explicabilidad) de las acciones de los agentes.
• Monitoreo automatizado por otros sistemas de IA.
• Proporcionar una atribución confiable de las acciones de los agentes.
• Proporcionar interrumpibilidad (capacidades de apagado controlado).

La arquitectura agentiva multiplica las oportunidades de la IA generativa y sus riesgos. Ante esta complejidad, los programas piloto de IA agente deberían incluir los casos de uso de menor riesgo de tu organización.

La exploración integral de riesgos exige un enfoque estructurado. El año pasado, los investigadores del MIT crearon el AI Risk Repository, una base de datos de más de 700 riesgos citados en la literatura de IA. Identifica y categoriza los riesgos extraídos de 43 marcos de IA producidos por la investigación, la industria y el gobierno. Incluye taxonomías útiles para clasificar cómo, cuándo y por qué ocurren los riesgos, y en siete dominios, con subdominios dentro de cada uno:

1. Discriminación y toxicidad
2. Privacidad y seguridad
3. Desinformación
4. Actores maliciosos y uso indebido
5. Interacción humano-computadora
6. Socioeconómico y medioambiental
7. Seguridad del sistema de IA, fallas y limitaciones

Los inicios de la gobernanza de la IA agencial se reflejan en una nota de los autores (PDF) :

"Varias áreas de riesgo parecen estar poco exploradas... [Los agentes de IA se] exploran en [solo] dos documentos incluidos. Puede ser particularmente importante considerar la IA agentiva, ya que presenta nuevas clases de riesgos asociados con la posesión y el uso de capacidades peligrosas, como la superación personal recursiva…”

Se aconseja a los participantes en ejercicios de exploración de riesgos que se familiaricen con dichas taxonomías y marcos de riesgo. También deben estar seguros de que sus experiencias en el mundo real y sus percepciones de riesgos podrían ser válidas, dada la escasez de investigación de riesgos en ciertos dominios.

Las organizaciones que buscan aprovechar el enorme potencial de la IA agentic requerirán una inversión y una planificación reflexivas. Considere que los proyectos de IA generativa tardaron varios años en lograr un amplio éxito. Según Gartner, "al menos el 30 % de los proyectos de IA generativa se abandonarán después de la prueba de concepto para finales de 2025, debido a la mala calidad de los datos, los controles de riesgo inadecuados, los costos crecientes o el valor comercial poco claro".²

¿Cómo puede su organización superar los retos de la próxima fase de la IA? Un informe de Gartner afirma que “los servicios de consultoría e implementación de IA generativa aceleran los resultados medibles, descartados, democratizados y específicos para la organización que los compra”.³

El informe hace las siguientes recomendaciones:

• Elija proveedores con objetivos compatibles, transparencia, ecosistema, enfoque industrial y capacidades localizadas, especialmente con respecto al cumplimiento normativo, por ejemplo, la Ley de IA de la UE, las leyes estatales de privacidad de EE. UU. y las regulaciones de China.
  
• Insista en FinOps, marcos de gobernanza y medidas de seguridad para gestionar el riesgo de la IA. Evalúe las soluciones de los proveedores para determinar los riesgos en cuanto a dependencias, privacidad de datos, IP y bloqueo.

Creemos que IBM Consulting® cumple con todos estos criterios. Ayuda a los clientes a implementar la IA a través de enfoques reflexivos e informados de la estrategia, los datos, la arquitectura, la seguridad y la gobernanza. Si tu organización busca explorar o implementar una solución de IA agente, nuestros expertos pueden ayudarte a mitigar riesgos y reforzar su valor empresarial.