¿Qué es AgentOps?

Estimado en unos 5000 millones de dólares en 2024, se prevé que el mercado de agentes de IA crezca hasta unos 50 000 millones de dólares en 2030¹. Sin embargo, a medida que más empresas crean agentes de IA para agilizar y automatizar los flujos de trabajo, surgen nuevos retos a la hora de monitorizar el comportamiento de esos agentes, asegurándose de que funcionan según lo previsto. AgentOps es un conjunto a grandes rasgos de buenas prácticas emergentes para evaluar el rendimiento de los agentes, que se basa en preceptos establecidos en los campos relacionados de DevOps (que estandarizó la entrega de software) y MLOps (que hizo lo mismo con los modelos de machine learning).

Pero gestionar agentes no es tan sencillo como crear software tradicional o incluso modelos de IA. Los sistemas "agénticos" son complejos y dinámicos, y consisten esencialmente en un software con mente propia. Los agentes actúan de forma autónoma, encadenan tareas, toman decisiones y se comportan de forma no determinista. La idea detrás de AgentOps es llevar la observabilidad y la fiabilidad a un ámbito que podría ser caótico, permitiendo a los desarrolladores escudriñar la caja negra de las interacciones de los agentes y otros comportamientos de los agentes. 

No existe una única herramienta para gestionar AgentOps, sino todo un ecosistema; un estudio reciente descubrió 17 herramientas en Github y otros repositorios de código relevantes para esta práctica, desde Agenta hasta LangSmith y Trulens (una herramienta de AgentOps con un nombre ambicioso se llama, simplemente, "AgentOps"). Estas herramientas suelen proporcionar soporte al marco de agentes elegido por los desarrolladores, ya sean los agentes watsonx de IBM o el SDK de agentes de OpenAI. En este acalorado espacio, han surgido muchas plataformas y marcos populares, como AutoGen, LangChain y CrewAI (este último optimizado para la orquestación de sistemas multiagente).

Un agente de IA creado para gestionar los tickets de atención al cliente, por ejemplo, probablemente esté compuesto por uno o más modelos de lenguaje de gran tamaño (LLM) que utilizan varias herramientas para gestionar diversas tareas. El flujo de trabajo de sus agentes podría implicar la monitorización de los correos electrónicos entrantes, la búsqueda en una base de conocimientos de la empresa y la creación autónoma de tickets de soporte.

La depuración de un agente de este tipo es compleja; su variado comportamiento crea múltiples puntos de posible fallo o ineficiencia. Sin embargo, con la monitorización de agentes, los desarrolladores pueden realizar reproducir paso a paso de las ejecuciones de los agentes, observando lo que hizo el sistema de IA y cuándo. ¿Consultó el agente la documentación de atención al cliente adecuada? ¿Cuáles fueron los patrones de uso de las herramientas y qué API se utilizaron? ¿Cuál fue la latencia de cada paso? ¿Cuál fue el coste final del LLM? ¿Cómo se comunicó o colaboró el agente con otros? 

Liberar a un agente de IA sin un plan para auditar su comportamiento es como darle una tarjeta de crédito a un adolescente y no mirar el extracto resultante. Adam Silverman, COO de Agency AI, declaró recientemente en el blog Google for Developers que, al utilizar diferentes LLM para diferentes tareas, se podría reducir ese coste, uno de los muchos parámetros que se pueden ajustar para optimizar la rentabilidad de un agente a lo largo del tiempo².

Profundizando más, los desarrolladores pueden rastrear el comportamiento integral del agente, incluido el coste de cada interacción LLM en diferentes proveedores (como Azure o AWS). Los desarrolladores pueden consultar un panel de control de dichas métricas en tiempo real, con datos de las distintas etapas del ciclo de vida del agente. A través de la evaluación comparativa iterativa, los desarrolladores pueden trabajar en la optimización de su agente. 

No existe un medio universalmente acordado para llevar a cabo AgentOps, con múltiples herramientas y enfoques disponibles. (De hecho, incluso el término precursor mucho más establecido, DevOps, tiene significados ligeramente diferentes para cada persona). En junio, en la conferencia IBM® Think, IBM® Research dio a conocer su propio enfoque de AgentOps, especificando tres áreas de enfoque principales que cree que son cruciales para respaldar la observabilidad con casos de uso de IA agéntica empresarial.

En primer lugar, IBM Research construyó su solución AgentOps sobre los estándares OpenTelemetry (OTEL), un kit de desarrollo de software (SDK) de código abierto, que permite instrumentaciones automáticas y manuales en varios marcos de trabajo agénticos. En segundo lugar, creó una plataforma de análisis abierta sobre OTEL, lo que brinda a los usuarios un alto nivel de resolución al mirar bajo el capó el comportamiento de sus agentes. La plataforma es extensible, lo que significa que se pueden añadir fácilmente nuevas métricas. Y en tercer lugar, estos análisis están impulsados por IA, lo que permite perspectivas únicas que incluyen vistas de flujo de trabajo de seguimiento múltiple y exploraciones de trayectoria. 

IBM Research utilizó su enfoque AgentOps para ayudar a crear varios productos de automatización de IBM, incluidos Instana, Concert y Apptio. A medida que IBM ha lanzado al mercado sus propias soluciones de agencia, los aspectos de AgentOps se han convertido en características del estudio de desarrolladores watsonx.ai y del kit de herramientas watsonx.governance para escalar la IA de confianza.

Sin embargo, existen muchos enfoques para AgentOps, y el campo está evolucionando rápidamente para satisfacer las necesidades de una industria que adopta flujos de trabajo a una velocidad vertiginosa. 

Las buenas prácticas de AgentOps pueden y deben aplicarse a todas las fases del ciclo de vida de un agente.

Desarrollo: en esta fase, los desarrolladores dan a sus agentes objetivos y restricciones específicos, mapeando varias dependencias y canalizaciones de datos.

Pruebas: antes de ser lanzado a un entorno de producción, los desarrolladores pueden evaluar el rendimiento del agente en un entorno aislado simulado.

Monitorización: una vez implementada, los desarrolladores pueden examinar los resultados de su instrumentación, evaluando el rendimiento del agente a nivel de sesión, rastreo o tramo. Los desarrolladores pueden revisar las acciones de los agentes, las llamadas a la API y la duración general (o latencia) del comportamiento de los agentes.

Feedback: en esta fase, tanto el usuario como el desarrollador necesitan acceso a herramientas para registrar cuándo el agente cometió un error o se comportó de manera inconsistente, así como mecanismos para ayudar al agente a rendir mejor en su próxima ejecución.

Gobierno: a medida que la IA generativa se somete a un mayor escrutinio normativo (como en la Ley de IA de la UE) y a medida que evolucionan nuevos marcos éticos, los desarrolladores necesitan un conjunto de barreras y políticas que ayuden a limitar el comportamiento de los agentes y garantizar el cumplimiento.