¿Qué es AgentOps?

Con una estimación de alrededor de 5 mil millones de dólares en 2024, se proyecta que el mercado de agentes de IA crezca a alrededor de 50 mil millones de dólares para 2030.¹ Sin embargo, a medida que más empresas crean agentes de IA para optimizar y automatizar los flujos de trabajo, surgen nuevos desafíos en el monitoreo del comportamiento de esos agentes, asegurándose de que funcionen según lo previsto. AgentOps es un conjunto aproximadamente definido de mejores prácticas emergentes para evaluar el rendimiento de los agentes, que se basa en preceptos establecidos en los campos relacionados de DevOps (que estandarizó la entrega de software) y MLOps (que hizo lo mismo con los modelos de machine learning).

Pero gestionar agentes no es tan sencillo como crear software tradicional o incluso modelos de IA. Los sistemas “agénticos” son complejos y dinámicos, y en esencia implican un software con mente propia. Los agentes actúan de forma autónoma, encadenan tareas, toman decisiones y se comportan de forma no determinista. La idea detrás de AgentOps es llevar la observabilidad y la confiabilidad a un ámbito que podría ser caótico, permitiendo a los desarrolladores observar la caja negra de las interacciones de los agentes y otros comportamientos de los agentes. 

No existe una única herramienta para gestionar AgentOps, sino todo un ecosistema; un estudio reciente descubrió 17 herramientas en Github y otros repositorios de código relevantes para la práctica, desde Agenta hasta LangSmith y Trulens (una herramienta AgentOps con un nombre ambicioso se llama, simplemente, “AgentOps”). Estas herramientas suelen proporcionar soporte a la infraestructura de agentes elegida por los desarrolladores, ya sea watsonx Agents de IBM o Agents SDK de OpenAI. En este espacio acalorado, han surgido muchas plataformas y marcos populares, incluidos AutoGen, LangChain y CrewAI (este último optimizado para la orquestación de sistemas multiagente).

Un agente de IA creado para manejar tickets de atención al cliente, por ejemplo, probablemente esté compuesto por uno o más modelos de lenguaje grandes (LLM) que utilizan varias herramientas para manejar diversas tareas. El flujo de trabajo de sus agentes podría implicar monitorear los correos electrónicos entrantes, buscar en una base de conocimientos de la empresa y crear tickets de soporte de forma autónoma.

La depuración de un agente de este tipo es compleja; su comportamiento variado crea múltiples puntos de posible falla o ineficiencia. Sin embargo, con el monitoreo de agentes, los desarrolladores pueden realizar repeticiones de sesiones paso a paso de las ejecuciones de agentes, observando qué hizo el sistema de IA y cuándo. ¿El agente consultó la documentación de atención al cliente adecuada? ¿Cuáles fueron los patrones de uso de las herramientas y qué API se utilizaron? ¿Cuál fue la latencia de cada paso? ¿Cuál fue el costo final del LLM? ¿Qué tan bien se comunicó o colaboró el agente con otros? 

Liberar a un agente de IA sin un plan para auditar su comportamiento es como darle a un adolescente una tarjeta de crédito y no mirar el estado de cuenta resultante. Adam Silverman, director de operaciones de Agency AI, dijo recientemente en el blog de Google for Developers que al usar diferentes LLM para diferentes tareas, ese costo podría reducirse, uno de los muchos parámetros que se pueden ajustar para optimizar la rentabilidad de un agente a lo largo del tiempo.²

Al profundizar más, los desarrolladores pueden rastrear el comportamiento integral del agente, incluido el costo de cada interacción de LLM entre diferentes proveedores (como Azure o AWS). Los desarrolladores pueden consultar un panel de dichas métricas en tiempo real, con datos de las diversas etapas del ciclo de vida del agente. A través de la evaluación comparativa iterativa, los desarrolladores pueden trabajar en la optimización de su agente. 

No existe un medio universalmente acordado para llevar a cabo AgentOps, con múltiples herramientas y enfoques disponibles. (De hecho, incluso el término precursor mucho más establecido, DevOps, significa cosas ligeramente diferentes para diferentes personas). En junio, en la conferencia IBM Think, IBM® Research dio a conocer su propio enfoque de AgentOps, especificando tres áreas de enfoque principales que cree que son cruciales para respaldar la observabilidad con casos de uso de IA agéntica empresarial.

En primer lugar, IBM Research creó su solución AgentOps sobre los estándares OpenTelemetry (OTEL), un kit de desarrollo de software (SDK) de código abierto, que permite instrumentaciones automáticas y manuales en varias infraestructuras. En segundo lugar, creó una plataforma de analytics abierta sobre OTEL, lo que brinda a los usuarios un alto nivel de resolución al mirar tras bambalinas el comportamiento de sus agentes. La plataforma es extensible, lo que significa que se pueden agregar fácilmente nuevas métricas. Y en tercer lugar, estos analytics están impulsados por IA, lo que permite perspectivas únicas que incluyen vistas de flujos de trabajo de seguimiento múltiple y exploraciones de trayectoria. 

IBM Research utilizó su enfoque AgentOps para ayudar en la creación de varios productos de automatización de IBM, incluidos Instana, Concert y Apptio. A medida que IBM ha lanzado al mercado sus propias soluciones agénticas, los aspectos de AgentOps se han convertido en características del estudio de desarrolladores watsonx.ai y del kit de herramientas watsonx.governance para escalar la IA confiable.

Sin embargo, existen muchos enfoques para AgentOps, y el campo está evolucionando rápidamente para satisfacer las necesidades de una industria que adopta flujos de trabajo agénticos a una velocidad vertiginosa. 

Las mejores prácticas de AgentOps pueden y deben aplicarse a todas las fases del ciclo de vida de un agente.

Desarrollo: en esta fase, los desarrolladores dan a sus agentes objetivos y restricciones específicos, trazando varias dependencias y pipelines de datos.

Pruebas: antes del lanzamiento a un entorno de producción, los desarrolladores pueden evaluar el rendimiento del agente en un entorno simulado de “sandbox”.

Monitoreo: una vez desplegado, los desarrolladores pueden examinar los resultados de su instrumentación, evaluando el rendimiento del agente en el nivel de la sesión, el seguimiento o el tramo. Los desarrolladores pueden revisar las acciones de los agentes, las llamadas a la API y la duración general (o latencia) del comportamiento de los agentes.

Feedback: en esta fase, tanto el usuario como el desarrollador necesitan acceso a herramientas para registrar cuándo el agente cometió un error o se comportó de manera incongruente, así como mecanismos para ayudar al agente a funcionar mejor en su próxima ejecución.

Gobernanza: a medida que la IA generativa se somete a un mayor escrutinio regulatorio (como en la Ley de IA de la UE), y a medida que evolucionan nuevas infraestructuras, los desarrolladores necesitan un conjunto de medidas de protección y políticas para ayudar a restringir el comportamiento de los agentes y garantizar el cumplimiento.