O que é o AgentOps?

Estimado em cerca de US$ 5 bilhões em 2024, o mercado de agentes de IA deve crescer para cerca de US$ 50 bilhões até 2030.¹ No entanto, à medida que mais empresas criam agentes de IA para simplificar e automatizar fluxos de trabalho, surgem novos desafios no monitoramento do comportamento desses agentes, garantindo que funcionem conforme o esperado. O AgentOps é um conjunto aproximado de melhores práticas emergentes na avaliação do desempenho dos agentes, que se baseia em preceitos estabelecidos nos campos relacionados de DevOps (que padronizou a entrega de software) e MLOps (que fez o mesmo para modelos de aprendizado de máquina).

Porém, gerenciar agentes não é tão simples quanto criar um software tradicional ou mesmo um modelo de IA. Os sistemas "agênticos" são complexos e dinâmicos, envolvendo essencialmente software com uma mente própria. Os agentes agem de forma autônoma, encadeiam tarefas, tomam decisões e se comportam de forma não determinística. A ideia por trás do AgentOps é trazer observabilidade e confiabilidade para um domínio que pode ser caótico, permitindo que os desenvolvedores olhem para a caixa-preta das interações e outros comportamentos dos agentes. 

Não existe uma ferramenta única para gerenciar o AgentOps, mas sim um ecossistema inteiro; um estudo recente descobriu 17 ferramentas no Github e outros repositórios de código relevantes para a prática, do Agenta ao LangSmith e Trulens (uma ferramenta de AgentOps com um nome ambicioso é chamada, simplesmente, de “AgentOps”). Essas ferramentas normalmente são compatíveis com o framework de agentes preferido dos desenvolvedores, seja ele o watsonx Agents da IBM ou Agents SDK da OpenAI. Nesse espaço aquecido, surgiram muitas plataformas e frameworks populares, incluindo o AutoGen, LangChain e CrewAI (este último, otimizado para a orquestração de sistemas multiagentes).

Um agente de IA criado para lidar com tickets de suporte ao cliente, por exemplo, é provavelmente composto por um ou mais grandes modelos de linguagem (LLMs), que utilizam várias ferramentas para lidar com várias tarefas. O fluxo de trabalho do agente pode envolver o monitoramento de e-mails recebidos, a pesquisa na base de conhecimento da empresa e a criação de tickets de suporte de forma autônoma.

A depuração de um agente desse tipo é complexa; seu comportamento variado cria vários pontos de possíveis falhas ou ineficiências. No entanto, com o monitoramento dos agentes, os desenvolvedores podem realizar repetições passo a passo das execuções do agente, observando o que o sistema de IA fez e quando. O agente consultou a documentação adequada de suporte ao cliente? Quais foram os padrões de uso de ferramentas e quais APIs foram usadas? Qual foi a latência de cada etapa? Qual foi o custo final do LLM? Qual foi a qualidade da comunicação ou colaboração do agente com os outros? 

Liberar um agente de IA sem um plano para auditar seu comportamento é algo como dar um cartão de crédito a um adolescente e não olhar para o extrato resultante. Adam Silverman, COO de Agency AI, disse recentemente ao blog Google for Developers que, ao usar diferentes LLMs para diferentes tarefas, esse custo poderia ser reduzido, um dos muitos parâmetros que podem ser ajustados para otimizar a relação custo/benefício de um agente ao longo do tempo.²

Indo mais fundo, os desenvolvedores podem rastrear o comportamento de ponta a ponta do agente, incluindo o custo de cada interação do LLM em diferentes provedores (como Azure ou AWS). Os desenvolvedores podem consultar um dashboard dessas métricas em tempo real, com dados dos vários estágios do ciclo de vida do agente. Por meio de benchmarking iterativo, os desenvolvedores podem trabalhar para a otimização de seu agente. 

Não existe um meio universalmente aceito de conduzir o AgentOps, havendo várias ferramentas e abordagens disponíveis. (Na verdade, até mesmo o termo precursor muito mais estabelecido, DevOps, significa coisas ligeiramente diferentes para pessoas diferentes). Em junho, na conferência IBM Think, a IBM Research apresentou sua própria abordagem ao AgentOps, especificando três áreas de foco principais que acredita serem cruciais para apoiar a observabilidade com casos de uso de IA agêntica em empresas.

Primeiro, a IBM Research desenvolveu sua solução AgentOps com base nos padrões OpenTelemetry (OTEL), um kit de desenvolvimento de software (SDK) de código aberto, permitindo instrumentações automáticas e manuais em vários frameworks agênticos. Em segundo lugar, desenvolveu uma plataforma aberta de análise de dados sobre o OTEL, proporcionando aos usuários um alto nível de resolução ao examinar os detalhes técnicos do comportamento de seus agentes. A plataforma é extensível, o que significa que novas métricas podem ser facilmente adicionadas. Em terceiro lugar, essas análises são impulsionadas por IA, permitindo perspectivas únicas, incluindo visualizações de fluxos de trabalho com vários rastreios e explorações de trajetórias. 

A IBM Research usou sua abordagem de AgentOps para auxiliar no desenvolvimento de vários produtos de automação da IBM, incluindo o Instana, Concert e Apptio. Como a IBM trouxe suas próprias soluções agênticas para o mercado, aspectos do AgentOps se tornaram funcionalidades no estúdio do desenvolvedor watsonx.ai e no toolkit watsonx.governance para escalar IA confiável.

No entanto, há muitas abordagens para o AgentOps, e o campo está evoluindo rapidamente para atender às necessidades de um setor que adota fluxos de trabalho agênticos a uma velocidade estonteante. 

As melhores práticas do AgentOps podem e devem ser aplicadas a todas as fases do ciclo de vida de um agente.

Desenvolvimento: nesta fase, os desenvolvedores fornecem aos agentes objetivos e restrições específicos, mapeando várias dependências e pipelines de dados.

Testes: antes de ser lançado em um ambiente de produção, os desenvolvedores podem avaliar o desempenho do agente em um ambiente simulado de "área de testes".

Monitoramento: depois de implementado, os desenvolvedores podem examinar os resultados de sua instrumentação, avaliando o desempenho do agente no nível de sessão, de rastreio ou de intervalo. Os desenvolvedores podem avaliar as ações do agente, as chamadas de APIs e a duração geral (ou latência) do comportamento do agente.

Feedback: nesta fase, tanto o usuário quanto o desenvolvedor precisam ter acesso a ferramentas para registrar quando o agente cometeu um erro ou se comportou de maneira inconsistente, bem como mecanismos para ajudar o agente a ter um desempenho melhor na execução seguinte.

Governança: à medida que a IA generativa está sujeita a um maior escrutínio regulatório (como na Lei de IA da UE), e à medida que novos frameworks éticos evoluem, os desenvolvedores precisam de um conjunto de proteções e políticas para ajudar a restringir o comportamento dos agentes e garantir a conformidade.