AgentOps란 무엇인가요?

AI 에이전트 시장은 2024년 기준 약 50억 달러로 추산되며, 2030년까지 약 500억 달러로 성장할 것으로 예상됩니다.¹ 그러나 더 많은 기업이 워크플로를 간소화하고 자동화하기 위해 AI 에이전트를 구축함에 따라, 이러한 에이전트의 동작을 모니터링하여 의도대로 작동하는지 확인하는 것이 새로운 과제로 대두되고 있습니다. AgentOps는 에이전트 성능 평가를 새롭게 떠오르는 모범 사례들을 대략적으로 정의한 것으로, DevOps(소프트웨어 제공을 표준화) 및 MLOps(머신 러닝 모델 제공을 표준화) 관련 분야에서 확립된 원칙을 기반으로 합니다.

그러나 에이전트 관리는 종래의 소프트웨어 또는 AI 모델 구축처럼 간단하지 않습니다. '에이전틱' 시스템은 복잡하고 역동적이며, 본질적으로 스스로 생각하는 소프트웨어가 관여합니다. 에이전트는 자율적으로 행동하고, 작업을 연결하고, 결정을 내리고, 비결정론적으로 행동합니다. AgentOps의 기본 개념은 혼란스러울 수 있는 영역을 관측 가능하고 신뢰할 수 있게 만들어서, 개발자가 에이전트 상호 작용 및 기타 에이전트 동작의 블랙박스를 들여다볼 수 있게 하는 것입니다. 

AgentOps는 하나의 도구가 아닌 전체 에코시스템을 통해 관리합니다. 최근의 연구에 따르면 Agenta에서 LangSmith, Trulens에 이르는 Github와 그 밖의 코드 저장소에서 관행과 관련된 도구가 17개 발견되었습니다(그 중에는 'AgentOps'라는 간단하고 야심찬 이름도 있습니다.). 이러한 도구는 일반적으로 개발자가 선택한 에이전트 프레임워크(IBM®의 watsonx Agents 또는 OpenAI의 Agents SDK)를 지원합니다. 이 치열한 분야에서 AutoGen, LangChain 및 CrewAI(멀티 에이전트 시스템의 오케스트레이션에 최적화됨)를 포함하여 인기 있는 플랫폼과 프레임워크가 다수 등장했습니다.

예를 들어 고객 지원 티켓을 처리하기 위해 구축된 AI 에이전트는 다양한 도구를 사용하는 하나 이상의 대규모 언어 모델(LLM)을 통해 다양한 작업을 처리할 가능성이 높습니다. 이러한 에이전트 워크플로에는 수신 이메일 모니터링, 기업 지식 기반 검색, 지원 티켓 자율 생성이 포함될 수 있습니다.

이러한 에이전트를 디버깅하는 것은 복잡합니다. 다양한 동작으로 인해 여러 지점이 발생할 수 있기 때문입니다. 그러나 에이전트 모니터링을 통해 개발자는 에이전트 실행을 단계별로 다시 보면서 AI 시스템이 언제 무엇을 했는지 관찰할 수 있습니다. 에이전트가 적절한 고객 지원 문서를 참조했는지, 도구 사용 패턴은 무엇이며 어떤 API가 사용되었는지, 각 단계의 지연 시간은 얼마나 있었는지, 궁극적인 LLM 비용은 얼마였는지, 에이전트가 다른 에이전트들과 얼마나 소통하거나 협업했는지 확인합니다. 

AI 에이전트의 행동을 감사할 계획 없이 AI 에이전트를 풀어주는 것은 청소년에게 신용 카드를 쥐어주고 명세서를 확인하지 않는 것과 같습니다. Agency AI의 COO인 Adam Silverman은 최근 Google for Developers 블로그에서, 다양한 업무에 다양한 LLM을 사용하면 비용을 줄일 수 있다고 말했습니다. 이는 시간이 지나면서 에이전트의 비용 효율성이 최적화되도록 조정할 수 있는 많은 매개변수 중 하나입니다.²

더 깊이 들어가면, 개발자는 다양한 공급자(예: Azure 또는 AWS)의 LLM 상호 작용 각각에 대한 비용을 포함하여 에이전트의 엔드투엔드 동작을 추적할 수 있습니다. 개발자는 대시보드에서 에이전트 수명 주기의 다양한 단계에서 나오는 데이터를 보며, 이 지표들을 실시간으로 참고할 수 있습니다. 반복적인 벤치마킹을 통해 개발자는 에이전트를 최적화하기 위해 노력할 수 있습니다. 

AgentOps 수행에 있어 보편적으로 합의된 수단은 없으며 여러 도구와 접근 방식을 사용할 수 있습니다(훨씬 명확하게 확립된 선구자인 DevOps조차 사람마다 생각하는 의미가 조금씩 다릅니다.). 지난 6월 IBM Think 컨퍼런스에서 IBM Research는 엔터프라이즈 에이전틱 AI 사용 사례를 통해, 관측 가능성을 지원하는 데 중요하다고 생각하는 세 가지 중점 영역을 이야기하며 AgenTops에 자체적으로 어떻게 접근하고 있는지 공개했습니다.

먼저, IBM Research는 오픈 소스 소프트웨어 개발 키트(SDK)인 OpenTelemetry(OTEL) 표준을 기반으로 AgentOps 솔루션을 구축하여 다양한 에이전틱 프레임워크에서 자동 및 수동 계측을 모두 허용했습니다. 둘째, OTEL 위에 개방형 분석 플랫폼을 구축하여 사용자가 에이전트의 행동을 내부적으로 관찰할 때 높은 해상도를 제공합니다. 플랫폼은 확장 가능하므로 새로운 지표를 쉽게 추가할 수 있습니다. 셋째, 이러한 분석 자체를 AI를 기반으로 진행해서, 다중 워크플로 보기와 궤적 탐색을 포함한 고유한 관점이 생기게 합니다. 

IBM Research는 AgentOps 접근 방식을 사용하여 Instana, Concert 및 Apptio를 포함한 여러 IBM Automation 제품의 구축을 지원했습니다. IBM이 자체 에이전틱 솔루션을 출시하면서 AgentOps의 측면은 신뢰할 수 있는 AI를 확장하기 위한 watsonx.ai 개발자 스튜디오 및 watsonx.governance 툴킷의 기능이 되었습니다.

그러나 AgentOps에 대한 접근 방식은 다양하며, 이 분야는 정신 없는 속도로 에이전틱 워크플로를 채택하는 업계의 요구를 충족하기 위해 빠르게 발전하고 있습니다. 

AgentOps의 모범 사례는 에이전트 수명 주기의 모든 단계에 적용될 수 있고 적용되어야 합니다.

개발: 이 단계에서 개발자는 에이전트에게 특정 목표와 제약 조건을 부여하여 다양한 종속성과 데이터 파이프라인을 매핑합니다.

테스트: 프로덕션 환경으로 릴리스되기 전에, 시뮬레이션된 '샌드박스' 환경에서 에이전트의 작동 방식을 평가합니다.

모니터링: 배포 후 개발자는 계측 결과를 검토하여 세션, 추적 또는 스팬 수준에서 성능을 평가할 수 있습니다. 에이전트 작업, API 호출 및 에이전트 동작의 전체적인 지속 기간(또는 대기 시간)을 검토할 수 있습니다.

피드백: 사용자와 개발자 모두, 에이전트가 실수를 했거나 일관되지 않은 행동을 했을 때 이를 등록할 수 있는 도구와 다음 실행 시 에이전트가 기능을 더 잘 수행할 수 있도록 도와주는 메커니즘에 접근할 수 있어야 합니다.

거버넌스: 생성형 AI가 EU AI 법과 같이 점점 규제의 대상이 되고 새로운 윤리 프레임워크가 발전할수록, 개발자에게는 에이전트의 행동을 제한하고 규정 준수를 보장하는 데 도움이 되는 가드레일과 정책이 필요해집니다.