AI 에이전트에 관측 가능성이 필수적인 이유

인공 지능(AI)에 대한 열기가 비즈니스 세계를 휩쓸면서 이 기술의 최신 버전인 AI 에이전트에 대한 관심이 높아지고 있습니다.

기존 AI 모델과 달리 AI 에이전트는 지속적인 사람의 감독 없이 의사 결정을 내릴 수 있습니다. 또한 자율적인 작업을 통해 고객 질문에 답하고, 공급망을 최적화하고, 진단을 제공하기 위해 의료 데이터를 분석하는 등의 복잡한 목표를 달성합니다.

실제로 이는 AI 에이전트가 단순히 권장 사항을 제공하는 데 그치지 않고, 보험 청구를 자동으로 처리하거나 재고 수준을 관리하는 등 처음부터 끝까지 전체 워크플로를 처리할 수 있음을 의미합니다.

최근 추정치는 조직들이 AI 에이전트를 빠르게 도입하고 있음을 보여줍니다. KPMG 설문조사에 따르면 조직의 88%가 AI 에이전트 이니셔티브를 탐색 중이거나 적극적으로 시범 운영하고 있는 것으로 나타났습니다.¹ Gartner는 2028년까지 엔터프라이즈 소프트웨어 애플리케이션의 3분의 1 이상이 에이전틱 AI, 즉 AI 에이전트를 지원하는 기반 기술을 포함할 것으로 예측합니다.²

하지만 AI 에이전트를 매우 가치 있게 만드는 그러한 기능으로 인해 모니터링, 이해 및 제어가 어려울 수도 있습니다.

AI 에이전트는 대규모 언어 모델(LLM)을 사용하여 추론하고, 워크플로를 생성하고, 작업을 하위 작업으로 세분화합니다. 또한 데이터베이스, 검색 엔진, 계산기와 같은 외부 툴에 액세스하고 메모리를 사용하여 이전 대화 및 작업 결과를 불러옵니다.

이 프로세스를 통해 AI 에이전트가 독립적으로 작동할 수 있지만, 명시적이고 사전 정의된 규칙과 논리를 기반으로 구축된 전통적인 애플리케이션에 비해 투명성이 훨씬 떨어집니다.

이러한 고유한 복잡성과 투명성 부족으로 인해 AI 에이전트가 특정 아웃풋을 생성하는 방법을 추적하기 어려울 수 있습니다. 이로 인해 조직은 다음과 같은 심각한 위험에 직면할 수 있습니다.

• 규정 위반: 에이전트가 민감한 데이터를 처리할 때 조직은 의사 결정 프로세스를 보여주거나 규정 준수를 증명할 수 없습니다.
• 운영 실패: 에이전트 추론에 대한 가시성이 없으면 팀이 근본 원인을 식별하거나 반복되는 오류를 방지하기 어려울 수 있습니다.
• 신뢰 약화: 에이전트가 중요한 비즈니스 결정을 내리거나 고객과 직접 상호 작용할 때 설명할 수 없는 에이전트 행동으로 인해 이해관계자의 신뢰가 손상될 수 있습니다.

이러한 위험을 완화하기 위해 조직은 AI 에이전트 관측 가능성을 활용하여 AI 에이전트의 행동 및 성능에 대한 인사이트를 얻어야 합니다.

AI 에이전트 관측 가능성은 에이전틱 에코시스템의 엔드투엔드 동작(예: AI 에이전트와 대규모 언어 모델 및 외부 툴 사이에 일어날 수 있는 모든 상호 작용)을 모니터링하고 이해하는 프로세스입니다.

AI 에이전트 관측 가능성은 원격 측정 데이터, 즉 지표, 이벤트, 로그 및 추적(일반적으로 'MELT 데이터'라고 부름)과 같은 외부 아웃풋을 분석하여 시스템의 내부 상태를 파악하는 기능인 관측 가능성의 대규모 관행에서 비롯됩니다.  

AI 에이전트 관측 가능성을 통해 조직은 작업, 결정 및 리소스 사용에 대한 데이터를 수집하여 에이전트 성능을 평가할 수 있습니다. 이는 다음과 같은 중요한 질문에 답하는 데 도움이 됩니다.

• 에이전트가 정확하고 유용한 답변을 제공하나요?
• 에이전트가 처리 능력을 효율적으로 사용하나요?
• 에이전트가 목표를 달성하기 위해 적절한 툴을 사용하나요?
• 에이전트 문제의 근본 원인은 무엇인가요?
• 에이전트가 AI 윤리 및 데이터 보호 의무를 준수하나요?

조직은 이러한 인사이트를 통해 문제를 보다 효과적으로 해결 및 디버깅하고 AI 에이전트의 성능과 안정성을 개선할 수 있습니다. 

다중 에이전트 시스템은 기업 영업 파이프라인을 자동화하거나, IT 지원 시스템에 대한 질문에 답변하고 티켓을 생성하는 등의 복잡한 작업을 완료하기 위해 연동하는 여러 AI 에이전트를 사용합니다.

장애를 특정 구성 요소로 추적할 수 있는 단일 에이전트 시스템과 달리, 다중 에이전트 시스템은 훨씬 더 복잡합니다. 자율 AI 에이전트 간에는 상호 작용이 너무 많기 때문에 예측할 수 없는 행동이 발생할 가능성이 더 큽니다.

AI 에이전트 관측 가능성은 이러한 다중 에이전트 시스템에 대한 중요한 인사이트를 제공합니다. 또한 개발자가 문제를 담당하는 특정 에이전트 또는 상호 작용을 식별하도록 도와주고, 에이전트가 생성하는 복잡한 워크플로에 대한 가시성을 제공합니다. 그뿐만 아니라, 확대되어 향후 문제를 유발할 수 있는 집단 행동과 패턴을 식별하는 데 도움이 됩니다.

예를 들어, 항공편, 호텔, 렌터카에 대해 별도의 에이전트가 있는 다중 에이전트 여행 예약 시스템에서는 예약이 어느 시점에서든 실패할 수 있습니다. 관측 가능성 툴은 전체 엔드투엔드 프로세스를 추적하여 오류가 발생한 위치와 이유를 정확히 식별할 수 있습니다.  

많은 조직들은 IBM® BeeAI, LangChain, LangGraph, AutoGen과 같은 오픈 소스 솔루션을 사용하여 다중 에이전트 시스템을 더 빠르고 안전하게 구축합니다. 이러한 솔루션은 AI 에이전트를 생성하기 위한 툴과 에이전트를 실행하고 조정하는 엔진인 에이전틱 AI 프레임워크가 포함된 소프트웨어 개발 키트(SDK)를 제공합니다.

AI 에이전트 관측 가능성은 전통적인 시스템 지표와 AI 에이전트 특정 행동을 모두 캡처하는 원격 측정 데이터를 수집하고 분석함으로써 작동합니다. 그러면 팀은 이 데이터를 사용하여 에이전트의 의사 결정을 이해하고, 문제를 해결하고, 성과를 최적화할 수 있습니다.

AI 에이전트 관측 가능성은 기존 관측 가능성 솔루션과 동일한 원격 측정 데이터를 사용하지만, 토큰 사용량, 툴 상호 작용, 에이전트 의사 결정 경로 등과 같은 생성형 AI 시스템 고유의 추가적인 데이터 포인트도 포함합니다. 이러한 AI 관련 신호는 여전히 지표, 이벤트, 로그 및 추적(MELT)에 적합합니다. 

AI 에이전트 관측 가능성은 표준 관측 가능성 툴로 수집한 기존 성능 지표(예: CPU, 메모리 및 네트워크 리소스 사용률) 외에도 다음을 측정합니다.

토큰은 텍스트 AI 모델이 처리하는 단위로, 일반적으로 단어 또는 단어의 일부입니다. AI 제공업체는 토큰 사용량을 기준으로 요금을 청구하기 때문에 이 지표의 추적은 비용에 직접적인 영향을 미칩니다. 조직은 토큰 소비량을 모니터링하여 지출을 최적화할 수 있습니다. 예를 들어, 특정 고객 질문이 다른 질문보다 10배 더 많은 토큰을 사용하는 경우 팀은 에이전트가 해당 요청을 처리하는 방법을 재설계하여 비용을 절감할 수 있습니다.

실제 데이터가 변화함에 따라 AI 모델의 정확도는 시간이 지나면서 낮아질 수 있습니다. 모델 드리프트의 주요 지표(예: 응답 패턴의 변화, 아웃풋 품질의 변동)를 모니터링하면 조직이 문제를 조기에 감지하는 데 도움이 될 수 있습니다. 예를 들어, 사기 탐지 에이전트는 범죄자가 새로운 전술을 개발함에 따라 효율성이 떨어질 수 있습니다. 관측 가능성은 이러한 감소를 플래그로 지정하여 팀이 업데이트된 데이터 세트로 모델을 재학습시킬 수 있도록 합니다.

이 지표는 AI 에이전트의 아웃풋 품질, 그리고 답변이 정확하고 관련성이 있으며 유용한지 여부를 측정합니다. 또한 에이전트가 할루시네이션을 일으키거나 부정확한 정보를 제공하는 빈도를 추적합니다. 이 지표를 통해 조직은 서비스 품질을 유지하고 개선이 필요한 영역을 식별할 수 있습니다. 예를 들어, 에이전트가 기술적인 질문으로 어려움을 겪는 경우 팀은 에이전트의 지식 기반을 확장하거나 전문 툴을 추가할 수 있습니다.

이 지표는 AI 에이전트가 요청에 응답하는 데 걸리는 시간을 측정합니다. 빠른 응답 시간은 사용자 만족도와 비즈니스 성과에 매우 중요합니다. 예를 들어, 쇼핑 어시스턴트가 제품을 추천하는 데 시간이 너무 오래 걸리면 고객이 구매하지 않고 떠날 수 있습니다. 지연 시간을 추적하면 팀이 속도 저하를 식별하고 판매 전에 성능 문제를 해결하는 데 도움이 됩니다.

이벤트는 AI 에이전트가 작업을 완료하기 위해 취하는 중요한 조치입니다. 이 데이터는 에이전트의 행동 및 의사 결정 프로세스에 대한 인사이트를 제공하여 문제를 해결하고 성능을 개선하는 데 도움이 됩니다.

AI 에이전트 이벤트의 예는 다음과 같습니다.

AI 에이전트가 검색 엔진, 데이터베이스 또는 번역 서비스와 같은 외부 툴과 상호 작용하기 위해 애플리케이션 프로그래밍 인터페이스(API)를 사용하는 경우입니다. 조직은 API 호출을 추적하여 툴 사용을 모니터링하고 비효율성을 식별할 수 있습니다. 예를 들어, 에이전트가 2~3회의 API 호출만 필요한 작업에 대해 API를 50회 호출하는 경우 팀은 로직을 수정할 수 있습니다.

AI 에이전트가 대규모 언어 모델을 사용하여 요청을 이해하고,의사 결정을 내리고, 응답을 생성하는 경우입니다. LLM 호출을 모니터링하면 AI 에이전트의 작업을 구동하는 모델의 동작, 성능 및 안정성을 파악하는 데 도움이 됩니다. 예를 들어, 뱅킹 AI 에이전트가 고객에게 잘못된 계좌 정보를 제공하는 경우, 팀은 에이전트의 LLM 호출을 분석하여 오래된 데이터나 불명확한 프롬프트와 같은 문제를 찾을 수 있습니다.

에이전트가 툴을 사용하려고 하지만 작동하지 않는 경우(예: 네트워크 문제 또는 잘못된 요청으로 인해 API 호출이 실패하는 경우)입니다. 이러한 장애를 추적하면 에이전트 안정성을 개선하고 리소스를 최적화할 수 있습니다. 예를 들어, 지원 에이전트가 데이터베이스 호출 실패로 인해 주문 상태를 확인할 수 없는 경우 자격 증명 누락 또는 서비스 중단과 같은 문제를 해결하라는 알림이 팀에게 즉시 전송됩니다.

AI 에이전트가 처리할 수 없는 요청을 인간 직원에게 에스컬레이션하는 경우입니다. 이 정보는 에이전트 기능의 간극과 고객 상호 작용의 미묘한 차이를 드러낼 수 있습니다. 예를 들어, 금융 서비스 AI 에이전트가 사람에게 질문을 자주 에스컬레이션하는 경우 더 나은 금융 학습 데이터나 전문 투자 툴이 필요할 수 있습니다.

느린 응답 시간, 데이터 접근 또는 시스템 리소스 부족과 같은 문제가 발생하면 AI 에이전트는 자동화된 경고를 받습니다. 경고를 통해 팀은 사용자에게 영향을 미치기 전에 실시간으로 문제를 포착하고 해결할 수 있습니다. 예를 들어, 높은 메모리 사용량에 대한 경고가 표시되면 팀은 에이전트가 작동을 멈추기 전에 리소스를 추가할 수 있습니다.

로그는 AI 에이전트의 작동 중에 발생하는 모든 이벤트 및 작업을 시간순으로 기록한 상세한 레코드입니다. 로그를 사용하면 주변 컨텍스트를 포함한 모든 이벤트에 대해 정확도가 높은 밀리초 단위의 레코드를 만들 수 있습니다.

AI 에이전트 관측 가능성의 로그 예는 다음과 같습니다.

이러한 로그는 쿼리, 의도 해석 및 아웃풋을 포함하여 사용자와 AI 에이전트 간의 모든 상호 작용을 문서화합니다. 조직은 이러한 이 로그를 사용하여 사용자 요구 사항과 에이전트 성능을 파악할 수 있습니다. 예를 들어, 사용자가 동일한 질문을 반복적으로 바꿔 말하면 에이전트가 의도를 이해하지 못할 가능성이 높습니다.

이 로그는 프롬프트, 응답, 메타데이터, 타임스탬프, 토큰 사용량 등 에이전트와 LLM 간의 모든 교환을 캡처합니다. 이 데이터는 에이전트가 컨텍스트를 잘못 해석할 수 있는 경우를 포함하여 AI 에이전트가 요청을 해석하고 답변을 생성하는 방식을 보여줍니다. 예를 들어, 콘텐츠 조정 AI 에이전트가 유해한 콘텐츠를 놓치고 무해한 콘텐츠에 잘못된 플래그를 지정하는 경우 이 로그는 실수를 유발하는 결함 패턴을 밝힐 수 있습니다.

이 로그는 에이전트가 어떤 툴을 언제 사용하고, 어떤 명령을 보내고, 어떤 결과를 받는지 기록합니다. 이를 통해 성능 문제와 툴 오류의 원인을 역으로 추적할 수 있습니다. 예를 들어, 기술 지원 AI 에이전트가 특정 질문에 느리게 응답하는 경우 로그를 통해 모호한 검색어를 사용하고 있음을 알 수 있습니다. 그러면 팀은 더 구체적인 프롬프트를 작성하여 응답을 개선할 수 있습니다.

이 로그는 AI 에이전트가 가능한 경우 특정 조치(예: 선택한 조치, 점수, 툴 선택, 프롬프트/아웃풋)에 도달한 방법을 기록하며, 숨겨진 추론에 대한 액세스를 암시하지 않습니다. 에이전트의 자율성이 높아짐에 따라, 이러한 데이터는 편견을 포착하고 책임감 있는 AI를 보장하는 데 있어 매우 중요합니다.

예를 들어, 대출 AI 에이전트가 특정 지역의 대출 신청을 부당하게 거부하는 경우 의사 결정 로그를 살펴보면 학습 데이터의 차별적 패턴을 파악할 수 있습니다. 그러면 팀은 공정한 대출 요건을 충족하도록 AI 모델을 재학습시킬 수 있습니다.

추적은 모든 사용자 요청의 엔드투엔드 '여정'을 기록하며, 여기에는 여정 동안 LLM 및 툴과의 모든 상호 작용을 포함되어 있습니다.

예를 들어, 간단한 AI 에이전트 요청에 대한 추적은 다음과 같은 단계를 캡처할 수 있습니다.

• 에이전트를 트리거하는 사용자 입력
• 에이전트의 계획 및 작업 분석
• 모든 외부 툴 호출(예: 웹 검색)
• LLM의 요청 처리
• 프롬프트 처리 및 응답 생성
• 사용자에게 반환된 응답

그러면 개발자는 이러한 데이터를 사용하여 병목 현상이나 장애의 원인을 정확히 찾아내고 프로세스의 각 단계에서 성능을 측정할 수 있습니다.

예를 들어, 추적 결과에서 웹 검색에 5초가 걸리는 반면 다른 모든 단계는 밀리초 만에 완료되는 것으로 나타났다면, 팀은 캐싱을 구현하거나 더 빠른 검색 툴을 사용하여 전반적인 응답 시간을 개선할 수 있습니다.

AI 에이전트 관측 가능성에 사용되는 데이터의 수집에는 내장된 계측과 타사 솔루션이라는 두 가지 일반적인 접근 방식이 있습니다.

첫 번째 접근 방식에서는 AI 에이전틱 프레임워크의 내장 계측을 통해 MELT 데이터가 수집됩니다. 이러한 기본 모니터링 및 로깅 기능은 지표, 이벤트, 로그 및 추적에 대한 원격 측정 데이터를 자동으로 캡처하고 전송합니다.

많은 대기업과 전문적인 요구 사항이 있는 기업은 데이터 수집 및 모니터링에 대한 심층적인 사용자 정의와 세분화된 제어 기능을 제공하기 때문에 이 접근 방식을 채택합니다. 하지만 상당한 개발 노력과 시간, 지속적인 유지 관리도 필요합니다.

두 번째 접근 방식에서 AI 에이전트 관측 가능성 솔루션은 MELT 데이터를 수집하고 분석하기 위한 전문 툴과 플랫폼을 제공합니다. 이러한 솔루션은 사내 전문 지식의 필요성을 줄여주는 사전 구축된 기능 및 통합을 통해 조직에 빠르고 간단한 배포를 제공합니다. 하지만 타사 솔루션에 의존하면 특정 공급업체에 종속되고, 조직의 매우 구체적인 또는 틈새 요구 사항을 충족하기 위한 사용자 정의 옵션이 제한될 수 있습니다.

일부 조직은 내장된 계측과 타사 솔루션 제공업체를 결합하여 AI 에이전트 원격 측정 데이터를 수집하는 방법을 선택합니다.

두 가지 접근 방식 모두 일반적으로 GitHub 웹 기반 플랫폼에서 호스팅되는 오픈 소스 관측 가능성 툴인 OpenTelemetry(OTel)에 의존합니다.

OTel은 원격 측정 데이터 수집 및 전송을 위한 업계 표준 프레임워크로 부상했는데, 다양한 공급업체의 구성 요소가 원활하게 함께 작동해야 하는 복잡한 AI 시스템에 특히 유용한 관측 가능성에 대한 공급업체 중립적 접근 방식을 제공하기 때문입니다. 이를 통해 관측 가능성 데이터가 에이전트, 여러 모델, 외부 툴 및 검색 증강 생성(RAG) 시스템 전반에서 일관되게 이동하도록 보장할 수 있습니다.

조직은 선택한 접근 방식을 통해 MELT 데이터를 수집하여 여러 가지 방법으로 사용할 수 있습니다.

가장 일반적인 사용 사례는 다음과 같습니다.

팀은 대시보드를 사용하여 실시간 지표, 이벤트 스트림 및 추적 맵을 확인할 수 있습니다. 이러한 통합 뷰는 전체 AI 에이전트 에코시스템에서 패턴과 이상 징후 식별하는 데 도움이 됩니다. 예를 들어, 고객 서비스 에이전트가 매일 오후 3시에 속도가 저하되는 것을 대시보드에 표시하여 팀이 원인을 조사하도록 유도할 수 있습니다.

문제 발생 시 팀은 지표, 이벤트, 로그 및 추적 전반에서 데이터의 상호관계를 파악하여 정확한 실패 지점을 정확히 찾아냅니다. 예를 들어, 급증하는 오류율(지표)과 특정 API 장애(이벤트)를 연결하고 의사 결정 로그를 검토하면 팀이 에이전트가 예기치 않게 행동한 이유를 파악하는 데 도움이 됩니다.

조직은 관측 가능성 데이터 인사이트를 사용하여 에이전트 효율성을 개선합니다. 토큰 사용량을 줄이거나, 툴 선택을 최적화하거나, 추적 분석을 기반으로 에이전트 워크플로를 재구성할 수 있습니다. 예를 들어, 에이전트가 첫 번째 검색 후 결과를 저장하는 대신 동일한 데이터베이스를 세 번 검색한다는 사실을 발견할 수 있습니다.

팀은 피드백 루프를 구축하여 관측 가능성 인사이트가 에이전트 개선하도록 유도합니다. MELT 데이터를 정기적으로 검토하면 에이전트가 환불 요청으로 어려움을 겪거나 사용자가 설명서에서 다루지 않은 질문을 했을 때 실패하는 등의 반복되는 문제와 극단적인 사례를 식별하는 데 도움이 됩니다. 이러한 문제는 확장된 데이터 세트와 업데이트된 문서가 필요하다는 신호일 수 있습니다.

온라인 소매업체가 관측 가능성을 사용하여, 고객과 상호 작용하는 AI 에이전트와 관련된 문제를 식별하고 수정할 수 있는 방법을 생각해 보세요.

먼저, 관측 가능성 대시보드를 보면 특정 AI 에이전트에 대한 부정적인 고객 피드백이 급증하고 있습니다.

팀은 에이전트의 로그를 검토한 후 에이전트가 데이터베이스 툴 호출을 사용하여 고객 질문에 답변한다는 것을 알게 됩니다. 하지만 답변에 오래되었거나 잘못된 정보가 포함되어 있습니다.

추적은 고객 질문을 처리하기 위한 에이전트의 단계별 프로세스에 대한 전체 레코드이며, 더 이상 사용되지 않는 데이터를 반환한 특정 툴 호출을 정확히 찾아냅니다. 또한 추가 분석을 통해 오래된 정보가 포함된 데이터베이스 내의 데이터 세트를 정확히 밝혀냅니다.

이 인사이트를 통해 온라인 소매업체는 결함이 있는 데이터 세트를 업데이트하거나 삭제합니다. 또한 고객에게 응답하기 전에 데이터 정확성을 검증하기 위해 에이전트의 로직을 업데이트합니다. 그 결과, 이제 에이전트는 정확하고 유용한 답변을 제공하여 고객 만족도를 높일 수 있게 되었습니다.

AI 에이전트 관측 가능성의 대부분은 여전히 수동 조사 및 해결을 위해 팀원에게 경고 및 이상 징후를 전달해야 하지만, AI 기반 자동화는 조직이 원격 측정 데이터를 수집 및 분석하고 그에 대한 조치를 취하는 방식을 점점 더 혁신하고 있습니다.

이제 고급 관측 가능성 솔루션은 이러한 기술을 사용하여 사람의 개입이 거의 또는 전혀 없이 AI 에이전트를 모니터링, 디버깅 및 최적화하고 있습니다. 이 분야의 새로운 사용 사례는 다음과 같습니다.

• 규정 준수 감사 및 성능 분석을 위해 AI 에이전트 원격 측정 데이터를 자동으로 수집, 처리 및 저장
• 방대한 양의 AI 에이전트 데이터를 분석하여 이상 징후에 플래그를 지정하고 문제를 식별
• AI 애플리케이션 및 에이전트에 문제가 발생하기 전에 예측
• 사용 패턴을 기반으로 리소스 요구 사항 예측
• 성능 최적화를 위한 로직 또는 툴 사용 개선 제안
• AI 에이전트가 민감한 데이터에 액세스하거나 공유하지 못하도록 방지