IBM® Instana GenAI Observability는 팀이 풀 스택 애플리케이션에 이미 사용하고 있는 것과 동일한 강력한 워크플로에 AI 모니터링을 도입합니다. 또한 에이전트, 체인 및 작업을 자동으로 검색하고 매핑한 후 해당 데이터를 나머지 인프라에 연결합니다. 프롬프트, 아웃풋, 토큰, 지연시간, 비용 및 오류에 대한 내재화된 가시성을 통해 팀은 문제를 신속하게 추적하고 성능을 최적화하며 AI 기반 앱을 안심하고 사용할 수 있습니다.
OpenLLMetry 표준을 기반으로 하는 Instana는 IBM watsonx.ai, Amazon Bedrock, OpenAI, Anthropic, Groq, DeepSeek, LangChain, LangGraph, CrewAI 등 주요 공급업체 및 프레임워크뿐만 아니라 vLLM, GPU 같은 런타임도 지원합니다. 이러한 개방형 에코시스템 접근 방식은 이식성을 확보하고 비용을 인지하며 거버넌스에 대비할 수 있는 상태로 AI 관측 가능성을 유지함으로써 툴을 전환하지 않고도 모델부터 인프라까지의 엔드투엔드 명확성을 제공합니다.
기능
Instana는 에이전트, 체인 및 작업을 포함한 AI 구성 요소를 자동으로 검색하고 해당 구성 요소의 관계를 서비스 및 인프라에 매핑합니다. 이러한 기능에는 흐름을 시각화하고 문제 발생 위치를 정확히 찾아내기 위한 작업 계층 모델링 및 모니터링이 포함됩니다.
에이전트, 툴 호출, 검색 및 모델 호출 전반에 걸쳐 모든 단계를 추적하는 동시에 기존 APM 신호와의 상관관계를 파악하세요. 실시간 인시던트 조사는 마이크로서비스, 데이터베이스 및 네트워크와 동일한 타임라인에 AI를 적용합니다.
세분화된 수준에서 토큰 사용량과 모델링된 비용을 추적하여 모델, 프롬프트, 테넌시를 최적화하세요. 이러한 인사이트를 사용하여 비용 초과를 방지하고 지출을 성능 목표에 맞게 조정할 수 있습니다.
OpenLLMetry 규칙을 사용하여 프롬프트 및 아웃풋(구성 가능한 교정 포함), 지연시간, 처리량, 오류율, 모델 또는 공급자 메타데이터를 캡처하세요. 이러한 운영 신호를 이용하면 위험한 행동을 탐지하여 올바른 소유자에게 라우팅하는 데 도움이 되는 대시보드 및 경고를 구동할 수 있습니다.
주요 모델 공급자 및 프레임워크, GPU 및 런타임을 지원하는 네이티브 OpenLLMetry(추적 루프) 계측을 활용하세요. AI 데이터의 이식성과 벤더 중립성을 유지하는 동시에 Instana의 성숙한 APM 및 인프라 모니터링과 AI 데이터를 통합할 수 있습니다.