생성형 AI 관측 가능성으로 운영 효율성 향상

이번 발표는 에이전틱 AI를 사용하여 더 빠르고 포괄적인 근본 원인 식별을 제공하도록 제작된 IBM Instana Intelligent Incident Investigation의 미리보기가 제공된 후 진행되었습니다. 조직이 대규모 언어 모델(LLM)과 워크플로를 프로덕션으로 확장함에 따라 불투명한 AI 파이프라인 디버깅, 예측할 수 없는 토큰 비용 제어, 안정적인 고객 경험 보장 등 운영상의 문제가 증가할 수 있습니다. Instana 생성형 AI 관측 가능성은 통합된 엔터프라이즈급 솔루션을 통해 이러한 문제를 직접 해결합니다.

최근 보고서에 따르면 완료해야 하는 가장 중요한 세 가지 관측 가능성 관련 작업 중 두 가지에는 새로운 아키텍처 패턴을 처리하도록 관측 가능성 도구를 조정하고 여러 환경에서 일관된 관측 가능성 커버리지를 보장하는 것일 만큼, 엔터프라이즈 IT는 이미 복잡성의 무게로 어려움을 겪고 있습니다.

이 외에도 AI는 애플리케이션의 정의를 완전히 재정의했습니다. 더 이상 애플리케이션의 범위가 잘 정해져 있지 않고 사전 정의된 결과를 통한 사용자 중심 애플리케이션도 아니라, 자기 주도적이고 목표 중심적이며 맥락적 추론을 포함합니다. 위험 부담이 큽니다. 계획되지 않은 IT 다운타임의 평균 비용은 분당 미화 14,056달러로 회사 규모에 따라 시간당 미화 21만 8천~142만 5천 달러에 해당하며, AI 기반 시스템에 대한 가시성이 없다면 조직은 비용 폭주와 평판 손상 위험을 겪을 수 있습니다.

고도로 자동화된 기업은 AI 기반 디지털 혁신을 통해 잠재적으로 IT 비용을 절감하고 높은 ROI를 달성할 수 있는 관측 가능성 도구를 사용하여 앞으로 나아갈 길을 제시합니다.

IBM Instana GenAI Observability는 플랫폼 엔지니어, SRE 및 IT 운영팀, AI 기능의 안정성과 비용의 균형을 맞춰야 하는 경영진을 위해 구축되었습니다. 이 솔루션은 나머지 IT 스택과 함께 AI 관련 원격 측정을 중앙 집중화합니다.

• AI 워크플로의 디버깅 가능성: 에이전트, 도구 호출, 검색 단계, 다시 시도, 프롬프트, 아웃풋의 엔드투엔드 추적을 제공합니다.
• 운영 KPI: 요청, 서비스, 모델 또는 테넌트별로 소비된 토큰을 통한 지연 시간, 오류율, 처리량이 포함됩니다.
• 비용 거버넌스: 얼리어답터들은 워크로드와 테넌트에 지출을 귀속시켜 토큰 '청구로 인한 충격'을 방지하는 Instana의 능력을 강조합니다.
• 통합 컨텍스트: AI 원격 측정은 고립되어 있지 않으며, 근본 원인 분석을 더 빠르게 수행하도록 설계된 애플리케이션 및 인프라와 긴밀하게 융합되어 있습니다.

많은 공급업체가 자사 도구에 AI 가시성을 계층화하면서 관측 가능성 환경이 뜨거워지고 있습니다. Instana는 다음과 같은 네 가지 핵심 차별화 요소로 두각을 나타냅니다.

1. 실시간 풀 스택 컨텍스트: 하나의 제품으로 애플리케이션, 인프라, AI 신호를 통합합니다.
2. 오픈 소스 우선 접근 방식: OpenLLMetry를 통한 계측으로 데이터 이식성과 벤더 중립성을 유지합니다.
3. 광범위한 에코시스템 적용 범위: IBM watsonx.ai 및 Amazon Bedrock부터 LangChain 및 CrewAI와 같은 에이전틱 프레임워크, Milvus DB와 같은 벡터 데이터베이스, 주요 대규모 언어 모델 제공업체에 이르기까지 광범위한 적용 범위를 제공합니다. 
4. IBM Research가 지원하는 차세대 문제 해결 보기: IBM의 특허 기술을 사용하여 특별 제작된 시각화를 통해 AI 성능 패턴을 보여줍니다.

고객은 프롬프트부터 토큰, 지연 시간에 이르기까지 프로덕션 환경에서 엔드투엔드 컨텍스트의 손실 없이 AI 성능을 한 곳에서 확인할 수 있기를 원합니다. 바로 이것이 Instana GenAI Observability가 제공하는 기능입니다.

선도적인 관측 가능성 솔루션을 사용하는 팀의 경우 평균 해결 시간(MTTR)이 단축되고 예상치 못한 비용이 줄어드는 등 상당한 성과가 있을 수 있습니다. 경영진의 경우 이러한 솔루션이 AI 확장을 위한 거버넌스 및 운영 인텔리전스를 지원할 수 있습니다. 또한 IT 복잡성이 급증하는 업계의 경우 혁신을 가속화하면서 비용을 해결할 수 있는 방법을 제시합니다.

앞으로 Instana의 실시간 관측 가능성은 IBM의 광범위한 AI 전략에서 중요한 부분을 차지할 것입니다. IBM은 도메인별 맞춤형 에이전트를 제공하는 watsonx.governance, watsonx Orchestrate와 같은 제품을 통해 AI 라이프사이클 전반에 걸쳐 모니터링, 거버넌스, 자동화에 대한 일관된 접근 방식을 구축하고 있습니다.

이제 IBM Instana GenAI Observability를 사용할 수 있습니다. 플로리다주 올랜도에서 열리는 IBM TechXchange 컨퍼런스에 참석하신다면 세션 #3122, 'AI 기반 관측 가능성으로 운영 효율성 향상(Drive operational efficiency with AI-powered observability)'에 참석하여 기능에 대해 자세히 알아보세요.

AI 운영 혁신