利用 GenAI Observability 提高运营效率

插图显示了类似根系或河流、溪流的蓝色线条,背景为土色

作者

Bill Lobig

VP of Product Management

IBM Automation

在奥兰多举办的 IBM TechXchange 大会期间,IBM 宣布 IBM Instana GenAI Observability 正式发布,这是一项为生成式 AI 时代而设计的可观测性突破性技术。

此次公告紧随 IBM© Instana Intelligent Incident Investigation 的预览发布之后,该功能利用智能体式 AI,实现更快速、更全面的根因识别。随着组织将大语言模型 (LLM) 和智能体式工作流投入生产,运维挑战可能成倍增加:调试不透明的 AI 流水线、控制不可预测的令牌成本,以及确保可靠的客户体验。Instana GenAI Observability 通过一套统一的、面向企业的解决方案直接应对这些问题。

为什么 AI 可观测性现在很重要

企业 IT 已经在复杂性重压下苦苦挣扎,一份最新报告显示,在三项最重要的可观测性相关任务中,有两项包括:调整可观测性工具以应对新的架构模式,以及确保跨多个环境的一致可观测性覆盖。

除此之外,人工智能还完全重新定义了什么是应用程序。应用程序不再是范围明确、以用户为导向且具有预定义结果的;它们是自我驱动、以目标为导向,并具备上下文推理能力的。风险也因此更高。非计划性 IT 停机的平均成本为每分钟 14,056 美元,根据公司规模,每小时成本可达 218,000 至 1,425,000 美元。如果无法洞察 AI 驱动的系统,组织可能面临成本失控和声誉受损的风险。

高度自动化的企业为未来指明了方向,通过使用可观测性工具,企业有望降低 IT 成本,并从 AI 驱动的数字化转型中获得高投资回报。

IBM Instana GenAI Observability 提供的功能

IBM Instana GenAI Observability 专为平台工程师、SRE 和 IT 运维团队以及需要在 AI 功能的可靠性与成本之间取得平衡的高管而设计。它将 AI 特定的遥测数据与 IT 堆栈的其他部分集中管理:

  • AI 工作流的可调试性:智能体、工具调用、检索步骤、重试、提示和输出的端到端跟踪。
  • 运营关键指标 (KPI):通过每次请求、服务、模型或租户消耗的令牌量来衡量延迟、错误率和吞吐量。
  • 成本治理:早期采用者强调 Instana 能够通过将支出归因于具体工作量和租户,防止令牌“账单冲击”。
  • 统一上下文:AI 遥测数据不再孤立存在,它与应用程序和基础设施深度融合,以加快根因分析速度。

让 Instana 脱颖而出的差异化优势

可观测性领域竞争日趋激烈,许多厂商正在将 AI 可视化功能集成到其工具中。我们认为,Instana 凭借四大核心差异化优势脱颖而出:

  1. 实时全栈上下文:一个产品即可集成应用程序、基础设施和 AI 信号。
  2. 开源优先策略:通过 OpenLLMetry 进行监控,使数据保持可移植性且不受供应商限制。
  3. 广泛的生态系统覆盖从 IBM© watsonx.ai 和 Amazon Bedrock,到 LangChain、CrewAI 等智能体式框架,再到 Milvus DB 等向量数据库,以及主要的大语言模型提供商。
  4. 由 IBM 研究支持的下一代故障排查视图:专用可视化工具揭示 AI 性能模式,采用 IBM 专利技术。

客户希望在一个平台中查看生产环境中的 AI 性能,从提示、令牌到延迟,同时保持端到端的上下文信息。这正是 Instana GenAI Observability 所提供的。

对企业的影响

对于使用领先可观测性解决方案的团队来说,其收益可能非常显著:平均修复时间 (MTTR) 降低,意外成本减少。对于高管而言,这类解决方案能够支持治理和运营智能,从而推动 AI 的规模化应用。对于面临 IT 复杂性激增的行业来说,它代表了一种在加速创新同时解决成本问题的方法。

展望未来,Instana 的实时可观测性是 IBM 更广泛 AI 战略的重要组成部分。结合 watsonx.governance 和 watsonx Orchestrate 等提供可定制领域特定智能体的产品,IBM 正在构建一套贯穿 AI 生命周期的统一监控、治理和自动化方法。

立即开始

IBM Instana GenAI Observability 现已发布。如果您将参加在佛罗里达州奥兰多举办的 IBM TechXchange 大会,可通过参加 3122 号会议“Drive operational efficiency with AI-powered observability”(利用 AI 驱动的可观测性提升运营效率)了解这些功能的更多信息。

实现 AI 运营转型