什么是 AI Gateway？

无论 AI 服务是内部构建的专有工具，还是作为通过云访问的第三方模型部署，AI Gateway 都提供了一个统一的轻量级层，可连接应用程序和 AI 模型，并在生态系统中的所有 AI 工具中一致地实施治理和安全策略。

传统的应用程序编程接口 (API) 网关支持客户端与后端服务之间的数据交换，而 AI Gateway 旨在应对 AI 工作负载所带来的独特挑战。它们扩展了标准 API Gateway，新增了多模型访问和整合、智能 AI 工作负载路由、动态负载均衡、词元消耗跟踪和速率限制、安全策略实施等功能。

企业 AI 工作负载可能需要能够支持大量计算负载（特别是用于深度学习和大模型训练）的复杂 AI 基础设施。现有的企业系统难以提供企业管理生产规模 AI 模型所需的高带宽和低延迟访问。

AI Gateway 可帮助开发团队更轻松地管理复杂的 AI 驱动架构。它们为所有 AI 模型交互提供了一个统一的入口点，使用基于 AI 的 API 来协调应用程序和 AI 系统之间的数据流、指令流和策略流。此功能使团队能够从一站式界面控制如何使用和访问不同的模型和 AI 工作流程，而不是依赖每个模型的单独界面。

因此，AI Gateway 可以帮助简化对 AI 模型生态系统的访问。它们有助于减少模型整合过程中可能出现的摩擦，并为企业规模的 AI 采用创建集中式治理结构。

AI Gateway 是 AI 系统与最终用户应用程序之间的桥梁，可集中部署和管理 AI 模型。

想象一下电子商务平台上的客户支持工具。该工具使用一个大型语言模型（响应用户查询）、一个情感分析模型（确定用户的情绪）和一个图像识别模型（分析用户在交互过程中发送的任何照片附件）。AI Gateway 位于模型和平台之间，用于编排和简化后端任务的完成。

例如，当用户提交带有屏幕截图作为购买证明的购买查询时，应用程序会将信息和照片转发到 AI Gateway 的端点。AI Gateway 将把文本部分转给 LLM，把屏幕截图转给图像识别模型，以便做出响应。它还会将信息发送到情感分析模型，以确定用户看起来是沮丧还是愤怒。

在此过程中，AI Gateway 有助于确保所有请求都经过身份验证，并且不会泄露任何敏感或私人数据。最后，AI Gateway 会以标准格式合并每个模型的结果，然后将结果返回给客户。

AI Gateway 充当 AI 系统和应用程序之间的桥梁，集中管理 AI 模型并帮助团队消除分散、不一致的护栏执行。然而，要提供这些功能，AI Gateway 必须执行一系列关键功能。

其中包括：

AI Gateway 采用统一、规范的 API 格式，以实现多个 AI 模型与使用它们的应用程序之间的无缝整合。本质上，AI Gateway 有助于简化来自不同 AI 提供商的不同模型的整合。规范定义使 AI API 能够映射到多个供应商，因此无论部署哪种 AI 模型或工具，应用程序始终都可以使用一致的 API 界面。

AI Gateway 创建一个中央控制界面，用于处理传入的应用程序请求、自动执行协议转换并屏蔽模型提供程序的 API 之间的差异，这样，开发人员就不必手动重新设置查询格式。它们集中了访问控制、可观测性和合规性协议、使用情况跟踪和其他模型管理实践。

模型管理和编排是指对同一环境中共存的多个 AI 模型进行系统化监控、协调和部署。这些流程包括端到端生命周期管理（包括版本控制、部署、回滚和更新等任务）、资源分配、错误管理和扩展等，有助于确保模型作为统一 AI 系统的一部分无缝协作。

AI Gateway 促进了 AI 模型的顺利交付和运营，因此开发人员不必担心手动部署或模型过时。AI Gateway 还可作为中央接入点，路由数据请求、管理身份验证并跨模型、数据源和应用程序执行策略。

例如，AI Gateway 可实现动态模型选择，即 AI Gateway 根据用例或系统条件自动选择 AI 请求并将其路由到最佳模型。

AI Gateway 持续跟踪 AI 模型的性能、使用情况和健康状况以及它们处理的 AI 相关流量，实现实时可见性。AI Gateway 可按细粒度级别（例如，每个用户或每个应用程序）监控指标，例如请求量、响应时间、错误率和成本累积。

由于 AI Gateway 充当 AI 流量中心，因此可以统一监控多个 AI 模型和服务，从而在集中位置（通常是仪表板）提供系统性能的整体视图。它们还帮助开发人员维护每个 AI 请求和响应的详细日志（包括输入提示、模型输出、持续时间和词元使用计数），以便更快地进行故障排除、更彻底的合规性审计和更强有力的问责措施。

此外，AI Gateway 可以与可观测性工具（例如 OpenTelemetry）以及安全编排、自动化和响应平台集成，以便在出现问题时自动执行警报和事件检测工作流程。

数据整合涉及从一系列数据源（例如数据库、云平台、应用程序和其他系统）提取、转换和加载数据到集中式数据仓库或数据湖中，以标准化格式并消除孤岛。

通过 AI Gateway，开发人员可以连接数据源并将其合并到统一的管道中，以获得预测性分析和商业智能。AI Gateway 可以准备结构化和非结构化数据并将其输入到 AI 模型中，预处理传入的请求并实现数据格式规范化，以执行更准确的模型训练和推理生成。

其还可以使用机器学习 (ML) 功能来优化数据流、检测异常并调整管道以适应不断变化的数据模式。

AI 工具可能会造成相当大的安全和合规风险。AI Gateway 为用户、应用程序和 AI 模型之间的所有数据流量提供集中的访问控制和自动化安全策略，从而帮助抵消这些风险。

借助 API 密钥等工具，AI Gateway 根据用户个人资料和网络活动限制访问权限，严格管理谁可以访问哪些数据或 AI 模型；所有与 AI 相关的流量都必须通过 AI Gateway。

它们对传输中和静止的数据实施强加密协议，最大限度地降低未经授权的访问和滥用的风险。AI Gateway 还实时监控网络活动，使用深度数据包检测和异常检测等功能来识别和阻止恶意活动。

AI Gateway 还包含多种功能，可帮助企业保持遵守监管标准。AI Gateway 可以在个人身份信息 (PII) 和机密数据到达模型或离开组织之前对其进行清理。通过基于规则的过滤和内容评估，AI Gateway 有助于确保只有适当的数据才能被 AI 模型处理。

AI 和 ML 中的推理是指经过训练的 AI 模型识别模式并从以前从未见过的信息中得出结论的能力。服务是部署经过训练的 AI 模型并公开这些模型（使用 AI API 和其他接口）的过程，以便在生产环境中处理推理请求。

AI Gateway 使用模型感知路由将推理请求定向到相应的模型实例。这一能力可实现实时和批量推理，并帮助模型根据关键性确定任务的优先级。

为了促进可扩展服务，AI Gateway 提供针对 AI 工作负载定制的负载均衡，这对于延迟敏感或高吞吐量的应用程序特别有用。其还处理新模型版本的增量推出，将微调模型映射到底层服务，以便更轻松地更新和回滚。

这些功能可帮助开发人员为从聊天机器人到决策支持的一系列应用程序功能提供低延迟、可靠的 AI 输出。

API Gateway 和 AI Gateway 都是管理客户端与后端服务之间流量的中间件层，但它们在用途、功能和处理的工作负载类型方面存在很大差异。

传统 API Gateway 是管理工具，可作为管理和保护传统 API 流量的单一入口点。它们支持重要的跨领域能力，例如流量管理、记录、安全实施和版本控制，使 API 更易于管理和扩展。

API Gateway 路由数据请求并处理标准 Web 或微服务 API 的所有身份验证、授权、速率限制、缓存、负载均衡、提示管理和基本安全流程。它们还抽象出了服务整合职责，因此开发人员可以公开 API 和微服务，而无需管理底层网络或安全基础设施。

AI Gateway 本质上是专门针对 AI 模型和服务的 API Gateway。它们管理 AI 请求流并编排 AI 服务交互（例如请求重试和模型回退）。它们提供了一个控制层，专为 AI 工作负载以及与 LLM、生成式 AI、AI 智能体和其他 AI 系统的交互而设计。

除了基本的路由和安全功能之外，AI Gateway 还提供高级功能，例如提示和响应的语义检查、多模态流量处理（文本、语音、图像）、动态策略调整和成本管理服务以及数据掩蔽（以确保隐私合规）。

许多现代计算环境同时使用 API 和 AI Gateway。然而，与 API Gateway 不同的是，AI Gateway 专为满足 AI 驱动的应用程序、工作流程和环境的独特数据管理、安全性、可观测性和成本控制需求而构建。

部署模型是指 AI Gateway 跨不同基础设施设置管理 AI 模型和服务的各种方式。它们影响 AI Gateway 的运行位置以及它们处理 AI 工作负载的流量路由、安全性、扩展和治理的方式。

部署模式的示例包括：

依赖 AI 工具和服务会带来一些重大风险。

AI 工具严重依赖 API 来访问外部来源的数据、部署工作流以及与应用程序和服务交互。每个 API 集成都为攻击者提供了潜在的切入点。基于 AI 的功能并不总是遵循可预测的 API 使用模式，因此可能会在无意中暴露专有数据或敏感数据，并显著扩大攻击面。

事实上，一个受损或配置错误的 API 端点可以授予对多个后端系统和敏感数据集的访问权限，从而使网络罪犯能够在架构内移动并提升其权限。

此外，大多数 AI 工具都在 LLM 上运行（例如 OpenAI 的 GPT 模型或 Anthropic 的 Claude 模型），因此它们可以从 LLM 提供商处继承漏洞。如果攻击者将恶意指令嵌入到提示或可信数据源（例如配置文件、文档或支持工单）中，则该工具在处理提示时可能会在不知不觉中执行有害操作。

AI Gateway 帮助开发团队应对这些风险和挑战。它们能够实现：

• 简化的 AI 流量管理。集中式 AI 流量管理可降低处理单个 AI 模型连接的复杂性，并简化数据路由、策略实施和使用情况监控。

• 提高效率和可扩展性。通过自动执行资源管理、负载均衡和性能优化流程，AI Gateway 可以最大限度减少停机时间，并加速基于 AI 的应用程序的部署和扩展。

• 强化安全性。AI Gateway 实施了强大的安全功能（例如凭据管理和基于角色的访问控制 (RBAC)），以保护数据、提高可见性并确保负责任地使用 AI。它们提供了一个内聚的监控、审计、异常检测和可追溯性装置，其中可以跟踪 AI 模型的使用情况，直到模型退役。

• 加快创新。AI Gateway 使用 ML 来学习新的任务和策略，使其能够适应新环境并随着时间的推移不断发展。它们还提供对各种 AI 服务的统一访问。此访问权限有助于开发人员更快地创新和部署新的 AI 应用程序。

• DevOps 开发运维集成AI Gateway 通常与持续集成/持续交付 (CI/CD) 管道整合，提供详细的遥测数据，帮助 DevOps 开发运维团队自动执行软件回滚和修复工作流。AI Gateway 还会自动在 AI 模型实例之间分配流量，以便模型可以处理动态工作负载而不会产生扩展延迟。

AI Gateway 本身是一种较新的技术，开发人员正在寻找新的方法来最大限度地提高其功效。

例如，为了支持延迟敏感和数据本地化的工作负载（如用于自动驾驶汽车和医疗保健设备的工作负载），开发人员越来越多地选择在网络边缘部署 AI Gateway。边缘部署依赖于边缘优化和轻量级的 AI 工具，这些工具支持本地推理生成，帮助团队将云服务工作负载转移到边缘服务器，同时保持系统响应能力。

语义缓存通过减少延迟、降低成本和扩展 LLM 驱动应用程序的容量来改进 AI Gateway。与仅重复使用先前响应确切内容的传统缓存不同，语义缓存工具使用嵌入式向量来理解查询背后的含义。嵌入式向量可帮助 AI Gateway 识别和重用对语义相似问题的响应（即使其措辞不同），从而帮助他们避免对 LLM API 的冗余调用并提供更快的响应。

模型故障转移还有助于团队最大限度地发挥 AI Gateway 的优势。模型故障转移配置创建了冗余，这样即使一个模型出现故障或运行缓慢，AI Gateway 也可以继续有效地路由 AI 请求。

如果主 AI 模型不可用或返回错误，AI Gateway 可以使用故障转移机制自动将流量切换到备份或辅助模型。此过程有助于确保某个模型的问题不会影响最终用户的体验。

通过检索增强生成 (RAG)，AI Gateway 提供了一个编排层，帮助将 LLM 连接到当前的外部信息源。RAG 并非仅仅依赖 LLM 的固定训练数据，而是使模型能够首先从外部知识库、文档和数据库中检索相关上下文，然后使用这些数据增强 LLM 提示，最后生成响应。因此，支持 RAG 的 AI Gateway 可帮助模型弥合静态训练数据和动态知识之间的差距，并生成更准确、更相关的响应。

此外，AI Gateway 还有助于降低与部署智能体式 AI 工具相关的风险。

AI 智能体利用 LLM、自然语言处理 (NLP) 和 ML 代表用户和其他系统自主设计工作流、执行任务和流程。它们支持人机回圈开发实践，即智能体与 DevOps 开发运维工程师和团队合作，帮助人类更快地实现目标。然而，智能体式 AI 也可能通过智能体方未经批准且可能造成危害的行为助长“影子 AI”，并显著扩大网络罪犯的攻击面。

AI Gateway 可以在复杂的分布式部署中强制执行安全协议、数据隐私限制和合规性，并有助于控制 AI 智能体的 API 访问、身份验证和授权流程。而且由于 AI Gateway 使智能体式 AI 更易于观察，它们还可以帮助企业缓解智能体式 AI 部署可能造成的影子 AI 和成本失控问题。