创建 Gemini 的 REST 代理。 AI Gateway

创建一个 REST 代理,使用 "AI Gateway来控制对人工智能模型的访问。

准备工作

完成 "使用 "AI Gateway的前提条件 中的任务,确保您可以访问 "Gemini

关于本任务

AI Gateway仅支持OpenAPI 3.0API。

过程

  1. 在导航窗格中,单击 开发图标

  2. “开发 ”页面上,点击 “添加” > “API”

  3. 在 "选择 API 类型"页面上,单击 "OpenAPI 3.0"选项卡。

  4. 在创建部分,选择AI 网关,然后单击下一步

  5. 从 AI 网关创建 API 页面上,使用平台字段选择 Google Gemini 作为新 API 使用的 AI 服务。

  6. 使用 "信息 "部分提供有关 API 的基本信息,然后单击 "下一步":
    Draft comment: abeesh.thomas@ibm.com
    From this step on, the info was copied from OpenAI so it needs updating for Genini.
    • OpenAPI 版本基于步骤 3 的选择,您点击 OpenAPI 3.0

    • 标题 :标题可包含特殊字符,但应简短,以便于在用户界面上显示。

    • 姓名将根据标题填写。 该值是一个字符串,用于在开发者工具包 CLI 命令中标识 API。

    • 版本:接受默认值或根据需要修改。 版本与OpenAPI定义中 "info.version属性的值相对应。 建议使用 version.release.modification 版本编号方案;例如, 1.0.0

    • 基本路径:接受默认值或根据需要修改。 API 的 "基本路径 "是服务器 URL ,用于确定调用 API 的完整 URL 端点,同时考虑到发布 API 的目录中的任何虚假端点配置。 对于由 DataPower® API Gateway 强制执行的API,您只需提供基本路径值。 此外:
      • 请勿包含主机名或任何用于路径或操作的附加分段
      • 请勿包含特殊字符
      • 即使 URL 为空,也要用斜线(/)开头

    • 描述:可选描述有助于识别 API。
  7. 提供 API 密钥值,或提供值为 API 密钥的 $(目录属性名称)变量,然后单击下一步。 API 密钥允许 API 与 Google Studio 进行身份验证,访问 Gemini 服务时需要使用该密钥。
  8. 提供有关 API 如何访问 "Gemini以提交请求的信息,然后单击 "创建":
    • 公开路径:接受默认的暴露路径列表,或只选择希望 API 访问的路径。 暴露路径定义了哪些 "Gemini操作包含在生成的应用程序接口中。

    • 启用响应缓存:默认情况下会启用响应缓存,以优化 API 性能;但如果您的 API 需要,也可以禁用响应缓存。 如果使用响应缓存,可以在策略用户界面的响应缓存过期属性中指定缓存的持续时间。

      启用响应缓存后,当向 "Gemini服务发送请求时,将检查响应缓存,以确定请求有效载荷是否有相关的缓存响应。 如果是这样,则会将该响应及其关联的 HTTP 响应头放入 DataPower API Gateway 上下文消息中(默认情况下命名为 message )。 如果需要不同的信息,可在生成 API 后修改策略用户界面中的 "输出信息 "属性。

      如果没有缓存响应,则会将请求传递给 Gemini 服务,并使用响应缓存过期属性中指定的生存时间缓存响应,供后续操作使用。

      如果启用了响应缓存,可在策略用户界面的响应缓存过期字段中配置缓存的持续时间,方法是接受默认值或选择(或键入)一个新值。 最短持续时间为 60 秒,最长持续时间为 86400 秒(1 天)-\-在发布 API 时,任何超出此范围的值都将无法通过验证,即使此字段中的值已被接受。
    • 在 "速率限制 " 部分,如果要生成控制 API 速率限制的 "API ConnectAI Gateway产品,请选择 "创建产品"。

      在 "API ConnectAI Gateway中,产品是应用程序接口及其相关使用计划的容器,使用计划定义了费率限制。 在此设置产品费率限制可创建包含所需 "gemini-default和 "gemini-token-weighted装配费率限制的计划,并指定您定义的限制。

      如果您选择不自动生成产品,则必须按照《 使用 AI Gateway 为 Gemini 创建 REST 代理 》中的说明手动创建一个。

      请注意: 使用自动发布功能创建的产品(发布 API 时)不包含使用人工智能服务所需的计划。 请立即创建该产品,或者在发布 API 之前创建一个自定义产品

      配置对 API 调用执行的速率限制类型:

      注意:如果您选择不指定速率限制值,则将为该速率限制分配默认值。
      • 设置速率限制 :(基于时间)接受默认速率限制或根据指定时间内发送的 API 请求数配置新的限制。 这种速率限制不使用令牌。

      • 设置 AI 令牌限制 :(基于令牌) 接受默认费率限制,或根据指定时间内使用的基于成本的令牌数量配置新的限制。 基于令牌的速率限制使用 "/chat/completions操作来跟踪令牌的使用情况。

        人工智能令牌限制根据令牌的使用情况设置速率限制。 速率限制决定了在指定时间内允许多少令牌通过网关。

  9. 查看摘要页面,确认 API 没有问题。

  10. 编辑新的应用程序接口,添加控制应用程序接口工作流程的策略和逻辑结构。

    创建的应用程序接口包含 Gemini 调用策略 ,可用于所请求的公开路径。 它们的属性可根据需要进行编辑。