Creación de un producto personalizado para una API Azure OpenAI

Cree un producto para una API AI Gateway y añada un plan que contenga los límites de velocidad de montaje requeridos.

Atención: Un producto creado posteriormente con la función de autopublicación (al publicar su API) no incluye el plan necesario para utilizar el servicio de IA. Si no seleccionó Crear producto para generar un producto al crear la API OpenAI , deberá crear un producto personalizado antes de poder publicar la nueva API.

Cree el producto como se explica en Creación de un borrador de producto. En la definición del producto, añada un plan con los límites de velocidad de montaje openai-default y openai-token-weighted , como se muestra en el siguiente ejemplo:

plans:
  default-plan:
    title: Default Plan
    description: Default Plan
    approval: false
    rate-limits:
      default:
        value: 100/1minute
    assembly-rate-limits:
      openai-default:
        - value: 100/1minute
          hard-limit: true
          cache-only: false
          is-client: true
          use-api-name: false
          use-app-id: false
          use-client-id: true
          weight: '1'
      openai-token-weighted:
        - value: 200/1minute
          hard-limit: true
          cache-only: false
          is-client: true
          use-api-name: false
          use-app-id: false
          use-client-id: true
          weight: aiGeneratedTokenCount
Se requieren los límites de velocidad de montaje de Azure OpenAI
El producto debe incluir un plan con los límites de tarifa de montaje openai-default y openai-token-weighted , aunque añada otros planes al producto. Puede configurar los límites de velocidad según sus necesidades.

La limitación de velocidad basada en tokens requiere un recuento de tokens
La propiedad weight: aiGeneratedTokenCount es necesaria en el límite de la tasa de montaje openai-token-weighted . Esta variable indica el número de tokens que se añadirán al contador con cada llamada a la API, y luego se compararán con el umbral de límite de tasa.
La limitación de tarifas puede aplicarse al catálogo o a ID de clientes individuales.
La limitación de velocidad está configurada para el catálogo que contiene la API. Por defecto, a cada ID de cliente suscrito al plan dentro de un catálogo determinado se le asigna su propio umbral de límite de tarifa. Para configurar un único umbral para todo el catálogo, establezca use-client-id: false para ese límite de velocidad.