Azure OpenAI API用のカスタム製品の作成

AI Gateway API 用の製品を作成し、必要な組立率制限を含むプランを追加します。

ご注意自動公開機能(API公開時)を利用して後から作成された商品には、AIサービスを利用するために必要なプランは含まれていません。 OpenAI API の作成時に Create product を選択して製品を生成しなかった場合は、新しい API を公開する前にカスタム製品を作成する必要があります。

下書き製品の作成 」の説明に従って製品を作成します。 製品定義で、次の例に示すように、 openai-default および openai-token-weighted の組立率制限を持つ計画を追加する:

plans:
  default-plan:
    title: Default Plan
    description: Default Plan
    approval: false
    rate-limits:
      default:
        value: 100/1minute
    assembly-rate-limits:
      openai-default:
        - value: 100/1minute
          hard-limit: true
          cache-only: false
          is-client: true
          use-api-name: false
          use-app-id: false
          use-client-id: true
          weight: '1'
      openai-token-weighted:
        - value: 200/1minute
          hard-limit: true
          cache-only: false
          is-client: true
          use-api-name: false
          use-app-id: false
          use-client-id: true
          weight: aiGeneratedTokenCount
Azure OpenAI 組立率制限が必要である
商品には、他のプランを追加する場合でも、 openai-default および openai-token-weighted のアッセンブリー料金制限のあるプランが含まれている必要があります。 レート・リミットは必要に応じて設定することができます。

トークン・ベースのレート制限にはトークン数が必要です
weight: aiGeneratedTokenCount プロパティは、 openai-token-weighted アセンブリー率制限で必要とされる。 この変数は、各APIコールでカウンタに追加され、次にレート制限しきい値と比較されるトークン数を示す。
料金制限は、カタログまたは個々のクライアントIDに適用できます。
レート制限は、APIを含むカタログに対して設定される。 デフォルトでは、特定のカタログ内でプランを購読する各クライアントIDには、独自のレート制限しきい値が割り当てられます。 カタログ全体に対して単一のしきい値を設定するには、そのレート制限に use-client-id: false