Azure OpenAI API用のカスタム製品の作成
AI Gateway API 用の製品を作成し、必要な組立率制限を含むプランを追加します。
ご注意自動公開機能(API公開時)を利用して後から作成された商品には、AIサービスを利用するために必要なプランは含まれていません。 OpenAI API の作成時に Create product を選択して製品を生成しなかった場合は、新しい API を公開する前にカスタム製品を作成する必要があります。
下書き製品の作成 」の説明に従って製品を作成します。 製品定義で、次の例に示すように、 openai-default および openai-token-weighted の組立率制限を持つ計画を追加する:
plans:
default-plan:
title: Default Plan
description: Default Plan
approval: false
rate-limits:
default:
value: 100/1minute
assembly-rate-limits:
openai-default:
- value: 100/1minute
hard-limit: true
cache-only: false
is-client: true
use-api-name: false
use-app-id: false
use-client-id: true
weight: '1'
openai-token-weighted:
- value: 200/1minute
hard-limit: true
cache-only: false
is-client: true
use-api-name: false
use-app-id: false
use-client-id: true
weight: aiGeneratedTokenCount
- Azure OpenAI 組立率制限が必要である
- 商品には、他のプランを追加する場合でも、
openai-defaultおよびopenai-token-weightedのアッセンブリー料金制限のあるプランが含まれている必要があります。 レート・リミットは必要に応じて設定することができます。 - トークン・ベースのレート制限にはトークン数が必要です
weight: aiGeneratedTokenCountプロパティは、openai-token-weightedアセンブリー率制限で必要とされる。 この変数は、各APIコールでカウンタに追加され、次にレート制限しきい値と比較されるトークン数を示す。- 料金制限は、カタログまたは個々のクライアントIDに適用できます。
- レート制限は、APIを含むカタログに対して設定される。 デフォルトでは、特定のカタログ内でプランを購読する各クライアントIDには、独自のレート制限しきい値が割り当てられます。 カタログ全体に対して単一のしきい値を設定するには、そのレート制限に
use-client-id: false。