Erstellen eines benutzerdefinierten Produkts für eine Azure OpenAI API

Legen Sie ein Produkt für eine AI Gateway API an und fügen Sie einen Plan hinzu, der die geforderten Montagesatzgrenzen enthält.

Achtung! Ein Produkt, das später mit der Auto-Publishing-Funktion (bei der Veröffentlichung Ihrer API) erstellt wird, enthält nicht den erforderlichen Plan für die Nutzung des KI-Dienstes. Wenn Sie beim Erstellen der OpenAI API nicht die Option Produkt erstellen gewählt haben, um ein Produkt zu erzeugen, müssen Sie ein benutzerdefiniertes Produkt erstellen, bevor Sie die neue API veröffentlichen können.

Erstellen Sie das Produkt wie unter Erstellen eines Produktentwurfs beschrieben. Fügen Sie in der Produktdefinition einen Plan mit den Grenzwerten für die Montageraten openai-default und openai-token-weighted hinzu, wie im folgenden Beispiel gezeigt:

plans:
  default-plan:
    title: Default Plan
    description: Default Plan
    approval: false
    rate-limits:
      default:
        value: 100/1minute
    assembly-rate-limits:
      openai-default:
        - value: 100/1minute
          hard-limit: true
          cache-only: false
          is-client: true
          use-api-name: false
          use-app-id: false
          use-client-id: true
          weight: '1'
      openai-token-weighted:
        - value: 200/1minute
          hard-limit: true
          cache-only: false
          is-client: true
          use-api-name: false
          use-app-id: false
          use-client-id: true
          weight: aiGeneratedTokenCount
Die Azure OpenAI Montagegrenzwerte sind erforderlich
Das Produkt muss einen Tarif mit den Höchstsätzen openai-default und openai-token-weighted enthalten, auch wenn Sie dem Produkt weitere Tarife hinzufügen. Sie können die Ratenbegrenzungen nach Bedarf für Ihre eigenen Anforderungen konfigurieren.

Token-basierte Ratenbegrenzung erfordert eine Token-Anzahl
Die Eigenschaft weight: aiGeneratedTokenCount wird in der openai-token-weighted Baugruppensatzgrenze benötigt. Diese Variable gibt die Anzahl der Token an, die bei jedem API-Aufruf zum Zähler hinzugefügt und dann mit dem Schwellenwert für die Ratenbegrenzung verglichen werden.
Die Preisbegrenzung kann für den Katalog oder für einzelne Kunden-IDs gelten.
Die Ratenbegrenzung wird für den Katalog konfiguriert, der die API enthält. Standardmäßig wird jeder Client-ID, die den Plan innerhalb eines bestimmten Katalogs abonniert, ein eigener Ratengrenzwert zugewiesen. Um einen einzelnen Schwellenwert für den gesamten Katalog zu konfigurieren, setzen Sie use-client-id: false für diese Ratengrenze.