Einrichten des Modell-Gateways in der Benutzeroberfläche

Modellanbieter konfigurieren und Modelle hinzufügen

So konfigurieren Sie Modellanbieter und fügen Modelle hinzu:

1. Wählen Sie die Registerkarte „Modellanbieter“ aus und klicken Sie dann auf „Modellanbieter hinzufügen “.

   

2. Klicken Sie bei einem der aufgeführten, verfügbaren Anbieter auf „Anbieter hinzufügen “. Es öffnet sich ein Konfigurationsfenster.

3. Geben Sie Ihrer neuen Verbindung einen Namen. Geben Sie optional weitere Details im Beschreibungsfeld an.

4. Wählen Sie eine Instanz des Secret Managers aus.

   Falls Sie noch keine bereitgestellte Secrets-Manager-Instanz haben, müssen Sie diese bereitstellen, bevor Sie fortfahren. Siehe „Einrichten des Modell-Gateways “.

5. Geben Sie das Passwort an, das für die Verbindung zum Modellanbieter verwendet werden soll. Sie haben folgende Möglichkeiten:

   • Wenn Sie bereits ein Geheimnis eingerichtet haben, wählen Sie ein vorhandenes Geheimnis aus
   • Wenn Sie keine Geheimnisse haben und den IBM - Software Hub -Vault als Geheimnismanager verwenden, wählen Sie „Neues Geheimnis erstellen“
   • Wenn Sie keine Geheimnisse haben und einen externen Tresor verwenden, wählen Sie „Schlüssel kopieren“, um ihn in Ihrem externen Tresor zu erstellen
   Hinweis:

   Bereits vorhandene Geheimnisse, die nicht über die Modell-Gateway-Benutzeroberfläche erstellt wurden, funktionieren möglicherweise nicht. Stellen Sie sicher, dass das Geheimnis vom Key-value Typ ist und dass sein JSON-Format den Anforderungen des Modell-Gateways entspricht. Weitere Informationen finden Sie unter „Modell-Gateway programmgesteuert einrichten “.

6. Wenn Sie „Neues Geheimnis erstellen“ ausgewählt haben, geben Sie Ihrem neuen Geheimnis einen Namen, füllen Sie die Details aus und klicken Sie dann auf „Erstellen “.

   IBM watsonxWenn es sich bei dem Anbieter, den Sie konfigurieren, um handelt, hängt der Base URLParameter davon ab, wie „ watsonx “ eingerichtet wurde. Um den Endpunkt für watsonx abzurufen, führen Sie diesen Befehl aus: oc get route. In der Befehlsausgabe ist der HOST/PORT Eintrag die Basis- URL unter watsonx.

   Die Namen aller Geheimnisse müssen eindeutig sein. Selbst wenn Sie ein Geheimnis für einen anderen Anbieter erstellen, können Sie denselben Namen für das Geheimnis nicht verwenden.

7. Wenn Sie „Schlüssel kopieren“ ausgewählt haben, um ihn in Ihrem externen Tresor zu erstellen, geben Sie die Details Ihres neuen Geheimnisses ein. IBM watsonxWenn es sich bei dem Anbieter, den Sie konfigurieren, um handelt, hängt der Base URLParameter davon ab, wie „ watsonx “ eingerichtet wurde.
   Nachdem Sie die Details Ihres neuen Geheimnisses eingegeben haben, klicken Sie auf „JSON anzeigen “. Es wird ein JSON-Objekt für Sie erstellt. Es enthält alle erforderlichen Schlüssel-Wert-Paare, die das Gateway benötigt, und ist übersichtlich strukturiert. Verwenden Sie dieses JSON-Objekt, um einen geheimen Schlüssel in Ihrem externen Schlüsselverwalter zu erstellen. Wenn das erledigt ist, klicken Sie auf das Symbol „Aktualisieren“, um das neue Geheimnis in der Liste der verfügbaren Geheimnisse anzuzeigen.

8. Klicken Sie auf „Hinzufügen“, um eine Verbindung zu einem Modellanbieter herzustellen.

9. Wiederholen Sie diesen Vorgang für alle weiteren Modellanbieter. Die hinzugefügten Anbieter werden im Bereich „Hinzugefügte Anbieter“ angezeigt.

   

10. Um mit dem Hinzufügen von Modellen zu beginnen, klicken Sie auf „Weiter “. Es öffnet sich eine Liste der verfügbaren Modelle.

    

    Hinweis: Wenn Sie mehr als eine Verbindung hinzugefügt haben, enthält die Liste Modelle, die von allen verbundenen Modellanbietern angeboten werden.

11. Wählen Sie eines oder mehrere der angezeigten Modelle aus und klicken Sie auf „Weiter “.

    Hinweis:

    Das Modell, das Sie hinzufügen möchten, ist möglicherweise nicht aufgeführt. Klicken Sie in diesem Fall auf „Modell importieren “. Es öffnet sich ein Fenster, in dem Sie die Informationen zum Modell eingeben können. So fügen Sie ein Modell hinzu:

    1. Wählen Sie einen der definierten Modellanbieter aus.
    2. Geben Sie die Modell-ID ein, zum Beispiel gpt-3.5-turbo-xxxx und klicken Sie auf „Hinzufügen “. Das Modell wird zur Liste der auswählbaren Modelle hinzugefügt.

12. Überprüfen Sie die Liste der hinzuzufügenden Modelle, geben Sie optional Aliasnamen für die Modelle ein und klicken Sie auf „Absenden “.

    

    Hinweis: Du kannst denselben Alias zu mehreren Modellen hinzufügen. Modelle desselben Anbieters dürfen nicht denselben Alias haben.

    Die hinzugefügten Verbindungen und Modelle werden auf der Registerkarte „Modellanbieter“ aufgelistet. Verwenden Sie das Suchfeld, um sie zu finden, und das Menü „Sortieren“, um sie nach den verfügbaren Kriterien zu sortieren.

Weitere Schritte

Sie können nun Anfragen über das Modell-Gateway an Modelle senden. Weitere Informationen finden Sie unter „Inferenz von Gateway-Modellen “. Sie können außerdem bestehende Verbindungen und Modelle verwalten, Lastenausgleich aktivieren, Zugriffsrichtlinien erstellen und Ratenbegrenzungen festlegen.