Einrichten des Modell-Gateways

Das Modell-Gateway stellt eine API bereit, die mit OpenAI kompatibel ist und Inferenzanfragen an verschiedene Anbieter Foundation-Modell weiterleitet.

Erforderliche Berechtigungen

: Um das Modell-Gateway in „ watsonx “ einzurichten, benötigen Sie eine der folgenden Berechtigungen:

  • Administratorplattform
  • Konfigurationen verwalten

Vorbereitende Schritte

  1. Stellen Sie sicher, dass die Modell-Gateway-Komponente von einem Instanzadministrator in Ihrem Cluster installiert wurde. Weitere Informationen finden Sie unter „ watsonx.ai installieren“ in der Dokumentation zu „ IBM “ unter Software Hub.

  2. Richten Sie einen Secret-Manager ein. Sie können „ IBM “, „ Software Hub Vault“ oder einen externen Secret-Manager verwenden. Wenn Sie einen externen Secret-Manager verwenden:

    • Sie müssen eine Verbindung zu dieser Seite herstellen: IBM Software Hub.
    • Der externe Schlüsselmanager muss vom Typ Hashicorp sein.

    Weitere Informationen finden Sie unter „Verwalten von Geheimnissen und Tresoren “.

Weitere Schritte

Richten Sie das Modell-Gateway auf die von Ihnen bevorzugte Weise ein: