Configuration de la passerelle modèle
La passerelle modèle fournit une API compatible avec OpenAI et transmet les demandes d'inférence à différents fournisseurs de modèles de base.
Autorisations requises
: Pour configurer la passerelle modèle dans watsonx, vous devez disposer de l'une des autorisations suivantes :
- Plateforme d'administration
- Gérer les configurations
Avant de commencer
Assurez-vous que le composant de passerelle modèle a bien été installé dans votre cluster par un administrateur d'instance. Pour plus d'informations, consultez la section « Installation d' watsonx.ai » dans la documentation d' IBM, disponible à l'adresse Software Hub.
Mettez en place un gestionnaire de secrets. Vous pouvez utiliser IBM, un coffre-fort Software Hub ou un gestionnaire de secrets externe. Si vous utilisez un gestionnaire de secrets externe :
- Vous devez vous y connecter depuis IBM Software Hub.
- Le gestionnaire de secrets externe doit être de type Hashicorp.
Pour plus d'informations, consultez la section « Gestion des secrets et des coffres-forts ».
Etape suivante
Configurez la passerelle du modèle selon la méthode de votre choix :