Configuración de la pasarela modelo
La puerta de enlace modelo proporciona una API compatible con OpenAI y reenvía las solicitudes de inferencia a diferentes proveedores de modelos base.
Permisos necesarios
: Para configurar la puerta de enlace del modelo en watsonx, debe disponer de uno de los siguientes permisos:
- Plataforma del administrador
- Gestionar configuraciones
Antes de empezar
Asegúrese de que un administrador de instancias haya instalado el componente de puerta de enlace del modelo en su clúster. Para obtener más información, consulta la sección «Instalación de watsonx.ai » en la documentación de IBM Software Hub.
Configura un gestor de claves secretas. Puedes utilizar un almacén de IBM Software Hub o un gestor de secretos externo. Si utilizas un gestor de secretos externo:
- Debes conectarte a él desde IBM Software Hub.
- El gestor de secretos externo debe ser del tipo Hashicorp.
Para obtener más información, consulta «Gestión de secretos y almacenes ».
Cómo continuar
Configura la pasarela del modelo como prefieras: