Criando um recurso de modelo de base personalizado em um cluster habilitado para MIG
Para implantar um modelo de base personalizado em um cluster habilitado para MIG, você deve criar um ativo de repositório no Watson Machine Learning.
Requisitos para a seleção de tempos de execução e especificações de software
Para criar um ativo de modelo de fundação personalizado que possa ser implementado no tempo de execução " vLLM em um cluster com partição MIG, você deve usar a especificação de software " watsonx-cfm-caikit-1.1.
Criação de ativo de modelo de fundação personalizado a partir da interface do usuário
Para criar um ativo de modelo de fundação personalizado que possa ser implementado, você deve importar o ativo de modelo para o seu espaço de implementação. Você pode criar um ativo de repositório para o seu modelo de fundação personalizado a partir da interface do usuário em um cluster habilitado para MIG da mesma forma que criaria um ativo de modelo em um cluster habilitado para GPU.
Para obter mais informações, consulte Importação do ativo modelo em um espaço.
Criação de ativos de modelo de fundação personalizados com a API REST
Siga estas etapas para criar um ativo para seu modelo de base personalizado no repositório Watson Machine Learning:
Recupere a lista de modelos de fundação personalizados disponíveis, juntamente com os parâmetros globais do modelo e os valores padrão:
curl -X GET "https://<cluster url>/ml/v4/custom_foundation_models" \ -H "Authorization: Bearer $TOKEN"Crie um ativo de repositório Watson Machine Learning em seu projeto ou espaço de implantação usando a especificação de software '
watsonx-cfm-caikit-1.1.curl -X POST "https://<cluster url>/ml/v4/models?version=2024-01-29" \ -H "Authorization: Bearer $TOKEN" \ -H "content-type: application/json" \ --data '{ "name": "custom FM asset", "project_id": "replace_with_your_project_id", "foundation_model": { "model_id": "mistralai/Mistral-7B-Instruct-v0.2" }, "type": "custom_foundation_model_1.0", "software_spec": { "name": "watsonx-cfm-caikit-1.1" } }'