MIG 지원 클러스터에서 사용자 지정 파운데이션 모델 자산 생성

MIG 지원 클러스터에 사용자 지정 파운데이션 모델을 배포하려면 Watson Machine Learning 리포지토리 자산을 만들어야 합니다.

런타임 및 소프트웨어 사양 선택을 위한 요구 사항

MIG 파티션이 있는 클러스터에서 ' vLLM 런타임에 배포할 수 있는 사용자 지정 파운데이션 모델 에셋을 만들려면 ' watsonx-cfm-caikit-1.1 소프트웨어 사양을 사용해야 합니다.

사용자 인터페이스에서 사용자 지정 파운데이션 모델 에셋 만들기

배포할 수 있는 사용자 지정 파운데이션 모델 에셋을 만들려면 모델 에셋을 배포 공간으로 가져와야 합니다. GPU 지원 클러스터에서 모델 에셋을 생성하는 것과 동일한 방식으로 MIG 지원 클러스터의 사용자 인터페이스에서 사용자 지정 기초 모델에 대한 리포지토리 에셋을 생성할 수 있습니다.

자세한 내용은 스페이스로 모델 에셋 가져오기를 참조하세요.

REST API로 사용자 지정 파운데이션 모델 에셋 만들기

다음 단계에 따라 Watson Machine Learning 리포지토리에서 사용자 지정 기초 모델용 에셋을 생성할 수 있습니다:

  1. 글로벌 모델 매개변수 및 기본값과 함께 사용 가능한 사용자 지정 파운데이션 모델 목록을 검색합니다:

    curl -X GET "https://<cluster url>/ml/v4/custom_foundation_models" \
-H "Authorization: Bearer $TOKEN"

  2. ' watsonx-cfm-caikit-1.1 소프트웨어 사양을 사용하여 프로젝트 또는 배포 공간에서 Watson Machine Learning 리포지토리 에셋을 생성하세요.

    curl -X POST "https://<cluster url>/ml/v4/models?version=2024-01-29" \
-H "Authorization: Bearer $TOKEN" \
-H "content-type: application/json" \
--data '{
   "name": "custom FM asset",
   "project_id": "replace_with_your_project_id",
   "foundation_model": {
      "model_id": "mistralai/Mistral-7B-Instruct-v0.2"
   },
   "type": "custom_foundation_model_1.0",
   "software_spec": {
      "name": "watsonx-cfm-caikit-1.1"
   }
}'

자세히 알아보기