사용자 정의 파운데이션 모델의 속성 및 매개변수

사용자 정의 파운데이션 모델의 매개변수를 설정하고 조정하여 그 동작을 정의할 수 있습니다.

모델 모수

사용자 정의 파운데이션 모델을 등록할 때 다음 세부 정보를 입력해야 합니다:

필드 유형 필수 또는 선택사항 설명
model_id 문자열 필수 사용자 정의 기초 모델의 ID를 지정하십시오.
위치 오브젝트 필수 사용자 정의 기초 모델의 위치를 지정하십시오. 위치 속성을 참조하십시오.
태그 문자열 선택적 모델에 대한 추가 메타데이터를 제공하십시오.
매개변수 오브젝트 선택적 모델의 매개변수를 지정하십시오. 커스텀 파운데이션 모델에 대한 글로벌 매개변수 참조
함수 문자열 모델의 기능을 명시하십시오. 예를 들어, image_chat 또는 audio_chat입니다. 모델 카드에서 사용 가능한 기능을 먼저 확인해야 합니다.
해당 functions 필드가 지정되지 않은 경우, 모델은 기본적으로 텍스트 생성 및 텍스트 채팅(채팅 템플릿이 사용 가능한 경우)으로 설정됩니다:
  • 모델에 채팅 템플릿이 포함되어 있지 않은 경우, 기본 작업은 텍스트 생성입니다.
  • 모델에 채팅 템플릿이 포함된 경우 기본 작업은 텍스트 생성 및 텍스트 채팅입니다.

위치 속성

배포된 사용자 지정 파운데이션 모델의 위치를 설명하려면 다음 매개변수를 사용할 수 있습니다:

위치 유형 필수 또는 선택사항 설명
pvc_name 문자열 필수 이 매개변수를 사용하여 사용자 정의 파운데이션 모델이 저장된 지속적 볼륨 클레임(PVC)을 지정하십시오.
하위 경로 문자열 선택적 이 매개변수를 사용하여 PVC 내 모델의 하위 경로를 지정합니다.

사용자 정의 파운데이션 모델을 위한 글로벌 매개변수

중요:
  • 시계열 모델은 매개변수를 사용하지 않습니다. 사용자 지정 시계열 모델을 설정하거나 배포할 때 글로벌 매개변수를 제공하지 마십시오.
  • 사용자 지정 추론 런타임 이미지를 사용하는 모델은 배포 생성 단계에서 매개변수를 허용하지 않습니다. 이러한 매개변수는 런타임 정의를 생성할 때 또는 모델 등록 중에 설정해야 합니다.
  • 기본 모델 매개변수의 값은 다음 표에 명시된 범위 내에서 설정해야 합니다. 그렇게 하지 않으면 배포가 실패할 수 있으며 추론이 불가능해질 수 있습니다. 모델 매개변수의 기본값이 오류를 유발하는 경우, CR에서 watsonxaiifm 모델의 레지스트리를 수정하십시오.

사용자 정의 파운데이션 모델에 다음 글로벌 매개변수를 사용할 수 있습니다:

표 1. 모든 커스텀 파운데이션 모델에 대한 글로벌 매개변수
매개변수 유형 값 범위 기본값 설명
dtype 문자열 float16, bfloat16 float16 이 매개변수를 사용하여 모델의 데이터 유형을 지정하십시오.
max_new_tokens 숫자 max_new_tokens ≥ 20 2048 이 매개변수를 사용하여 추론 요청에 대해 모델이 생성할 수 있는 최대 토큰 수를 지정합니다.
max_sequence_length 숫자 max_sequence_length ≥ 20 및 max_sequence_length > max_new_tokens 2048 이 매개변수를 사용하여 모델의 최대 시퀀스 길이를 지정하십시오.

이러한 선택적 매개변수는 채팅 API를 보유하고 런타임 vLLM 엔진을 사용하는 모델에만 적용됩니다.

표 2. 채팅 API를 가진 모델에만 적용되는 글로벌 매개변수
매개변수 유형 값 범위 기본값 설명
tool_call_parser 문자열 모델과 일치하는 도구 파서 이름 해당사항 없음 추론 단계에서 사용자가 제공한 도구 목록에서 자동 선택을 가능하게 합니다. 사용 가능한 파서 목록은 문서 에서 vLLM 확인할 수 있습니다
chat_template 문자열 템플릿 파일 이름 해당사항 없음 모델과 함께 제공되는 표준 채팅 템플릿을 재정의합니다. 자세한 내용은 저장소 설정 및 모델 업로드 항목을 참조하십시오.

릴리스 5.2.2 부터 반복적 추론 시나리오에서 토큰 소비량 감소 및 추론 속도 향상을 보장하기 위해, vLLM 런타임 엔진을 사용하는 모델은 기본적으로 접두사 캐싱이 true 비활성화(off)로 설정됩니다. 사용 사례가 다르거나 높은 캐시 사용량 및 OOM(메모리 부족) 오류와 같은 문제를 경험하는 경우, 모델 매개변수에 enable_prefix_caching 매개변수를 추가하고 그 값을 로 설정하십시오 false.

사용자 정의 파운데이션 모델의 글로벌 매개변수 속성

사용자 정의 파운데이션 모델의 글로벌 매개변수에 다음 속성을 사용할 수 있습니다:

표 3. 사용자 정의 파운데이션 모델의 글로벌 매개변수 속성
특성 유형 필수 또는 선택사항 설명
name 문자열 필수 이 속성을 사용하여 매개변수의 이름을 지정합니다.
default 문자열, 숫자, 부울 필수 이 속성을 사용하여 매개변수의 기본값을 지정합니다.
min 숫자 선택적 이 속성을 사용하여 매개변수의 최소값을 지정합니다. 값은 min 입력된 값보다 작거나 같아야 합니다.
max 숫자 선택적 이 속성을 사용하여 매개변수의 최대값을 지정합니다. 값은 max 입력된 값보다 크거나 같아야 합니다.
options 문자열, 숫자 선택적 이 속성을 사용하여 매개변수에 대해 선택할 옵션 목록을 지정합니다. 옵션 값의 유형은 매개변수 값과 동일해야 합니다. 선택된 값은 반드시 목록 options 내에서 선택되어야 합니다.
중요:
  • 표준 추론 런타임을 사용하는 모델의 경우:
    • 모델 등록 단계에서 기본 매개변수를 설정하지 않으면, 배포 생성 단계에서 기본 매개변수가 자동으로 설정됩니다. 그런 다음 업데이트 중에 이를 재정의할 수 있습니다.
    • 모델 등록 단계에서 기본 모델 매개변수를 설정하면, 생성 단계 및 업데이트 중에 이를 재정의할 수 있습니다.
    • 시계열 모델은 어떤 매개변수도 취하지 않습니다. 사용자 정의 시계열 모델을 배포할 때는 매개변수를 제공하지 마십시오. 사용자 지정 시계열 모델을 배포할 때 매개변수를 제공하더라도, 해당 매개변수는 아무런 영향을 미치지 않습니다.
  • 사용자 지정 추론 런타임 이미지를 사용하는 모델은 배포 생성 단계에서 설정된 매개변수를 무시합니다. 이러한 매개변수는 런타임 정의를 생성할 때 또는 모델 등록 중에 설정해야 합니다. 또한 허용되는 매개변수 목록은 표준 추론 런타임을 사용하는 모델에서 사용하는 매개변수 목록과 다를 수 있습니다.