UI에서 튜닝된 모델 배포

프로시저

Tuning Studio 를 사용하여 튜닝 실험을 생성할 때, 결과로 얻은 튜닝된 모델을 바로 배포할 수 있습니다.

프로젝트에 튜닝 실험 자산으로 저장된 튜닝된 모델을 배포하려면 다음 단계를 완료하세요:

1. 프로젝트의 '자산' 탭에서 '실험' 자산 유형을 클릭하세요.

2. 배포하려는 모델의 튜닝 실험을 열려면 클릭하세요.

3. 튜닝된 모델 목록에서 완료된 튜닝 실험을 찾은 다음, 새 배포를 클릭합니다.

4. 조정된 모델의 이름을 지정하십시오.

   튜닝 실험의 이름을 변경하지 않으면, 해당 이름이 튜닝된 모델 이름으로 사용됩니다. 이름 뒤에 괄호 안에 숫자가 있는데, 이는 배포 횟수를 나타냅니다. 이 숫자는 1부터 시작하며, 이 튜닝 실험을 배포할 때마다 1씩 증가합니다.

   선택 사항 : 설명과 태그를 추가하세요.

5. 배포 컨테이너 의 경우 다음 옵션 중 하나를 선택하십시오:

   이 프로젝트

   최적화된 모델을 배포하고 프로젝트에 추가하여 테스트할 수 있습니다. 튜닝된 모델 배포를 언제든지 배포 공간으로 승격할 수 있습니다. 모델을 실제 운영 환경에 적용하기 전에 튜닝된 모델에 대한 추가 테스트를 수행하려면 이 옵션을 선택하십시오.

   배치 공간

   조정된 모델을 배포 공간으로 승격하고 조정된 모델을 배포합니다. 배포 공간은 자산을 생성하는 프로젝트와 별개입니다. 이 분리를 통해 여러 프로젝트의 자산을 하나의 공간으로 승격시키고, 하나의 공간 이상에 자산을 배포할 수 있습니다. 튜닝된 모델이 생산 환경으로 배포될 준비가 되었을 때 이 옵션을 선택하십시오.

   배포 공간은 IBM Cloud Object Storage 또는 Amazon S3 과 같은 클라우드 기반 객체 저장소와 연결됩니다.

   중요: 클라우드 기반 객체 저장소 연결을 위해서는 엔드포인트 URL 과 객체 저장소의 버킷에 대한 읽기 및 쓰기 권한을 가진 자격 증명을 제공해야 합니다.

   1. 대상 배포 공간 필드에서 배포 공간을 선택하십시오.

   배포 공간이 없다면 새 공간을 생성하십시오. 자세한 내용은 배포 공간 생성을 참조하십시오.

   1. 배포 서비스 이름 에 배포 레이블을 추가하십시오.

      이름은 최대 36자까지 입력할 수 있습니다. 지원되는 문자는 [ a-z,0-9,_]입니다.

      팁: 서빙 이름은 배포를 식별하는 API 엔드포인트의 URL 에서 사용됩니다. 사람이 읽을 수 있는 이름을 추가하는 것이 유용한 이유는, 지정된 이름이 자동 생성된 긴 시스템 생성 ID를 대체하기 때문입니다. 서비스 이름은 또한 배포를 서비스 인스턴스 세부 정보로부터 추상화합니다. 애플리케이션은 이 이름을 참조할 수 있으며, 이를 통해 사용자에게 영향을 주지 않고 기본 서비스 인스턴스를 변경할 수 있습니다.

6. 배포 프로세스가 완료된 후 튜닝된 모델을 쉽게 찾을 수 있도록 '생성 후 보기' 옵션을 선택하고 '배포'를 클릭하세요. 조정된 모델이 배포된 후, 조정된 모델의 사본이 모델 자산으로 프로젝트에 저장됩니다.

7. 최적화된 모델을 테스트하기 위한 배포를 추론하십시오.

   2.3.1 부터 텍스트 생성 API는 사용 중단되었으며 향후 제거될 예정입니다.

   배포 공간에서

   1. 프로젝트의 '배포' 탭에서 프로젝트에 배포된 모델 자산의 이름을 클릭하거나, 튜닝된 모델을 배포한 배포 공간의 이름을 클릭합니다.

   1. 테스트 탭을 클릭하세요.

   1. 입력 데이터 필드에 조정된 모델이 인식하도록 훈련된 프롬프트 패턴을 따르는 프롬프트를 추가한 후 생성을 클릭합니다. 모델에 기본적으로 적용되는 프롬프트 매개변수를 보려면 매개변수 설정 보기를 클릭할 수 있습니다. 프롬프트 매개변수를 변경하려면 Prompt Lab 로 이동해야 합니다.

   프로젝트에서

   1. 프로젝트에서 ' Prompt Lab 에서 열기'를 클릭하세요. 배포 공간에서 작업 중인 경우, 모델을 작업할 프로젝트를 선택하라는 메시지가 표시됩니다.

   1. '시도' 섹션에서 입력 필드에 조정된 모델이 인식하도록 훈련된 프롬프트 패턴을 따르는 프롬프트를 추가한 후 '생성'을 클릭하세요.

자세히 알아보기

• Prompt Lab
• 배치 영역