프롬프트 템플리트 추적
AI 유스 케이스의 프롬프트 템플리트를 추적하여 자산에 대한 팩트를 캡처하고 공유하여 통제 및 준수 목표를 충족하는 데 도움을 줍니다.
프롬프트 템플리트 추적
프롬프트 템플리트는 기초 모델의 저장된 프롬프트 입력입니다. 프롬프트 템플리트는 다른 옵션으로 실행할 수 있도록 변수를 포함할 수 있습니다. 예를 들어, project-X에 대한 미팅 노트를 요약하는 프롬프트가 있는 경우, project-Y에 대해 동일한 프롬프트를 실행할 수 있도록 변수를 정의할 수 있습니다.
저장된 프롬프트 템플리트를 AI 유스 케이스에 추가하여 프롬프트 템플리트의 세부사항을 추적할 수 있습니다. 프롬프트 템플리트 작성 정보 및 소스 모델 세부사항에 대한 세부사항을 기록하는 것 외에도, 팩시밀리는 성능 메트릭을 캡처하기 위해 프롬프트 템플리트 평가에서 정보를 추적합니다. 프롬프트 템플리트 추적을 시작하기 전이나 후에 프롬프트 템플리트를 평가할 수 있습니다.
시작하기 전에
프롬프트 템플리트를 추적하기 전에 이러한 조건이 충족되어야 합니다.
- 프로ンプ트 템플릿이 포함된 프로젝트 또는 배포 공간의 관리자 또는 편집자 권한을 가져야 합니다.
- 프롬프트 템플리트에는 하나 이상의 변수가 포함되어야 합니다. 자세한 정보는 재사용 가능 프롬프트 빌드를 참조하십시오.
AI 유스 케이스에서 프롬프트 템플리트를 추적하는 방법을 보려면 이 비디오를 시청하십시오. 동영상은 watsonx 홈 화면에서 시작됩니다. 사용자는 AI 사용 사례에서 요청 또는 모델 추적을 선택한 다음 새 AI 사용 사례를 선택합니다.
이 비디오는 이 문서의 개념 및 태스크를 학습하기 위한 시각적 방법을 제공합니다.
AI 사용 사례에서 프롬프트 템플릿 추적하기
프로젝트 또는 배포 공간에서 AI 사용 사례에 프롬프트 템플릿을 추가할 수 있습니다.
- 관리하려는 프롬프트 템플릿이 포함된 프로젝트 또는 배포 공간을 엽니다.
- 자산의 작업 메뉴에서 'AI 사용 사례 추적'을 클릭하세요.
프롬프트 템플릿의 추적을 시작하면 해당 템플릿은 잠기며 더 이상 편집할 수 없습니다. 변경하려면 새 프롬프트 템플릿을 생성해야 합니다. - 기존 접근 방식을 선택하거나 새 접근 방식을 작성하십시오. 접근 방식은 완전한 솔루션의 한 가지 측면을 나타냅니다. 각 접근 방식은 동일한 접근 방식으로 모든 자산에 대한 버전 세트를 작성합니다.
- 버전 번호 지정 스킴을 선택하십시오. 접근 방식의 모든 자산은 공통 버전을 공유합니다. 다음 중에서 선택하십시오.
- 시범 -자주 업데이트하려는 경우.
- 안정적 -자산이 빠르게 변경되지 않는 경우입니다.
- 새 버전 번호를 시작하려면 사용자 정의 를 선택하십시오. 버전 번호 지정은 major.minor.patch스키마를 따라야 합니다.
추적이 사용으로 설정되면 유스 케이스의 모든 협업자가 프롬프트 템플리트에 대한 세부사항을 검토할 수 있습니다.
프롬프트 템플리트의 각 라이프사이클 단계에 대한 세부사항이 캡처됩니다.
- 개발 은 프롬프트 자체, 작성 날짜, 사용되는 기초 모델, 프롬프트 매개변수 세트 및 정의된 변수를 포함하여 프롬프트 정의 방법에 대한 정보를 제공합니다.
- Validate는 프롬프트 템플릿 평가를 통해 얻은 차원 메트릭을 표시합니다.
- 작동 은 생산적인 사용을 위해 프롬프트 템플리트를 배치하는 방법과 관련된 세부사항을 제공합니다.
프롬프트 템플릿 추적에 대한 요구 사항
사용자 인터페이스에서 거버넌스를 위한 프롬프트 템플릿을 관리하기 위한 다음 요구 사항을 고려하세요.
- 모델 배포를 만든 프로젝트 또는 공간에서 모델 배포를 참조하는 프롬프트 템플릿의 배포는 모델 배포를 만든 프로젝트 또는 공간에서만 만들 수 있습니다. 배포된 모델을 참조하는 템플릿을 스페이스로 승격하면 모델 자산의 사본이 스페이스에 자동으로 추가됩니다. 프롬프트 템플릿을 배포하기 전에 해당 공간에 모델을 배포해야 합니다.
- 배포된 모델을 참조하는 프롬프트 템플릿을 내보내는 경우 연결된 모델 자산이 프롬프트 템플릿과 함께 자동으로 내보내집니다. 템플릿을 새 컨테이너로 가져오면 모델도 함께 가져옵니다. 프롬프트 템플릿을 배포하기 전에 모델을 새 컨테이너에 배포해야 합니다.
추적된 프롬프트 템플리트의 패싯 시트 보기
연관된 패싯 시트를 보려면 AI 유스 케이스에서 프롬프트 템플리트의 이름을 클릭하십시오.
프롬프트 템플리트의 패싯 시트는 다음 유형의 데이터를 수집합니다.
- 통제 는 AI 유스 케이스의 이름, 설명, 접근 방식 이름 및 버전 데이터와 같은 기본 정보를 수집합니다.
- 기초 모델 은 기초 모델의 이름, 라이센스 ID및 모델 공개자를 표시합니다.
- 프롬프트 템플리트 는 프롬프트 이름, ID, 프롬프트 입력 및 변수를 표시합니다.
- 프롬프트 매개변수 는 디코딩 방법 및 중지 기준을 포함하여 프롬프트 템플리트에 대한 구성 옵션을 수집합니다.
- 테스트 결과는 프롬프트 템플릿 평가 데이터(경고 및 메트릭 포함)를 표시합니다. 예를 들어, 이 팩트시트는 개발 단계에 대한 생성형 AI 품질 지표의 결과를 보여줍니다. 평가 결과 14건의 임계값 경보가 발생했습니다:
- 추가 세부 정보는 프롬프트 템플릿에 대한 더 많은 정보를 보여줍니다.
- 첨부 는 유스 케이스를 지원하는 첨부에 대한 정보를 표시합니다.
라이프사이클 단계를 통해 프롬프트 템플리트 이동
프롬프트 템플리트가 추적되면 프롬프트 템플리트를 작성하고 적절한 메트릭에 대해 성능을 평가하여 세부사항을 볼 수 있습니다. 라이프사이클의 다음 단계는 프롬프트 템플리트를 _유효성 검증 하는 것입니다. 여기에는 새 데이터로 프롬프트 템플리트를 테스트하는 작업이 포함됩니다. 자산 유효성 검증을 담당하는 프롬프트 엔지니어인 경우 다음 단계를 수행하여 프롬프트 템플리트의 유효성을 검증하고 연관된 패싯 시트에서 유효성 검증 데이터를 캡처하십시오.
- 프롬프트 템플릿이 포함된 프로젝트에서 해당 프로젝트를 압축된 ZIP 파일로 내보내십시오.
- 새 프로젝트를 작성하고 내보낸 ZIP 파일로 채우십시오.
- 유효성 검증 데이터를 업로드하고 프롬프트 템플리트를 평가한 후 결과를 유효성 검증 프로젝트에 저장하십시오.
- 프로젝트에서 프롬프트 템플리트를 프로덕션 단계로 지정된 기존 또는 새 배치 영역으로 승격하십시오. 스테이지는 공간 생성 시 할당되며 업데이트할 수 없습니다. 따라서 사용 가능한 프로덕션 공간이 없다면 새 공간을 생성하십시오.
- 프롬프트 템플리트를 배치 영역으로 승격한 후 연속 모니터링을 구성할 수 있습니다.
- 프로덕션 공간에서 프롬프트 템플리트 모니터링의 세부사항은 AI 유스 케이스의 운영 라이프사이클 단계에 표시됩니다.
외부에서 호스팅되는 대규모 언어 모델에서 분리된 프롬프트 템플릿 추적하기
거버넌스 프로세스의 일부로 IBM 생성하거나 호스팅하지 않는 생성형 AI 모델에 대한 프롬프트 템플릿을 추적할 수 있습니다. 예를 들어 Google Vertex AI 모델, Azure OpenAI 모델 또는 AWS Bedrock 모델에 대한 프롬프트 템플릿을 평가할 수 있습니다. 외부 호스팅 모델에 대한 분리된 프롬프트 템플릿을 만들고 프로젝트 또는 스페이스에 저장하는 방법을 알아보려면 비 IBM 파운데이션 모델에 대한 프롬프트 템플릿 평가하기를 참조하세요.
평가 결과를 살펴보려면 배포 공간에서 분리된 배포를 만들어 원격 프롬프트 템플릿에 연결한 다음 작업 유형에 대한 치수를 사용하여 분리된 프롬프트 템플릿을 평가할 수 있습니다. 자세한 내용은 외부 프롬프트에 대한 분리된 배포 만들기를 참조하세요.
프롬프트 템플릿을 제품이나 스페이스에 저장한 후에는 watsonx.ai 기초 모델에서 프롬프트 템플릿을 추적하는 것과 동일한 방식으로 사용 사례에서 이를 추적합니다.
이 예는 AI 사용 사례에서 추적 중인 분리된 프롬프트 템플릿을 보여줍니다.
분리된 프롬프트 템플릿에 대한 팩트시트를 보면 소스 모델이 호스팅되는 위치에 대한 정보가 표시됩니다.
자세히 알아보기
- 빠른 시작: 프롬프트 템플리트 평가 및 추적 학습서에 따라 샘플 프롬프트 템플리트를 평가하고 추적하십시오.
- 프로덕션을 위한 프롬프트 템플리트 준비에 대한 세부사항은 프롬프트 템플리트 배치 를 참조하십시오.
- 정확성과 같은 차원에 대한 프롬프트 템플리트를 평가하거나 혐오스럽거나 욕설이 있는지 테스트하는 방법에 대한 세부사항은 프롬프트 템플리트 평가 를 참조하십시오.