영역에서 분리된 배치 평가

UI에서 독립형 프롬프트 템플릿 생성

사용자 인터페이스에서 바로 분리형 프롬프트 템플릿을 생성할 수 있습니다. 분리된 프롬프트 템플릿을 사용하면 배포 리소스와는 별개로 프롬프트를 평가할 수 있습니다.

프로시저:

1. 배포 공간에서 [ 자산] 탭을 클릭한 다음 [새 자산] > [거버넌스를 위한 외부 AI 자산 준비]를 선택합니다.

2. 분리된 프롬프트 템플릿에 대한 세부 정보를 입력하세요.

   필수 필드:

   • 이름: 분리된 프롬프트 템플릿의 이름을 입력하세요.
   • 프롬프트 템플릿 URL : 제공자가 지원하는 경우, 해당 프롬프트에 대한 URL.
   • 파운데이션 모델 URL : 모델 문서 또는 추가 자료 링크.
   • 파운데이션 모델 이름: 파운데이션 모델의 이름
   • 파운데이션 모델 ID: 프로비저닝된 모델의 고유 식별자로, 대개 ARN 또는 이와 동등한 형식으로 제공됩니다.
   • 작업 유형: 프롬프트 템플릿이 수행하는 작업 유형을 선택합니다.

3. 선택 사항: 프롬프트를 입력하세요.

   ‘프롬프트’ 섹션에 평가에 사용할 기본 프롬프트를 입력하세요. 이 프롬프트는 대규모 언어 모델이 처리할 지시사항이나 질문을 정의합니다.

4. 디코딩 방법을 선택하세요:

   • Greedy: 각 단계에서 가장 가능성이 높은 다음 토큰을 생성합니다.
   • 표본 추출: 생성 과정에 무작위성을 도입합니다.

5. 프롬프트 변수 정의 (생성 시 선택 사항, 평가 시 필수)

   ‘프롬프트 변수’ 섹션에서 프롬프트에 사용할 변수를 정의합니다. 변수는 평가 과정에서 프롬프트에 삽입되는 키-값 쌍입니다. 템플릿을 생성할 때는 이러한 변수가 필수는 아니지만, 템플릿을 평가하려면 적어도 하나의 변수를 지정해야 합니다.

6. 분리된 프롬프트 템플릿을 검토하고 생성합니다. 필수 입력란이 모두 채워졌는지 확인한 후, ‘생성’을 클릭하여 분리된 프롬프트 템플릿을 저장합니다.

API를 사용하여 독립형 프롬프트 템플릿 만들기

다음 예제는 API를 사용하여 분리형 프롬프트 템플릿을 만드는 방법을 보여줍니다:

{
    "name": "prompt name",
    "description": "prompt description",
    "model_version": {
        "number": "2.0.0.7",
        "tag": "my prompt tag",
        "description": "my description"
    },
    "prompt_variables": {
        "var1": {},
        "var2": {}
    },
    "task_ids": [
        "retrieval_augmented_generation"
    ],
    "input_mode": "detached",
    "prompt": {
        "model_id": "",
        "input": [
            [
                "Some input",
                ""
            ]
        ],
        "data": {},
        "external_information": {
            "external_prompt_id": "external prompt",
            "external_model_id": "external model",
            "external_model_provider": "external provider",
            "external_prompt": {
                "url": "https://company.com?asd=a&32=1",
                "additional_information": [
                    {
                        "additional_key": "additional settings"
                    }
                ]
            },
            "external_model": {
                "name": "An external model",
                "url": "https://company.com?asd=a&32=1"
            }
        }
    }
}

AI 유스 케이스에서 분리된 프롬프트 템플리트를 추적하는 경우 분리된 배치가 유스 케이스에 추가됩니다.

평가 실행

프롬프트 템플릿 평가를 실행하려면 배포 영역에서 ‘자산’ 탭을 클릭하세요. ‘분리된 프롬프트 템플릿’ 메뉴를 클릭한 다음 ‘평가’를 클릭하세요.

배포 공간에 대해 관리자 또는 편집자 역할이 할당된 경우에만 평가를 실행할 수 있습니다.

배포 공간과 연결된 watsonx.governance 인스턴스가 없는 경우, 인스턴스를 선택하라는 메시지가 표시됩니다. ‘서비스 인스턴스 연결’ 대화 상자에서 ‘서비스 인스턴스 연결’을 클릭합니다. 사용할 ‘ watsonx.governance ’ 인스턴스를 선택한 다음 ‘서비스 인스턴스 연결’을 선택합니다. 인스턴스를 연결하려면 배포 공간에 대해 관리자 역할이 할당되어 있어야 합니다.

watsonx.governance 인스턴스와 연관된 데이터베이스가 없는 경우 평가를 실행하기 전에 데이터베이스도 연관시켜야 합니다. 데이터베이스를 연관시키려면 필요한 데이터베이스 대화 상자에서 데이터베이스 연관 을 클릭하여 데이터베이스에 연결해야 합니다. 데이터베이스를 연관시키려면 배치 영역 및 watsonx.governance 인스턴스에 대한 Admin 역할이 지정되어야 합니다.

차원 선택

프롬프트 템플리트 평가 마법사는 프롬프트와 연관된 태스크 유형에 대해 평가할 수 있는 차원을 표시합니다. 차원을 펼쳐서 선택한 차원을 평가하는 데 사용되는 메트릭 목록을 볼 수 있습니다.

Watsonx.governance 는 기본 설정을 사용하여 각 차원에 대한 평가를 자동으로 구성합니다. 다른 설정으로 평가를 구성 하려면 고급 설정 을 선택하여 다음 예제에 표시된 대로 각 지표에 대한 최소 샘플 크기 및 임계값을 설정할 수 있습니다.

테스트 데이터 선택

입력값과 예상 모델 출력값이 포함된 참조 열이 있는 테스트 데이터가 담긴 ` CSV ` 파일을 업로드해야 합니다. 분리된 배포 평가를 수행하려면 업로드하는 테스트 데이터에 라는 generated_text 열에 모델 출력값이 포함되어 있어야 합니다.

업로드가 완료되면, 프롬프트 변수를 테스트 데이터의 해당 열에 매핑해야 합니다.

검토 및 평가

프롬프트 태스크 유형, 업로드된 테스트 데이터 및 실행되는 평가 유형에 대한 선택사항을 검토할 수 있습니다. 평가를 실행하려면 평가 를 선택해야 합니다.

평가 결과 검토

평가가 완료되면 watsonx.governance 의 평가 탭에서 평가 결과의 요약을 검토하여 모델 성능에 대한 통찰을 얻을 수 있습니다. 요약은 프롬프트 템플리트 평가에 대한 기본 점수 임계값 위반 및 메트릭 점수의 개요를 제공합니다.

결과를 분석하려면 프롬프트 템플릿 평가 결과 옆의 화살표를 클릭하여 시간 경과에 따른 결과 데이터를 시각화한 내용을 확인할 수 있습니다. 또한 프롬프트 템플리트 평가 중에 기본적으로 실행되는 모델 상태 평가의 결과를 분석하여 모델이 데이터를 얼마나 효율적으로 처리하는지 이해할 수 있습니다.

조치 메뉴에서는 결과를 분석하는 데 도움이 되는 다음 옵션도 제공합니다.

• 지금 평가: 다른 테스트 데이터 세트를 사용하여 평가 실행
• 모든 평가: 시간 경과에 따라 결과가 변경되는 방식을 이해하기 위해 평가의 히스토리를 표시합니다.
• 모니터 구성: 평가 임계값 및 샘플 크기를 구성합니다.
• 모델 정보 보기: 배치 환경이 설정되는 방법을 이해하기 위해 모델에 대한 세부사항을 보십시오.

평가 활성화

프롬프트 템플릿 평가를 실행하려면 배포 영역에서 ‘자산’ 탭을 클릭하세요. ‘분리된 프롬프트 템플릿’ 메뉴를 클릭한 다음 ‘평가’를 클릭하세요.

배포 공간에 대해 관리자 또는 편집자 역할이 할당된 경우에만 평가를 실행할 수 있습니다.

배포 공간과 연결된 watsonx.governance 인스턴스가 없는 경우, 인스턴스를 선택하라는 메시지가 표시됩니다. ‘서비스 인스턴스 연결’ 대화 상자에서 ‘서비스 인스턴스 연결’을 클릭합니다. ‘인스턴스 연결’ 평가 창에서 사용하려는 ‘ watsonx.governance ’ 인스턴스를 선택한 다음, ‘서비스 인스턴스 연결’을 선택하여 해당 인스턴스를 배포 공간에 연결합니다. 인스턴스를 연관시키려면 배치 영역에 대한 관리자 역할이 지정되어 있어야 합니다.

watsonx.governance 인스턴스와 연관된 데이터베이스가 없는 경우 평가를 실행하기 전에 데이터베이스도 연관시켜야 합니다. 데이터베이스를 연관시키려면 필요한 데이터베이스 대화 상자에서 데이터베이스 연관 을 클릭하여 데이터베이스에 연결해야 합니다. 데이터베이스를 연관시키려면 배치 영역 및 watsonx.governance 인스턴스에 대한 Admin 역할이 지정되어야 합니다.

차원 선택

프롬프트 템플리트 평가 마법사는 프롬프트와 연관된 태스크 유형에 대해 평가할 수 있는 차원을 표시합니다. 피드백 데이터에 지정하는 참조 출력에 대한 레이블 열 이름을 제공할 수 있습니다. 차원을 펼쳐서 선택한 차원을 평가하는 데 사용되는 메트릭 목록을 볼 수도 있습니다.

Watsonx.governance 는 기본 설정을 사용하여 각 차원에 대한 평가를 자동으로 구성합니다. 다른 설정으로 평가를 구성 하려면 고급 설정 을 선택하여 다음 예제에 표시된 대로 각 지표에 대한 최소 샘플 크기 및 임계값을 설정할 수 있습니다.

검토 및 평가

프롬프트 태스크 유형 및 실행되는 평가 유형에 대한 선택사항을 검토할 수 있습니다. 페이로드 스키마 보기 또는 피드백 스키마 보기 를 선택하여 열 이름이 프롬프트 템플리트의 프롬프트 변수 이름과 일치하는지 유효성을 검증할 수도 있습니다. 평가를 실행하려면 활성화 를 선택해야 합니다.

평가 결과를 생성하려면 조치 메뉴에서 지금 평가 를 선택하여 평가 요약 페이지가 표시될 때 테스트 데이터 가져오기 창을 여십시오.

테스트 데이터 가져오기

‘테스트 데이터 가져오기 ’ 창에서 ‘페이로드 데이터 업로드’ 또는 ‘피드백 데이터 업로드’를 선택하여, 페이로드 및 피드백 스키마의 열과 일치하는 레이블이 지정된 열이 포함된 ` CSV ` 파일을 업로드할 수 있습니다.

평가 결과 검토

평가가 완료되면 watsonx.governance 의 평가 탭에서 평가 결과의 요약을 검토하여 모델 성능에 대한 통찰을 얻을 수 있습니다. 요약은 프롬프트 템플리트 평가에 대한 기본 점수 임계값 위반 및 메트릭 점수의 개요를 제공합니다.

결과를 분석하려면 프롬프트 템플릿 평가 결과 옆의 화살표를 클릭하여 시간 경과에 따른 결과 데이터를 시각화한 내용을 확인할 수 있습니다. 또한 프롬프트 템플리트 평가 중에 기본적으로 실행되는 모델 상태 평가의 결과를 분석하여 모델이 데이터를 얼마나 효율적으로 처리하는지 이해할 수 있습니다.

조치 메뉴에서는 결과를 분석하는 데 도움이 되는 다음 옵션도 제공합니다.

• 지금 평가: 다른 테스트 데이터 세트를 사용하여 평가 실행
• 모니터 구성: 평가 임계값 및 샘플 크기를 구성합니다.
• 모델 정보 보기: 배치 환경이 설정되는 방법을 이해하기 위해 모델에 대한 세부사항을 보십시오.

AI 사용 사례에서 분리형 배포를 추적하는 경우, 모델에 대한 세부 정보와 평가 결과가 팩트시트에 기록되며 이를 확인할 수 있습니다.