충실도 평가 지표
충실도 측정 기준은 모델 출력이 모델 맥락에 얼마나 근거를 두고 있는지를 측정하고, 맥락에서 기여도를 제공하여 모델 출력에 기여하는 가장 중요한 문장을 보여줍니다. 속성은 미터법이 미세 조정된 모델로만 계산될 때 제공됩니다.
메트릭 세부사항
충실도는 모델 답변의 품질을 측정하는 데 도움이 되는 생성적 AI 품질 평가의 답변 품질 지표입니다. 답변 품질 지표는 LLM-as-a-judge 모델로 계산됩니다.
범위
충실도 지표는 생성적 AI 자산만을 평가합니다.
- AI 자산의 유형 : 프롬프트 템플릿
- 생성적 AI 작업 : 검색 증강 생성(RAG)
- 지원 언어 : 영어, 일본어, 스페인어
점수와 가치
신뢰도 지표 점수는 모델 출력이 모델 컨텍스트에 얼마나 근거를 두고 있는지를 나타냅니다. 점수가 높을수록 산출물이 더 근거가 있고 환각이 적다는 것을 의미합니다.
- 값의 범위 : 0.0-1.0
- 최상의 점수 : 1.0
설정
- 임계치 :
- 하한: 0
- 상한: 1