상황 관련성 평가 지표

상황 관련성 지표는 모델이 검색하는 상황이 프롬프트에 명시된 질문과 얼마나 관련이 있는지를 측정합니다.

메트릭 세부사항

상황 관련성은 생성적 AI 품질 평가를 위한 검색 품질 측정 지표로, 검색 시스템이 관련 상황을 어떻게 평가하는지를 측정합니다.

범위

상황 관련성 지표는 생성적 AI 자산만을 평가합니다.

  • AI 자산의 유형 : 프롬프트 템플릿
  • 생성적 AI 작업 : 검색 증강 생성(RAG)
  • 지원 언어 : 영어

점수와 가치

상황 관련성 지표 점수는 검색된 상황이 프롬프트의 질문과 얼마나 관련이 있는지를 나타냅니다. 점수가 높을수록 문맥이 프롬프트의 질문과 더 관련이 있다는 것을 의미합니다. 여러 컨텍스트 변수가 존재하는 경우, 미세 조정된 모델로만 메트릭을 계산할 때 점수가 생성됩니다.

값의 범위 : 0.0-1.0

설정

  • 임계치 :
    • 하한: 0
    • 상한: 1