상호 순위 평가 지표

상호 순위 측정 기준은 첫 번째 관련 맥락의 상호 순위를 측정합니다.

메트릭 세부사항

상호 순위는 생성적 AI 품질 평가를 위한 검색 품질 측정 지표로, 검색 시스템이 관련 컨텍스트의 순위를 매기는 방식을 측정합니다. 검색 품질 지표는 LLM-as-a-judge 모델로 계산됩니다.

범위

상호 순위 측정 기준은 생성적 AI 자산만을 평가합니다.

  • AI 자산의 유형 : 프롬프트 템플릿
  • 생성적 AI 작업 : 검색 증강 생성(RAG)
  • 지원 언어 : 영어

점수와 가치

상호 순위 메트릭 점수는 관련 컨텍스트가 검색되었는지 여부와 순위를 나타냅니다. 점수가 높을수록 첫 번째 관련 문맥의 순위가 높다는 것을 의미합니다. 점수가 낮을수록 해당 문맥의 순위가 낮다는 것을 의미합니다.

  • 값의 범위 : 0.0-1.0
  • 최상의 점수 : 1.0
  • 비율:
    • 0: 관련 컨텍스트가 검색되지 않음
    • 1: 첫 번째 관련 문맥이 첫 번째 위치에 있습니다.

설정

  • 임계치 :
    • 하한: 0
    • 상한: 1