추상성 평가 지표

추상성 측정 기준은 생성된 텍스트의 추상성을 식별하기 위해 기초 모델의 원본 콘텐츠에 나타나지 않는 생성된 텍스트 출력의 n-그램 비율을 측정합니다.

메트릭 세부사항

추상성은 생성적 AI 품질 평가를 위한 콘텐츠 분석 지표로, 생성적 AI 모델의 출력을 모델 입력 또는 컨텍스트와 비교하여 평가하는 데 도움이 될 수 있습니다.

범위

추상성 지표는 생성적 AI 자산만을 평가합니다.

  • AI 자산의 유형 : 프롬프트 템플릿
  • 생성적 AI 작업 :
    • 텍스트 요약
    • 증강 검색 생성(RAG)
  • 지원 언어 : 영어

점수와 가치

추상성 지표 점수는 출력물에서 확인된 추상성의 수준을 나타냅니다. 점수가 높을수록 산출물의 추상성이 높음을 의미합니다.

  • 값의 범위 : 0.0-1.0

설정

  • 임계치 :
    • 하한: 0
    • 상한: 1