오탐률 차이 평가 지표
오탐률 차이 지표는 모델이 긍정적이라고 잘못 판단한 부정적 거래의 비율을 계산합니다.
메트릭 세부사항
오탐률 차이는 자산이 편향된 결과를 생성하는지 여부를 판단하는 데 도움이 되는 공정성 평가 지표입니다.
범위
오탐률 차이 지표는 생성적 AI 자산과 머신러닝 모델을 평가합니다.
- 인공지능 자산의 유형 :
- 프롬프트 템플리트
- 기계 학습 모델
- 생성적 AI 작업 : 텍스트 분류
- 머신 러닝 문제 유형 : 이분법적 분류
점수와 가치
위양성 비율 차이 지표 점수는 모니터링 대상 그룹과 참조 그룹의 위양성 비율 비율을 나타냅니다.
- 값의 범위 : 0.0-1.0
- 최상의 점수 : 0.0
- 비율:
- 0 미만: 모니터링 대상 그룹의 오탐률 감소
- 0시: 두 그룹의 확률은 동일합니다
- 0 이상: 모니터링 대상 그룹에서 오탐률 증가
평가 절차
위양성(false positive)과 위음성(false negative)의 차이를 계산하기 위해, 모니터링 대상 그룹과 참조 그룹에 대한 혼동 행렬이 생성되어 각 그룹의 위양성 및 위음성의 양을 파악합니다. 위양성 및 진양성 값은 각 그룹의 위양성 비율을 계산하는 데 사용됩니다. 모니터링 대상 그룹의 오탐률에서 참조 그룹의 오탐률을 빼서 오탐률 차이를 계산합니다.
계산법
다음 공식은 오탐률(FPR)을 계산하는 데 사용됩니다
다음 공식은 오탐률 차이를 계산하는 데 사용됩니다
