공정성 산정
공정성 평가를 산출하는 데 사용되는 개념을 이해하십시오.
편향은 어떻게 계산되는가
공정성 모니터의 알고리즘은 페이로드 로깅 테이블에 존재하는 최신 N 레코드를 사용하여 시간 단위로 편향을 계산하며, 이 값은 공정성 N 모니터를 구성할 때 지정됩니다. 이 알고리즘은 데이터 내 예상 결과의 차이를 평가하기 위해 ‘섭동(perturbation)’이라는 기법을 적용합니다.
이 교란은 참조 그룹의 특징 값을 모니터링 그룹의 값으로, 또는 그 반대로 변경합니다. 섭동된 데이터는 작동을 평가하기 위해 모니터로 전송됩니다. 이 알고리즘은 페이로드 테이블의 마지막 N 레코드와 변형된 데이터에 대한 모델의 반응을 분석하여, 모델 결과가 편향을 나타내는지 여부를 판단합니다.
공정성 모니터를 구성할 때 지정한 임계값만큼, 모니터링 대상 그룹의 긍정적 결과 비율이 기준 그룹의 긍정적 결과 비율보다 낮을 경우 해당 모델은 편향된 것으로 간주됩니다.
공정성 값이 100%를 초과할 수 있다는 점에 유의하십시오. 이 계산 결과는 모니터링 대상 그룹이 기준 그룹보다 더 유리한 결과를 얻었음을 의미합니다. 또한, 새로운 채점 요청이 전송되지 않으면 공정성 값은 변하지 않습니다.
균형 잡힌 데이터와 완벽한 평등
균형 잡힌 데이터 세트의 경우, 다음 개념이 적용됩니다:
- 최적의 평등 값을 산출하기 위해, 모니터링 대상 그룹 거래의 각 특징 값을 참조 그룹의 모든 값으로 변경하여 참조 그룹 거래를 합성합니다. 이러한 새로 생성된 가상 거래 내역은 기준 그룹 거래 내역 집합에 추가된 후 모델에 의해 분석됩니다.
예를 들어, 모니터링 대상 속성이 SEX 이고 모니터링 대상 그룹이 인 경우 FEMALE, 모든 FEMALE 트랜잭션이 MALE 트랜잭션으로 중복 생성됩니다. 다른 기능의 값은 변경되지 않습니다. 이러한 새로 생성된 MALE 거래 내역은 원래의 MALE 기준 그룹 거래 내역 집합에 추가됩니다.
- 긍정적인 결과의 비율은 새로운 기준 집단을 기준으로 산정됩니다. 이 비율은 모니터링 대상 그룹에 있어 완벽한 공정성을 나타냅니다.
- 또한, 모니터링 대상 그룹의 트랜잭션은 각 참조 그룹 트랜잭션의 참조 특징 값을 모니터링 대상 그룹의 값으로 변경하여 종합됩니다. 이러한 새로 생성된 가상 거래들은 모니터링 대상 그룹 거래 집합에 추가되어 모델에 의해 분석됩니다.
감시 대상 기능이 이고 SEX 감시 대상 그룹이 인 경우 FEMALE, 모든 MALE 트랜잭션이 FEMALE 트랜잭션으로 중복 생성됩니다. 다른 기능의 값은 변경되지 않습니다. 이러한 새로 생성된 FEMALE 거래 내역은 원래 FEMALE 모니터링되던 그룹 거래 내역 집합에 추가됩니다.
완벽한 평등을 계산하기
완전한 등식을 계산하는 데는 다음 수학적 공식이 사용됩니다:
Perfect equality = Percentage of favorable outcomes for all reference transactions,
including the synthesized transactions from the monitored group
예를 들어, 모니터링 대상 특징이 SEX 이고 모니터링 대상 그룹이 인 경우 FEMALE, 다음 공식은 완벽한 등식을 나타냅니다:
Perfect equality for `SEX` = Percentage of favorable outcomes for `MALE` transactions,
including the synthesized transactions that were initially `FEMALE` but changed to `MALE`
공정성 평가를 구성하면 모델의 공정성을 평가하기 위한 일련의 지표를 생성할 수 있습니다. 공정성 지표를 활용하면 모델이 편향된 결과를 산출하는지 확인할 수 있습니다.
예측 열의 데이터 유형 변환
공정성 모니터링의 경우, 예측 레이블이 범주형임에도 불구하고 예측 열에는 정수형 수치만 허용됩니다. 예측 열의 데이터 유형 변환이 가능합니다.
예를 들어, 훈련 데이터에는 “대출 거절”, “대출 승인”과 같은 클래스 레이블이 포함될 수 있습니다. IBM 의 Watson Machine Learning 스코어링 엔드포인트에서 반환되는 예측 값에는 “ 0.0 ”, “ 1.0 ”와 같은 값이 포함됩니다. 점수 산출 결과에는 예측 결과를 텍스트로 표시한 선택적 열도 포함되어 있습니다. 예를 들어, prediction=1.0 인 경우, ‘ predictionLabel ’ 열의 값은 “Loan Granted”일 수 있습니다. 해당 열이 있는 경우, 모델의 승인 및 거절 결과를 설정할 때 문자열 값 “대출 승인”과 “대출 거절”을 지정하십시오. 해당 열이 없는 경우, 유리한 클래스와 불리한 클래스에 대해 각각 1.0 및 0.0 의 정수형 및 실수형 값을 명시해야 합니다.
IBM Watson Machine Learning IBM 의 Watson Machine Learning 스코어링 엔드포인트 출력 스키마와 각 열의 역할을 정의하는 출력 스키마 개념이 있습니다. 이러한 역할은 예측값이 포함된 열, 예측 확률이 포함된 열, 클래스 레이블 값 등을 식별하는 데 사용됩니다. 모델 빌더를 사용하여 생성된 모델의 경우 출력 스키마가 자동으로 설정됩니다. IBM, Watson Machine Learning, Python 클라이언트를 사용하여 설정할 수도 있습니다. 사용자는 출력 스키마를 사용하여 예측 결과를 문자열 형식으로 포함하는 열을 정의할 수 있습니다. 해당 열의 modeling_role 값을 ‘decoded-target’으로 설정하십시오. IBM Watson Machine Learning Python 클라이언트에 대한 문서는 다음 주소에서 확인할 수 있습니다: https://ibm.github.io/watsonx-ai-python-sdk/core_api.html#repository. 출력 스키마를 확인하려면 “OUTPUT_DATA_SCHEMA”를 검색하세요. 사용해야 할 API 호출은 OUTPUT_DATA_SCHEMA를 매개변수로 받는 store_model 호출입니다.
100%를 초과하는 공정성 점수의 해석
공정성 구성에 따라 공정성 점수는 100퍼센트를 넘을 수 있습니다. 이는 모니터되는 그룹이 참조 그룹과 비교하여 상대적으로 보다 "공정한" 결과를 얻음을 의미합니다. 기술적으로 이는 모델이 반대 방향에서 불공정함을 의미합니다.