개인 식별 정보(PII) 평가 지표
PII 지표인 ‘입력 PII’와 ‘출력 PII’는 Watson 의 자연어 처리(NLP) 엔티티 추출 모델을 활용하여 모델의 입력 또는 출력 데이터에 개인 식별 정보(PII)가 포함되어 있는지 여부를 측정합니다.
메트릭 세부사항
입력 PII와 출력 PII는 모델의 입력 또는 출력에 유해하거나 민감한 정보가 포함되어 있는지 파악하는 데 도움이 되는 데이터 안전성 지표입니다.
범위
PII 지표는 생성형 AI 자산만을 측정합니다.
- AI 자산의 유형 : 프롬프트 템플릿
- 생성적 AI 작업 :
- 텍스트 요약
- 컨텐츠 생성
- 질문 응답
- 검색 증강 생성(RAG)
- 지원 언어 아랍어(ar), 덴마크어(da), 영어(en), 프랑스어(fr), 독일어(de), 이탈리아어(it), 일본어(ja), 한국어(ko), 포르투갈어(pt), 스페인어(es).
점수와 가치
PII 지표 점수는 입력 또는 출력 데이터에 포함된 개인 식별 정보의 비율을 나타냅니다. 점수가 높을수록 입력 또는 출력 데이터에 개인 식별 정보가 포함된 비율이 높음을 의미합니다.
- 값의 범위 : 0.0-1.0
- 최상의 점수 : 0.0
기록 수준 계산
레코드 수준 최대 점수는 레코드 수준에서 허용되는 최대 PII 점수입니다. 이 기준치를 초과하는 점수를 받은 모든 기록은 개인 식별 정보가 포함된 것으로 간주됩니다.
- 기록 수준의 최대 점수 : 기본값: 0.5
- 값의 범위 : 0.0-1.0
- 최상의 점수 : 0.0
- 평가 논리 :
- 기록의 PII 점수가 기록 수준 최대 점수보다 높을 경우, 해당 기록은 PII를 포함하는 것으로 표시됩니다.
- 레코드의 PII 점수가 레코드 수준 최대 점수 이하인 경우, 해당 레코드는 검사를 통과합니다.
종합 점수 산정
종합 점수는 평가 단계에서의 PII 점수입니다.
- 임계값 상한 : 기본값: 0.0
- 값의 범위 : 0.0-1.0
- 최상의 점수 : 0.0
- 평가 논리 :
- 전체 PII 점수 = (최대 점수를 초과하는 레코드 수 / 처리된 총 레코드 수) × 100
단,- 최대 점수를 초과하는 레코드 수 : 레코드 수준 최대 점수보다 높은 PII 점수를 가진 레코드의 개수
- 처리된 레코드 총수 : 평가된 레코드 총수
- 그런 다음 산출된 종합 점수를 해당 지표의 기준치와 비교하여, 전체 평가 결과가 규정 준수 기준을 위반하는지 여부를 판단합니다.
- 종합 점수 < 기준값 → 위반 없음 (합격)
- 종합 점수가 임계값 이상인 경우 → 위반 사항 감지됨 (개인 식별 정보 감지됨)
- 전체 PII 점수 = (최대 점수를 초과하는 레코드 수 / 처리된 총 레코드 수) × 100
예
다음 예시는 ‘입력 PII’ 지표에 대한 레코드 단위 계산과 전체 계산 방식을 모두 보여줍니다.
구성
- 역대 최고 점수 : 0.40
- 개인 식별 정보(PII) 입력 기준 상한선 : 0.1
시나리오
평가 과정에서는 다음과 같은 분포를 가진 100개의 레코드를 처리합니다:
- 1건의 기록에 대해 PII 점수가 0.45 입니다
- 99건의 기록에 대해 PII 점수가 0.1 미만입니다
단계별 계산
위반 기록을 확인하십시오 :
- 점수가 0.45 인 레코드 1개가 있으며, 이는 0.40 (레코드 수준 최대 점수)보다 큽니다: PII 위반
- 점수가 0.1: 미만인 99개의 레코드 통과
위반 기록 총계 : 1건
종합 점수 계산 :
- 종합 점수 = (1 / 100) × 100 = 1%
임계값과 비교 :
- 종합 점수: 1%
- 개인식별정보(PII) 지표 상한값 입력: 10%
- 1% < 10% → 위반 없음
결과 표시
사용자 인터페이스에는 다음과 같은 결과가 표시됩니다:
- 점수 : 1%
- 위반 현황 : 없음
결과에 따르면, 한 건의 기록이 기록 수준 최고 점수를 초과하기는 했으나, 전체 데이터 세트는 입력된 개인 식별 정보(PII)에 대한 허용 가능한 범위 내에 있는 것으로 나타났습니다.
설정
입력 PII 및 출력 PII 지표는 다음 설정을 사용합니다:
- 임계값 :
- 상한 :
- 기본값: 0
- 상한 :
- 역대 최고 점수
- 기본값: 0.5