데이터의 편향

결함이 있는 데이터는 대표성이 없거나, 정보가 부족하거나, 역사적으로 편향되거나, "잘못된" 데이터로 특징지어집니다.¹ 이는 불공정한 결과를 낳고 데이터의 편향을 증폭시키는 알고리즘으로 이어집니다. 편향된 결과를 의사 결정을 위한 입력 데이터로 사용하는 AI 시스템은 시간이 지남에 따라 편향을 강화할 수 있는 피드백 루프를 생성합니다. 알고리즘이 동일한 편향된 패턴을 지속적으로 학습하고 영속화하는 이 주기는 점점 더 편향된 결과로 이어집니다. 

데이터가 잘못 분류되거나 평가되면 훈련 단계에서도 편향이 발생할 수 있습니다. 때로는 알고리즘이 인과관계가 아닌 데이터 상관관계를 '학습'할 수 있는데, 이는 알고리즘이 그 차이를 이해할 수 있는 능력이 없기 때문입니다. 이 경우 알고리즘의 아웃풋이 편향될 수 있는데, 이는 모델이 데이터에서 더 중요할 수 있는 다른 요소를 고려하지 못했기 때문입니다.

상관관계 편향의 일반적인 예로 상어 공격 증가와 아이스크림 판매 증가 사이의 인과 관계를 결정하는 가상의 모델을 들 수 있습니다. 실제로 두 상황은 모두 여름에 발생하는 경향이 있으며 이들은 상관관계만 있을 뿐입니다.

알고리즘 설계의 편향

알고리즘 설계에도 편향이 발생할 수 있습니다. AI 설계자가 의사 결정 과정에서 요소에 부당하게 가중치를 부여하는 것과 같은 프로그래밍 오류는 자신도 모르게 시스템으로 전이될 수 있습니다. 가중치는 실제 모집단을 더 잘 반영할 수 있도록 데이터를 조정하는 것이므로 편향을 피하기 위한 기술로 사용될 때가 많습니다. 그러나 설계자의 가정이 필요할 수 있으며, 이로 인해 부정확성이 발생하고 편향이 발생할 수 있습니다. 개발자는 자신의 의식적 또는 무의식적 편향에 기반한 주관적인 규칙을 알고리즘에 포함시킬 수도 있습니다.

프록시 데이터의 편향

AI 시스템은 때때로 프록시를 인종이나 성별과 같은 보호된 속성의 대용물로 사용합니다. 그러나 프록시는 대체하려는 민감한 속성과 잘못된 또는 우연한 상관관계가 있을 수 있으므로 의도하지 않게 편향될 수 있습니다. 예를 들어, 알고리즘이 우편번호를 경제적 지위의 대용물로 사용하는 경우 우편번호가 특정 인종 인구 통계와 연관된 특정 그룹에 불공평하게 불이익을 줄 수 있습니다.

평가의 편향

평가의 편향성은 알고리즘 결과가 객관적인 결과가 아닌 관련자의 선입견에 따라 해석될 때 발생합니다. 알고리즘이 중립적이고 데이터를 기반으로 한다 하더라도 개인이나 기업이 알고리즘의 아웃풋을 어떻게 이해하느냐에 따라 불공정한 결과를 초래할 수 있습니다.

차별과 불평등

편향된 알고리즘 결정은 소외된 집단이 직면한 기존의 사회적 격차를 강화하며, 이러한 인간의 편향은 AI 시스템에서 불공정하고 잠재적으로 해로운 결과를 초래합니다. 검색 엔진, 챗봇, 소셜 미디어 사이트와 같이 가장 일반적인 AI 애플리케이션은 그다지 중요하지 않은 것처럼 보일 수 있지만, 다른 AI 애플리케이션은 삶을 바꾸는 결정에 영향을 미칠 수 있습니다. 형사 사법, 의료, 채용과 같은 분야에서 편향된 AI 툴을 사용하면 치명적인 결과를 초래할 수 있습니다.

예를 들어, 과거 아프리카계 미국인이 소외되었던 이 역사는 미국 캘리포니아주 오클랜드의 과거 체포 데이터에 반영되어 있습니다. 이 데이터를 사용하여 현재의 예측 치안 알고리즘(PPA)을 학습시키면, PPA가 내린 결정은 과거의 인종 편견을 반영하고 강화할 가능성이 높습니다.

법적 및 평판 손상

편향된 AI 시스템을 사용하는 조직은 편향된 추천이 이질적인 영향을 미칠 수 있기 때문에 법적 결과와 평판 손상에 직면할 수 있습니다. 이는 중립적으로 보이는 정책과 관행이 인종, 종교, 성별 및 기타 특성에 따라 차별을 받기 쉬운 보호 계층의 개인에게 불균형적으로 영향을 미칠 수 있는 상황을 지칭하는 법적 용어입니다.

편향된 AI 결정으로 인해 부정적인 영향을 받는 보호 대상 그룹은 소송을 제기할 수 있으며, 이는 잠재적으로 상당한 재정적 책임, 장기적인 평판 손상 및 이해관계자의 비난으로 이어질 수 있습니다. 또한 조직은 해당 차별 금지법을 위반한 것으로 밝혀질 경우 금전적 처벌을 받을 수도 있습니다.

신뢰 약화

AI 툴의 편향된 결과는 다양한 방식으로 AI에 대한 신뢰를 떨어뜨립니다. 조직이 편향된 AI 시스템을 가지고 있는 것으로 판명되면 알고리즘 의사 결정 프로세스에 대해 더 이상 신뢰하지 않는 비즈니스 내 이해관계자의 신뢰를 잃을 수 있습니다. 또한 이러한 이해관계자들은 더 이상 AI의 최적화 가치가 위험보다 크다고 생각하지 않고 기술 전반에 대한 신뢰를 잃을 수도 있습니다.

알고리즘 편향으로 인해 고객의 신뢰가 떨어질 수도 있습니다. 특히 뉴스가 빠르게 확산되는 시대에는 단 한 건의 차별 사례만으로도 브랜드 평판이 망가질 수 있습니다. AI에 대한 신뢰는 물리적 세계에서 이미 편견과 차별을 경험하고 있는 유색인종과 같은 소외된 집단에게 특히 중요합니다.

형사 사법의 편향

미국 법원은 피고인의 재범 위험을 평가하기 위해 대체 제재를 위한 교정 범죄자 관리 프로파일링(COMPAS) 툴을 사용합니다. ProPublica의 연구에 따르면 툴 알고리즘이 백인 피고인과 흑인 피고인을 다르게 분류했을 가능성이 있는 것으로 나타났습니다. 예를 들어, 위험 평가에서 흑인 피고인은 백인 피고인보다 폭력 재범 위험이 높은 것으로 잘못 분류될 가능성이 두 배 더 높았습니다. 이 툴을 만든 회사는 이 분석에 대해 이의를 제기하고 있지만 위험 점수에 도달하는 데 사용된 방법을 공개하지는 않고 있습니다.²

예측 치안 정책의 편향

연구원들은 콜롬비아 보고타의 피해자 신고 데이터를 기반으로 자체 예측 치안 알고리즘을 구축했습니다. 이들은 이 모델의 예측을 실제 범죄 데이터 세트와 비교한 결과, 큰 오류를 발견했습니다. 예를 들어, 신고 건수가 많은 지역에서 범죄 발생률이 높은 위치를 실제보다 20% 더 많이 예측했습니다. 하지만 이는 흑인이 백인보다 범죄로 신고될 가능성이 더 높다는 사회적 편견을 반영한 것입니다.³

의료 분야의 편향

의료 분야에서는 데이터에서 소수 집단이 과소 대표되면 예측 AI 알고리즘이 왜곡될 수 있습니다. 예를 들어, 컴퓨터 지원 진단(CAD) 시스템은 흑인 환자보다 백인 환자의 경우 정확도가 낮은 결과를 반환하는 것으로 나타났습니다. 

채용의 편향
 

Amazon은 AI 채용 툴이 여성 지원자를 체계적으로 차별한다는 사실을 발견하고 툴 사용을 중단했습니다. 개발자들은 주로 남성이었던 과거 채용자들의 이력서를 사용하여 채용 알고리즘을 훈련시켰습니다. 그 결과, 알고리즘은 남성의 이력서에서 발견되는 키워드와 특성을 불공평하게 선호했습니다.⁴

금융 서비스의 편향

과거 데이터에는 신용도, 대출 승인 등에 영향을 미치는 인구통계학적 편견이 포함될 수 있으므로 금융 서비스 내 편향은 사람들의 생계에 심각한 결과를 초래할 수 있습니다. 예를 들어, 캘리포니아 버클리 대학의 연구에 따르면 모기지 대출을 위한 AI 시스템이 동일한 대출에 대해 백인 대출자에 비해 소수 인종 대출자에게 더 높은 금리를 부과하는 것으로 나타났습니다.⁵

이미지 생성의 편향

학계 연구자들은 AI 이미지 생성기 Midjourney에서 성별 편향을 발견했습니다. 100개 이상의 생성된 이미지를 분석하는 동안 결과에서 인종, 계급 및 연령 편향의 사례도 발견했습니다. 예를 들어, 전문 직종에 종사하는 사람들의 이미지를 만들어 달라는 요청에는 젊은 사람과 나이든 사람이 모두 등장했지만, 나이든 사람은 항상 남성으로 나타나 직장에서 여성의 역할에 대한 성별 편견이 심화되었습니다.⁶

얼굴 인식 시스템의 편향

MIT의 연구에 따르면 사진 속 얼굴을 매칭하는 데 사용되는 일부 범용 상용 얼굴 인식 시스템은 피부색이 어두운 사람을 인식하지 못하는 것으로 나타났습니다. 피부색이 어두운 여성의 경우 인식 능력이 저하되었습니다. 실제 인구 통계를 잘못 표현한 교육 데이터로 인해 결과가 왜곡되었습니다.⁷

가격 책정의 편향

시카고 법이 차량 호출 회사들에게 요금을 공개하도록 규정한 이후, 연구원들은 Uber와 Lyft의 가격 책정 알고리즘이 백인이 아닌 인구가 많은 지역에서 하차할 때 더 많은 비용을 부과한다는 것을 발견했습니다.⁸

다양하고 대표적인 데이터

머신 러닝의 효과는 머신 러닝을 훈련하는 데이터에 따라 달라집니다. AI가 서비스를 제공하는 다양한 커뮤니티를 더 잘 반영하려면 훨씬 더 다양한 인간 데이터가 모델에 표현되어야 합니다. 머신 러닝 모델과 딥 러닝 시스템에 입력되는 데이터는 포괄적이고 균형 잡힌 데이터여야 하며, 모든 그룹을 대표하고, 사회의 실제 인구 통계를 반영해야 합니다.

편향 탐지 및 완화

컴퓨터 시스템이 완전히 "훈련"되거나 "완성"되는 경우는 없습니다. 지속적인 모니터링과 테스트(영향 평가, 알고리즘 감사, 인과관계 테스트 등의 이니셔티브를 통해)는 잠재적인 편향성을 감지하고 문제를 일으키기 전에 수정하는 데 도움이 될 수 있습니다. '휴먼 인 더 루프' 시스템과 같은 프로세스에서는 또 다른 품질 보증 계층을 제공하기 위해 결정을 내리기 전에 사람이 권장 사항을 검토해야 합니다.

투명성 및 해석 가능성

AI 시스템은 결과를 이해하기 어렵게 만드는 "블랙박스"가 될 수 있습니다. 투명한 AI 시스템은 기본 알고리즘의 방법론과 이를 훈련시킨 사람을 명확하게 문서화하고 설명합니다. AI 시스템이 어떻게 학습되고 조정되는지, 어떻게 의사 결정을 내리는지 사람들이 더 많이 이해할수록 개별 이해관계자와 사회 전체가 AI의 정확성과 공정성을 더 신뢰할 수 있습니다.

포용적인 설계 및 개발  
 

포용적 AI는 인종, 경제 수준, 교육 수준, 성별, 직무 내용 및 기타 인구통계학적 메트릭에 따라 다양한 AI 프로그래머, 개발자, 데이터 과학자, ML 엔지니어 등으로 구성된 다양한 분야의 팀에서 시작됩니다. 설계 및 개발 내 다양성은 다양한 관점을 가져와 눈에 띄지 않을 수 있는 편견을 식별하고 완화하는 데 도움이 됩니다.