AI 편향이란 무엇인가요?

AI 편향이 해결되지 않으면 조직의 성공에 영향을 미치고 사람들의 경제 및 사회 참여 능력에 방해가 될 수 있습니다. 편향은 AI의 정확성을 떨어뜨리고, 따라서 잠재력을 감소시킵니다.

기업은 왜곡된 결과를 내놓는 시스템으로 이익을 얻기는 어렵습니다. AI 편향으로 인한 논란은 기존 고객과 잠재 고객 사이에 불신을 조성할 수 있습니다.

AI의 기반이 되는 모델은 학습된 방대한 데이터에 은밀하게 내재된 사회의 편견을 흡수합니다. 사회적 불평등을 반영하는 역사적으로 편향된 데이터 수집은 채용, 치안, 신용 점수 등 다양한 사용 사례에서 역사적으로 소외된 집단에게 피해를 줄 수 있습니다. Wall Street Journal에 따르면, "인공 지능의 사용이 보편화됨에 따라 기업은 여전히 만연한 편견 문제를 해결하기 위해 고군분투하고 있습니다."¹

왜곡된 결과는 조직과 사회 전반에 해를 끼칠 수 있습니다. 다음은 몇 가지 일반적인 AI 편향의 유형입니다.⁷

• 알고리즘 편향: 문제나 질문이 완전히 정확하거나 구체적이지 않거나 머신 러닝 알고리즘에 대한 피드백이 해결책을 찾는 데 도움이 되지 않는 경우 잘못된 정보가 발생할 수 있습니다.
  
  
• 인지 편향: AI 기술에는 인간의 입력이 필요하며 인간은 오류를 범할 수 있습니다. 실무자가 인지하지 못하는 사이에 개인적인 편견이 스며들 수 있습니다. 이는 데이터 세트나 모델 동작에 영향을 미칠 수 있습니다.
  
  
• 확증 편향: 인지 편향과 밀접한 관련이 있는 확증 편향은 AI가 데이터의 기존 믿음이나 추세에 지나치게 의존하여 기존 편향에 두 배로 의존하고 새로운 패턴이나 추세를 식별하지 못할 때 발생합니다.

• 배제 편향: 이러한 유형의 편향은 사용 중인 데이터에서 중요한 데이터가 누락되었을 때 발생하며, 개발자가 새롭고 중요한 요소를 파악하지 못해서 발생하는 경우가 많습니다.
  
  
• 측정 편향: 측정 편향은 불완전한 데이터로 인해 발생합니다. 이는 대부분 간과하거나 준비가 부족하여 고려해야 할 전체 모집단을 데이터 세트에 포함하지 못할 때 발생합니다. 예를 들어, 대학에서 성공적인 졸업의 요인을 예측하려 하지만 졸업생만 포함한다면, 중퇴의 원인이 되는 요인들은 완전히 배제될 것입니다.

• 집단 동질성 편향: 자신이 무엇을 모르는지 모르는 경우입니다. 사람들은 자신이 속한 그룹인 인그룹 구성원에 대해 더 잘 이해하고 아웃그룹 구성원보다 더 다양하다고 생각하는 경향이 있습니다. 그 결과 개발자는 학습 데이터에서 다수 집단에 속하지 않는 개인을 구별하지 못하는 알고리즘을 만들어 인종 편향, 오분류 및 오답을 초래할 수 있습니다.

• 편견 편향: 고정관념과 잘못된 사회적 가정이 알고리즘의 데이터 세트에 포함될 때 발생하며, 이는 필연적으로 편향된 결과를 초래합니다. 예를 들어, AI는 남성만 의사이고 간호사는 모두 여성이라는 결과를 반환할 수 있습니다.
  
  
• 회상 편향: 데이터 라벨링 중에 발생하며, 주관적인 관찰에 의해 레이블이 일관성 없이 적용될 때 발생합니다.
  
  
• 샘플/선택 편향: 머신 러닝 모델을 훈련하는 데 사용되는 데이터가 충분히 크지 않거나 대표성이 부족하거나 너무 불완전하여 시스템을 충분히 훈련할 수 없을 때 발생하는 문제입니다. AI 모델 학습을 위해 자문을 구한 모든 학교 교사의 학력이 동일하다면, 미래의 모든 교사도 동일한 학력을 갖춰야 할 것입니다.
  
  
• 고정관념 편향: 일반적으로 AI 시스템이 의도치 않게 해로운 고정관념을 강화할 때 발생합니다. 예를 들어, 언어 번역 시스템은 특정 언어를 특정 성별이나 민족적 고정관념과 연관시킬 수 있습니다. McKinsey는 데이터 세트에서 편견을 제거하려는 시도에 대해 경고하며 다음과 같이 설명합니다. "순진한 접근 방식은 데이터에서 보호 대상 속성(예: 성별이나 인종)을 제거하고 알고리즘에 편향을 일으키는 레이블을 삭제하는 것입니다. 하지만 이러한 방식은 삭제된 레이블이 모델의 데이터 이해도에 영향을 미쳐 결과의 정확도를 낮출 수 있어 효과적이지 않을 수도 있습니다."²

편향 함정을 피하기 위한 첫 번째 단계는 처음부터 한 걸음 물러서서 AI 작업에 대해 생각해 보는 것입니다. 거의 모든 비즈니스 과제에서 그렇듯이, 문제가 발생하고 나서야 손상된 결과를 정리하는 것보다 미리 문제를 해결하는 것이 훨씬 쉽습니다. 그러나 많은 조직이 성급하게 진행하며 단기적인 비용 절감에 집중하다가 오히려 더 큰 비용을 초래하는 우를 범하고 있습니다.

AI의 편견을 파악하고 해결하려면 AI 거버넌스, 즉 조직의 AI 활동을 지시, 관리, 모니터링할 수 있는 능력이 필요합니다. 실제로 AI 거버넌스는 AI 기술의 책임감 있는 개발과 사용을 안내하는 일련의 정책, 관행 및 프레임워크를 만듭니다. AI 거버넌스가 잘 수행되면 기업, 고객, 직원, 사회 전체는 균형 잡힌 혜택을 누릴 수 있습니다.

AI 거버넌스에는 공정성, 형평성 및 포용성을 평가하는 방법이 포함되는 경우가 많습니다. 사실과 반대되는 공정성과 같은 접근 방식은 모델의 성별, 인종 또는 성적 지향과 같은 민감한 속성이 포함된 경우에도 모델의 의사 결정에서 편향을 식별하고 공평한 결과를 보장합니다.

AI는 복잡하기 때문에 알고리즘은 알고리즘을 생성하는 데 사용된 데이터에 대한 인사이트가 거의 없는 블랙박스 시스템이 될 수 있습니다. 투명성 관행과 기술은 편향되지 않은 데이터를 사용하여 시스템을 구축하고 공정한 결과를 보장하는 데 도움이 됩니다. 고객의 정보를 보호하기 위해 노력하는 기업은 브랜드 신뢰를 구축하고 신뢰할 수 있는 AI 시스템을 만들 가능성이 더 높습니다.

또 다른 품질 보증 계층을 제공하려면 '휴먼 인 더 루프(Human-in-the-loop)' 시스템을 도입하여 옵션을 제공하거나 사람의 결정을 통해 승인할 수 있는 권장 사항을 제시하세요.

다음은 AI 프로그램이 편향되지 않도록 하는 6가지 프로세스 단계의 체크리스트입니다.

1. 올바른 학습 모델 선택: 지도 학습 모델을 사용할 경우, 이해관계자가 훈련 데이터를 선택합니다. 이해관계자 팀은 데이터 과학자뿐만 아니라 다양해야 하며, 무의식적인 편견을 방지하는 데 도움이 되는 교육을 받은 사람으로 구성하는 것이 중요합니다.
비지도 모델은 AI만 사용하여 편향을 식별합니다. 편향 방지 도구를 신경망에 구축하여 편향된 것을 인식하는 방법을 학습시켜야 합니다.

2. 올바른 데이터로 학습: 잘못된 데이터로 학습된 머신 러닝은 잘못된 결과를 생성합니다. AI에 입력되는 모든 데이터는 고려 대상 그룹의 실제 인구 통계를 재현할 수 있도록 완전하고 균형 잡힌 데이터여야 합니다.

3. 균형 잡힌 팀 선택: 인종, 경제 수준, 교육 수준, 성별, 업무 내용 등 AI 팀의 구성이 다양할수록 편견을 인식할 가능성이 높아집니다. 균형 잡힌 AI 팀을 구성하려면 AI 비즈니스 혁신가, AI 개발자, AI 구현 담당자, 그리고 해당 AI 프로젝트의 소비자를 대표하는 인력 등 다양한 인재와 관점이 포함되어야 합니다.³

4. 신중한 데이터 처리 수행: 기업은 데이터를 처리할 때 각 단계에서 편향성을 인식해야 합니다. 위험은 데이터 선택에만 있는 것이 아닙니다. 사전 처리, 처리 중, 사후 처리 등 어느 단계에서든 편향이 개입하여 AI에 영향을 미칠 수 있습니다.

5. 지속적인 모니터링: 어떤 모델도 완전하거나 영구적이지 않습니다. 조직 전체의 실제 데이터를 사용하여 지속적으로 모니터링하고 테스트하면 편향이 문제를 일으키기 전에 이를 감지하고 수정하는 데 도움이 될 수 있습니다. 편향을 더욱 방지하기 위해 조직은 조직 내부의 독립적인 팀이나 신뢰할 수 있는 제3자의 평가를 고려해야 합니다.

6. 인프라 문제 방지: 사람과 데이터의 영향 외에도 때로는 인프라 자체가 편향을 유발할 수 있습니다. 예를 들어, 기계 센서에서 수집한 데이터를 사용하는 경우 센서가 오작동하면 장비 자체가 편향을 주입할 수 있습니다. 이러한 종류의 편향은 감지하기 어려울 수 있으며 최신 디지털 및 기술 인프라에 대한 투자가 필요합니다.