AI에서 다양성이 중요하다는 점은 의견이 아니라 수치로 입증되는 사실입니다

우리 모두는 이상적인 인간 가치가 기술에 반영되기를 원합니다. 우리는 인공 지능(AI)과 같은 기술이 우리를 속이지 않고, 차별하지 않으며, 우리와 우리 아이들이 안전하게 사용할 수 있기를 기대합니다. 그러나 현재 많은 AI 제작자는 모델에 노출된 편향성, 부정확성, 문제가 있는 데이터 관행으로 인한 반발에 직면하고 있습니다. 이러한 문제에는 기술, 알고리즘 또는 AI 기반 솔루션 이상의 것이 필요합니다. 실제로는 총체적이고 사회 기술적인 접근 방식이 필요합니다.

AI를 포함한 모든 예측 모델은 다양한 인간 지능과 경험을 통합할 때 더 정확해집니다. 이는 의견이 아니라, 경험적으로 타당성이 있는 말입니다. 다양성 예측 정리를 생각해 보세요. 간단히 말해, 한 집단 내 다양성이 클수록 군중의 오류는 작아지며, 이는 '군중의 지혜'라는 개념을 뒷받침합니다. 영향력 있는 연구에 따르면, 다양한 저능력 문제 해결자 그룹이 고능력 문제 해결자 그룹보다 더 나은 성과를 낼 수 있는 것으로 나타났습니다(Hong & Page, 2004).

수학 용어로 설명하자면, 분산이 넓을수록 평균은 더 표준화됩니다. 방정식은 다음과 같습니다.

여기에서 나타내는 값
c = 군중의 평균 예측값
𝜽 = 실제 값
si = i번째 개인의 예측값
n = 개인의 수

추가 연구에서는 다른 구성원의 예측을 무시하고 최대로 다른 (음의 상관관계) 예측이나 판단을 한 구성원을 포함하는 등 현명한 군중의 통계적 정의를 세분화하는 더 많은 계산을 제공했습니다. 따라서 예측을 개선하는 것은 단순히 데이터의 양이 아니라 다양성입니다. 이 인사이트가 AI 모델 평가에 어떤 영향을 미칠 수 있을까요?

일반적인 격언을 인용하자면, 모든 모델은 틀렸습니다. 통계, 과학, AI 분야에서도 마찬가지입니다. 도메인 전문 지식이 부족한 상태로 생성된 모델은 잘못된 아웃풋으로 이어질 수 있습니다.

오늘날에는 소수의 동질적인 그룹이 생성형 AI 모델을 학습하는 데 사용할 데이터를 결정하며, 이러한 데이터는 영어를 지나치게 많이 대표하는 소스에서 추출합니다. "전 세계 6,000개 이상의 언어 중 대부분의 경우 사용 가능한 텍스트 데이터로는 대규모 파운데이션 모델을 학습하기에 충분하지 않습니다."(출처: "On the Opportunities and Risks of Foundation Models", Bommasani 외, 2022).

추가로, 모델 자체도 제한된 아키텍처에서 만들어집니다. “거의 모든 최첨단 NLP 모델은 이제 BERT, RoBERTa, BART, T5 등과 같은 몇 가지 파운데이션 모델 중 하나를 기반으로 조정되고 있습니다. 이러한 동질화는 활용도가 매우 높지만(파운데이션 모델을 개선하면 모든 NLP에 즉각적인 이점을 제공할 수 있음), 약점이기도 합니다. 모든 AI 시스템이 몇 가지 파운데이션 모델의 문제가 되는 편향성을 물려받을 수 있기 때문입니다(Bommasani 외)”

생성형 AI가 서비스를 제공하는 다양한 커뮤니티를 더 잘 반영하려면 훨씬 더 다양한 인간 데이터가 모델에 표현되어야 합니다.

모델 정확도 평가는 편향성 평가와 밀접한 관련이 있습니다. 모델의 의도는 무엇이며 누구를 위해 최적화된 모델인지 질문해야 합니다. 예를 들어 콘텐츠 추천 알고리즘과 검색 엔진 알고리즘의 혜택을 가장 많이 받는 대상이 누구인지 생각해 보세요. 이해관계자는 서로 다른 관심사와 목표를 가질 수 있습니다. 알고리즘과 모델에는 모델이 개선해야 하는 최소 오차, 즉 베이즈 오차에 대한 목표 또는 프록시가 필요합니다. 이러한 프록시는 대개 해당 분야의 전문 지식을 갖춘 전문가와 같은 사람입니다.

AI 규정과 실행 계획이 부상함에 따라 알고리즘 영향 평가 양식의 중요성이 점점 더 강조되고 있습니다. 이러한 양식의 목표는 AI 모델에 대한 중요한 정보를 캡처하여 모델 배포 전에 거버넌스 팀이 위험을 평가하고 해결할 수 있도록 하는 것입니다. 일반적인 질문은 다음과 같습니다.

• 모델의 사용 사례는 무엇인가요?
• 불공정한 영향으로 인한 위험은 무엇인가요?
• 공정성을 어떻게 평가하고 있나요?
• 모델을 설명 가능하게 만드는 방법은 무엇인가요?

좋은 의도로 설계되었더라도, 문제는 대부분의 AI 모델 소유자가 사용 사례에 대한 위험을 평가하는 방법을 이해하지 못한다는 것입니다. 흔히 "내 모델이 개인 식별 정보(PII)를 수집하지 않는데 어떻게 불공정할 수 있습니까?"라고 반문할 수 있습니다. 결과적으로 거버넌스 시스템이 위험 요소에 정확하게 플래그를 지정하는 데 필수적인 사항인 신중한 검토를 거쳐 양식을 작성하는 경우는 거의 없습니다.

따라서 솔루션의 사회 기술적 특성이 강조됩니다. 모델 소유자, 즉 개인에게 단순히 사용 사례가 해를 끼치는지 여부를 평가하기 위한 확인란 목록을 제공해서는 안 됩니다. 그 대신 필요한 것은 다양한 삶의 경험을 가진 사람들이 심리적 안정감을 제공하는 커뮤니티에 모여 불공정한 영향에 대해 꺼내기 어려운 대화를 나누는 것입니다.

IBM은 '클라이언트 제로' 접근 방식을 취하여 컨설팅 및 제품 주도 솔루션 전반에 걸쳐 IBM 고객을 위한 권장 사항과 시스템을 구현해야 한다고 생각합니다. 이 접근 방식은 윤리적 관행으로 확장되며, 이것이 바로 IBM이 신뢰할 수 있는 AI COE(Center of Excellence)를 설립한 이유입니다.

위에서 설명한 것처럼 AI의 영향을 적절하게 평가하려면 다양한 경험과 기술이 중요합니다. 그러나 AI 혁신가, 전문가, 저명한 엔지니어로 가득한 회사에서 COE(Center of Excellence)에 잠재 고객이 참여한다면 두려움을 느낄 수 있으므로 심리적 안정감을 주는 커뮤니티를 조성하는 것이 필요합니다. IBM은 “AI에 관심이 있으세요? AI 윤리에 관심이 있으세요? 이 테이블에 앉으세요”와 같은 문구로 이를 명확하게 전달합니다.

COE는 모든 수준의 실무자에게 AI 윤리 교육을 제공합니다. 동기식 학습(수업 환경에서 교사와 학생)과 비동기식 학습(자기 주도형) 프로그램이 모두 제공됩니다.

그러나 실무자들이 실제 프로젝트에서 다양한 분야의 글로벌 팀과 협력할 때 불공정한 영향을 더 잘 이해할 수 있도록 하는 것은 바로 COE의 응용 교육입니다. 또한 IBM의 Design for AI 그룹이 내부적으로, 그리고 고객과 함께 사용하는 디자인 사고 프레임워크를 활용하여 AI 모델의 의도치 않은 영향을 평가하고, 종종 소외되는 사람들을 최우선으로 고려합니다. (개인적 특성이 어떻게 사람들을 특권화하거나 소외시키는지에 대한 예는 Sylvia Duckworth의 Wheel of Power and Privilege를 참조하세요). IBM은 또한 오픈 소스 커뮤니티인 Design Ethically에 많은 프레임워크를 기부했습니다.

다음은 IBM이 이러한 프로젝트에 대해 공개적으로 발표한 몇 가지 보고서입니다.

• 기술 기반 채용을 위한 생성형 AI의 애플리케이션을 탐구하는 미국 상공회의소 재단과 IBM
• 타이타닉이 설명 가능한 AI에 대해 생각하는 데 기여한 방식

자동화된 AI 모델 거버넌스 도구는 AI 모델의 성능에 대한 중요한 인사이트를 수집하는 데 필수적입니다. 하지만 모델이 개발되어 생산에 들어가기 훨씬 전에 위험을 파악하는 것이 가장 좋습니다. 다양한 분야의 실무자들로 구성되며 사람들이 서로 다른 영향력에 대해 꺼내기 어려운 대화를 나눌 수 있는 안전한 공간을 제공하는 커뮤니티를 구축하면 원칙을 운영에 적용하고 책임감 있게 AI를 개발하는 여정을 시작할 수 있습니다.

실제로 AI 실무자를 채용할 때는 모델을 만드는 데 드는 노력의 70% 이상이 올바른 데이터를 큐레이션하는 데 사용된다는 점을 고려해야 합니다. 대표성을 가지면서도 동의하에 수집된 데이터를 수집하는 방법을 아는 사람을 고용하고 싶을 것입니다. 또한 도메인 전문가와 긴밀히 협력하여 올바른 접근 방식을 가지고 있는지 확인할 수 있는 사람이 필요합니다. 이러한 실무자가 겸손과 안목으로 AI를 책임감 있게 큐레이션하는 과제에 접근할 수 있는 감성 지능을 갖추도록 하는 것이 핵심입니다. 우리는 AI 시스템이 인간의 지능을 향상하는 것만큼이나 불평등을 악화시킬 수 있는 방식과 시기를 인식하는 방법을 학습하도록 의도적으로 노력해야 합니다.