책임감 있는 AI에 대한 책임은 누구에게 있나요? 그 답은 여러분을 놀라게 할 수도 있습니다.

소싱, 조달 및 공급업체 관리(SVPM) 리더들은 소프트웨어와 계약서에 책임감 있는 AI 거버넌스를 포함하는 데 있어 많은 과제가 있습니다. 최근 Gartner 보고서에 따르면 AI 거버넌스 도입의 필요성을 간과하는 SPVM 리더들은 조직을 심각한 위험에 노출시키고 있다고 경고합니다.

Gartner는 "대부분의 소프트웨어 및 클라우드 공급업체 계약에는 책임감 있는 AI 제공에 대한 명확한 책임 조항이 없으며, 일부 계약에는 무책임한 AI 시스템 및 결과물에 대한 책임을 면책하는 조항까지 포함되어 있다"고 밝혔습니다.

저는 대규모 청중 앞에서 '조직 내에서 AI의 책임 있는 결과에 대한 책임은 누구에게 있을까요?'라는 질문을 던집니다. 그러면 가장 많이 나오는 세 가지 답변은 꽤 우려스럽습니다. 

가장 흔한 세 가지 답은 "아무도 아니다", "우리는 AI를 사용하지 않는다", "모두의 책임이다"입니다. 이 중 어느 것도 올바른 답이 아니며 모두 우려스러운 답변입니다.

첫 번째이자 가장 흔한 답변인 "AI 모델 결과에 대해 아무도 책임지지 않는다"는 것은 매우 심각한 문제입니다. 이는 변명의 여지가 없습니다. AI에 대해 아무런 책임이 없는 상태를 받아들여서는 안 되며, 받아들일 수도 없습니다. 

두 번째 답인 "우리는 AI를 사용하지 않는다"는 말은 이미 많은 기업용 소프트웨어 애플리케이션 라이선스에 AI가 포함되어 있다는 점을 고려하면 우스운 일입니다. 더 나아가 이는 조직이 자사 시스템 내에서 AI 사용 현황을 추적하지 않거나, 더 나쁜 경우 AI 사용의 적절성에 대해 직원들과 소통하지 않고 있다는 뜻입니다. 이는 심각한 문제입니다. 

그리고 마지막 답인 "모두의 책임이다"는 적어도 고귀한 답변입니다. AI 모델의 생애주기에 관여하는 모든 사람은 분명 책임이 있습니다. 하지만 모두가 거버넌스에 대한 책임이 있다고 하면, 실제로 누가 진정으로 책임을 지고 있는 것일까요? 모든 사람이 각자 거버넌스를 관리하면 괜찮다는 생각 이상의 체계적인 AI 책임 체계가 필요합니다.

분명 조직이 AI 책임을 어떻게 관리하고 있다고 생각하는 것과 실제 상황 사이에는 괴리가 있습니다. 조직이 실제로 책임을 지기 위해 필요한 것이 무엇인지 설명하겠습니다. 

AI 거버넌스와 윤리에 책임이 있는 사람들은 많은 요소를 관리해야 하며, 가장 중요한 것은 조직 내 가치 정렬입니다. 이는 이 작업이 개인과 조직 모두에게 얼마나 중요한지 동료들이 인식하도록 하는 것을 의미합니다. 이는 CEO나 이사회 차원의 지속적인 커뮤니케이션과 지원 없이는 항상 가능한 일이 아닙니다. AI 거버넌스 리더들은 CISO와 같은 동료들이 AI 투자 관련 회의에 참여할 수 있도록 지원해야 합니다. 

이러한 AI 거버넌스 리더들은 처음에는 발전을 저해하는 장애물로 인식될 수 있습니다. 충분한 지원과 권한을 가진 AI 거버넌스 리더들은 신뢰할 수 있는 모델 배포를 훨씬 빠르게 추진할 수 있는 종합적인 AI 거버넌스 플랫폼을 구축할 수 있습니다. 사전 승인된 데이터 세트와 검증된 프로세스를 통해 AI 솔루션 구축자는 조직이 이미 승인한 사용 사례, 데이터 및 방법을 사전에 알 수 있습니다.

가치 정렬 외에도 책임감 있는 AI 담당자 또는 팀은 조직의 AI 모델 재고를 추적해야 합니다. 보이지 않는 것은 관리할 수 없습니다. 따라서 조직이 구매하거나 구축한 AI 또는 머신 러닝(ML) 기능이 포함된 모든 것을 각 모델과 관련된 메타데이터와 함께 추적해야 합니다. 

이러한 메타데이터는 전통적으로 팩트시트 또는 AI 모델 카드라고 불리는 문서에 저장됩니다. 이 문서에는 모델의 목적, 책임자, 데이터 출처, 감사 항목, 감사 주기, 감사 결과 등이 명시되어야 합니다.

그다음으로는 이러한 AI 모델과 솔루션을 감사하여 기술이 의도한 대로 작동하고 있는지 모니터링할 수 있어야 합니다. 이는 공급업체가 제공하는 모델에 대해 계약상 책임을 묻는 데 있어 매우 중요한 고려 사항입니다.

그리고 규제 변화도 추적해야 합니다. AI 관련 규제 환경은 끊임없이 변화하고 있습니다. 많은 국가, 주, 도시에서는 AI 사용 및 위험과 관련된 법률을 제정하고 있으며, 지난해 EU는 'EU AI 법'을 도입했습니다. 이미 많은 기업과 정부 기관들이 잘못된 AI 모델로 인해 소송에서 패소한 사례도 있습니다.

'합법적이지만 끔찍한' 모델이 존재할 수 있다는 인식이 확산되고 있으며, 이는 AI 윤리까지 적극적으로 고민해야 함을 의미합니다. AI 윤리라는 주제를 다룰 때는 훌륭한 교육자의 역할을 해야 합니다. 

여러분을 대신해 모델을 구축하거나 구매하는 사람들이 조직의 윤리를 반영한 방식으로 작업하도록 가르칠 수 있어야 합니다.

'공정성'이라는 인간적 가치를 예로 들어보겠습니다. 우리 모두는 AI 모델이 공정하길 기대하지만, AI 모델에서 반영되는 공정성은 누구의 세계관일까요? 사회적으로 '공정성'에 대한 단일한 세계관이 존재한다고 합의할 수는 없습니다.

이는 문서상으로는 AI 거버넌스 및 윤리 프로그램 담당자가 AI 리터러시 프로그램까지 담당하게 된다는 뜻입니다. 

AI 리터러시 프로그램은 직원들에게 AI를 활용해 업무 생산성을 높이는 방법만 가르치는 것이 아닙니다. AI 리터러시는 조직이 AI와 어떤 관계를 맺고자 하는지 이해하는 것부터 시작해야 합니다. 이러한 리터러시 프로그램은 조직이 구축하거나 구매하는 모든 AI 솔루션에 반영되기를 기대하는 핵심 원칙을 소개합니다. 각 원칙을 어떻게 실질적으로 적용할지, 또는 다양한 수준의 리스크 속에서 어떻게 구현할지를 가르칩니다.

AI에 대한 신뢰를 구축하는 것은 순전히 기술적 문제가 아니라 사회적-기술적 문제이기 때문에 이러한 AI 리터러시 프로그램은 필연적으로 다학제적이어야 합니다. 인간의 가치를 반영하는 모델을 구축하는 것은 인간이 도전해온 일 중 가장 어려운 일 중 하나일 수 있습니다. 이를 위해서는 다양한 분야의 배경을 가진 사람들이 필요합니다.

AI에 대한 책임을 지는 것은 매우 중요한 일이며, 그렇기 때문에 이들은 상당한 권한과 예산 지원이 필요합니다. 이것은 단순한 부업으로 처리할 수 있는 일이 아닙니다. 이러한 문제를 제대로 해결하기 위해서는 많은 노력이 필요합니다. 모든 조직은 책임감 있는 방식으로 AI 책임을 위임하는 체계를 마련해야 합니다.

간단히 말해, 측정하는 인간 행동이 더 많이 나타납니다. 책임 있는 모델 관리와 관련하여 어떤 직원 행동을 장려하고 측정하고 있나요? 올바른 행동을 장려하고 측정하는 방법뿐만 아니라 AI 거버넌스 프로세스에 교육과 학습을 더 잘 통합하는 방법도 고려해보세요. 많은 이들이 AI 모델 인벤토리 양식을 작성할 때 신중하게 접근하도록 동기를 부여받지 못하거나, 더 나쁜 경우 자신이 지원하는 모델의 위험성조차 인식하지 못할 수 있습니다.

요약하자면, 다음과 같은 4가지 핵심 사항을 기억해 주시기 바랍니다.

1. 준비가 되었든 아니든, AI는 지금 이미 여러분의 조직에서 사용되고 있습니다. 조달한 AI 모델의 재고를 유지하든 재고를 유지하지 않든, 2026년까지 소프트웨어 공급업체의 80%가 엔터프라이즈 애플리케이션에 AI 모델을 내장할 것입니다. 선제적으로 대응하여 AI를 효과적으로 운영하고 관리할 수 있는 철저한 AI 전략을 수립하세요.
2. AI 거버넌스 리더에게는 충분한 예산과 권한이 필요합니다. 왜냐하면 AI 거버넌스는 막대한 노력이 필요한 업무이며 그 중요성이 점점 커지고 있기 때문입니다. 사람들에게 예산과 권한을 부여하세요.
3. AI를 윤리적으로 구현하고 인간 중심의 결과를 의도적으로 고려하세요. 우리는 우리가 사용하는 AI 모델이나 우리에게 적용되는 AI 모델이 인간의 가치를 반영하고, ‘거짓말’하지 않으며, 공정하고 안전하게 사용되기를 기대합니다. 이는 순전히 기술적인 과제가 아니라 사회적-기술적 과제임을 인식하세요. 이를 위해서는 포괄적인 접근과 인간 행동에 대한 전문성이 필요합니다.
4. AI의 리스크를 줄이는 데는 많은 노력이 필요합니다.확장형 AI에는 올바른 전략, 데이터, 아키텍처, 보안 및 거버넌스가 필요합니다. 공급업체와도 올바른 이해를 공유해야 합니다. 이를 바로잡고 실수가 발생하지 않도록 하기 위해 실용적인 파트너를 선택하세요.