AI 거버넌스란 무엇인가요?

효과적인 AI 거버넌스는 혁신과 신뢰를 촉진하면서 편향, 개인정보 침해 및 오용과 같은 위험을 해결하는 감독 메커니즘을 포함합니다. AI 거버넌스에 대한 윤리적 AI 중심 접근법은 AI 개발자, 사용자, 정책 입안자 및 윤리학자를 포함한 광범위한 이해관계자들이 참여해야 하며 AI 관련 시스템이 사회의 가치에 맞게 개발되고 사용되도록 보장합니다.

AI 거버넌스는 인간 개입으로 인해 AI 생성 및 유지 관리에 발생하는 내재적 결함을 해결합니다. AI는 사람이 만든 고도로 엔지니어링된 코드와 머신 러닝(ML)의 산물이기 때문에 인간의 편견과 오류에 취약하며, 이로 인해 개인에게 차별과 기타 피해가 발생할 수 있습니다.

거버넌스는 이러한 잠재적 위험을 완화하기 위한 구조화된 접근 방식을 제공합니다. 이러한 접근 방식에는 건전한 AI 정책, 규제 및 데이터 거버넌스가 포함될 수 있습니다. 이를 통해 머신 러닝 알고리즘을 모니터링, 평가 및 업데이트하여 결함이 있거나 유해한 결정을 방지하고 데이터 세트가 잘 훈련되고 유지되도록 할 수 있습니다.

또한 거버넌스는 잠재적인 부정적인 영향으로부터 보호하기 위해 AI 행동을 윤리적 기준 및 사회적 기대에 맞추는 데 필요한 감독을 확립하는 것을 목표로 합니다.

AI 거버넌스는 AI 기술을 개발하고 적용하는 데 있어 규정 준수, 신뢰, 효율성을 달성하는 데 필수적입니다. AI가 조직 및 정부 운영에 점점 더 많이 통합되면서 AI가 부정적인 영향을 미칠 수 있는 가능성이 더욱 가시화되었습니다. 실제로 IBM 기업가치연구소(IBV)의 미공개 연구에 따르면 비즈니스 리더의 80%가 AI 설명 가능성, 윤리, 편견 또는 신뢰를 생성형 AI 도입의 주요 장애물로 보고 있습니다.

Microsoft AI 챗봇이 소셜 미디어에서 대중의 상호작용을 통해 유해한 행동을 학습한 Tay 챗봇 사건과 COMPAS 소프트웨어의 편향된 선고 결정과 같은 유명한 실수로 인해 피해를 방지하고 대중의 신뢰를 유지하기 위한 건전한 거버넌스의 필요성이 강조되었습니다.

이러한 사례는 AI가 적절한 감독 없이 심각한 사회적, 윤리적 해를 끼칠 수 있음을 보여주며 첨단 AI와 관련된 위험을 관리하는 데 있어 거버넌스의 중요성을 강조합니다. AI 거버넌스는 가이드라인과 프레임워크를 제공함으로써 기술 혁신과 안전의 균형을 유지하여 AI 시스템이 인간의 존엄성이나 권리를 침해하지 않도록 보장하는 것을 목표로 합니다.

투명한 의사 결정과 설명 가능성은 AI 시스템을 책임감 있게 사용하고 신뢰를 구축하는 데에도 매우 중요합니다. AI 시스템은 어떤 광고를 표시할지 결정하는 것부터 대출 승인 여부를 결정하는 것까지 항상 결정을 내립니다. AI 시스템이 의사 결정을 내리는 방식을 이해하여 그 결정에 책임을 지고 공정하고 윤리적으로 의사 결정을 내릴 수 있도록 하는 것이 중요합니다.

또한 AI 거버넌스는 일회성 규정 준수를 보장하는 것이 아니라 장기간 윤리적 기준을 유지하기 위한 것입니다. AI 모델이 드리프트 현상을 겪으면 출력 품질과 신뢰성이 변할 수 있습니다. 현재 거버넌스의 추세는 단순한 법적 준수를 넘어 AI의 사회적 책임을 보장함으로써 재정적, 법적, 평판적 피해로부터 보호하는 동시에 기술의 책임 있는 성장을 촉진하는 방향으로 나아가고 있습니다.

AI 거버넌스의 예는 조직과 정부가 AI 기술의 책임 있는 사용을 보장하기 위해 구현하는 다양한 정책, 프레임워크 및 관행에서 찾을 수 있습니다. 다음의 예는 다양한 상황에서 AI 거버넌스가 어떻게 적용되는지 보여줍니다.

일반 데이터 보호 규정(GDPR): 개인 데이터 보호 및 개인정보 보호와 관련이 깊은 AI 거버넌스의 예입니다. GDPR이 AI에만 초점을 맞춘 것은 아니지만 많은 조항이 AI 시스템, 특히 유럽 연합 내 개인의 개인 데이터를 처리하는 시스템과 깊이 관련되어 있습니다.

경제협력개발기구(OECD): 40여 개국이 채택한 OECD AI 원칙은 AI 시스템의 투명성, 공정성, 책임성 등 신뢰할 수 있는 AI를 위한 책임 있는 관리를 강조합니다.

AI 윤리 이사회: 많은 기업이 윤리 이사회 또는 위원회를 설립하여 AI 이니셔티브를 감독하고 AI가 윤리 기준과 사회적 가치에 부합하는지 확인하고 있습니다. 예를 들어, 2019년부터 IBM의 AI 윤리 이사회는 새로운 AI 제품 및 서비스가 IBM의 AI 원칙에 부합하는지 검토하고 있습니다. 이러한 이사회는 법률, 기술 및 정책적 배경을 가진 교차 기능 팀으로 구성되는 경우가 많습니다.  

엔터프라이즈급 조직에서 CEO와 고위 경영진은 궁극적으로 조직이 AI 라이프사이클 전반에 걸쳐 건전한 AI 거버넌스를 적용하도록 보장할 책임이 있습니다. 법률 및 법무 고문은 법적 위험을 평가하고 완화하여 AI 애플리케이션이 관련 법률 및 규정을 준수하도록 하는 중요한 역할을 담당합니다. IBM 기업가치연구소(IBV)의 보고서에 따르면 조직의 80%가 위험 부서 내에 AI 또는 생성형 AI 사용과 관련된 위험을 전담하는 별도의 직무를 운용하고 있습니다.

감사팀은 AI 시스템의 데이터 무결성을 검증하고 시스템이 오류나 편견 없이 의도한 대로 작동하는지 확인하는 데 필수적입니다. CFO는 재정적 영향을 감독하고 AI 이니셔티브와 관련된 비용을 관리하며 재정적 위험을 완화합니다. 

그러나 AI 거버넌스에 대한 책임은 한 개인이나 부서에 있는 것이 아닙니다. 모든 리더가 책임을 우선시하고 조직 전반에 걸쳐 AI 시스템이 책임 있고 윤리적으로 사용되도록 보장해야 하는 집단적인 책임입니다.

CEO와 고위 경영진은 조직의 전반적인 분위기와 문화를 확립할 책임이 있습니다. 책임 있는 AI 거버넌스를 우선시할 때 모든 직원이 책임감 있고 윤리적으로 AI를 사용해야 한다는 분명한 메시지를 전 직원에게 전달하게 됩니다. 또한 CEO와 고위 경영진은 직원 AI 거버넌스 교육에 투자하고 내부 정책과 절차를 적극적으로 개발하며 열린 소통과 협업 문화를 조성할 수도 있습니다.

AI 거버넌스는 특히 생성형 AI의 등장과 함께 빠르게 발전하는 AI 기술을 관리하기 위해 꼭 필요합니다. 텍스트, 이미지, 코드 등 새로운 콘텐츠와 솔루션을 생성할 수 있는 기술이 포함된 생성형 AI는 다양한 사용 사례에서 엄청난 잠재력을 가지고 있습니다.

디자인과 미디어의 창의적인 프로세스를 개선하는 것부터 소프트웨어 개발 작업을 자동화하는 것까지 생성형 AI는 산업 운영 방식을 바꾸고 있습니다. 그러나 광범위한 적용 가능성으로 인해 강력한 AI 거버넌스가 필요합니다.

책임감 있는 AI 거버넌스의 원칙은 조직이 자사와 고객을 보호하는 데 필수적입니다. 이러한 원칙은 조직이 AI 기술을 윤리적으로 개발하고 적용하는 데 도움이 될 수 있으며, 내용은 다음과 같습니다.

• 공감: 조직은 기술적, 재정적 측면뿐만 아니라 AI의 사회적 영향도 이해해야 합니다. AI가 모든 이해관계자에게 미치는 영향을 예측하고 이에 대처해야 합니다.
  
  
• 편향성 제어: AI 알고리즘에 현실 세계의 편견이 포함되지 않도록 학습 데이터를 엄격하게 검사하여 공정하고 편견 없는 의사 결정 프로세스를 포장하는 것이 필수적입니다.
  
  
• 투명성: AI 알고리즘이 작동하고 의사 결정을 내리는 방식이 명확하고 개방적이어야 하며 조직은 AI 기반 결과의 논리와 추론을 설명할 준비가 되어 있어야 합니다.
  
  
• 책임감: 조직은 AI가 가져올 수 있는 중요한 변화를 관리하기 위해 사전에 높은 기준을 수립하고 준수하여 AI의 영향에 대한 책임을 유지해야 합니다.

규제와 시장 요인들이 많은 거버넌스 메트릭을 표준화하고 있지만 조직은 여전히 비즈니스에 맞는 최적의 균형 측정 방법을 결정해야 합니다. AI 거버넌스 효과를 측정하는 방법은 조직마다 다를 수 있으며, 각 조직은 우선순위를 정해야 할 중점 영역을 결정해야 합니다. 데이터 품질, 모델 보안, 비용 대비 가치 분석, 편향 모니터링, 개인 책임, 지속적인 감사, 조직의 도메인에 따라 조정 가능한 적응성 등 다양한 중점 영역이 존재하므로 모든 조직에 동일한 기준을 적용할 수는 없습니다.

예를 들어 사이버 보안이 위협 대응 수준을 정의하는 방식과 같이 AI 거버넌스에는 보편적으로 표준화된 '수준'이 없습니다. 대신 AI 거버넌스는 조직이 특정 요구 사항에 맞게 채택하거나 조정할 수 있도록 다양한 주체가 개발한 구조화된 접근 방식과 프레임워크가 있습니다.

조직은 여러 프레임워크와 지침을 활용하여 거버넌스 관행을 개발할 수 있습니다. 가장 널리 사용되는 프레임워크에는 NIST AI 위험 관리 프레임워크, OECD 인공 지능에 관한 원칙, 유럽위원회의 신뢰할 수 있는 윤리 가이드라인( AI) 등이 있습니다. 이러한 프레임워크는 투명성, 책임성, 공정성, 개인 정보 보호, 보안 및 안전을 비롯한 다양한 주제에 관련한 지침을 제공합니다.

거버넌스 수준은 조직의 규모, 사용 중인 AI 시스템의 복잡성 및 조직이 운영되는 규제 환경에 따라 달라질 수 있습니다.

이러한 접근 방식에 대한 개요는 다음과 같습니다.

의료, 금융, 교통, 공공 서비스 등 다양한 분야에서 AI를 기반으로 한 자동화가 보편화되면서 AI 거버넌스의 개념이 점점 더 중요해지고 있습니다. AI의 자동화 기능은 효율성, 의사 결정 및 혁신을 크게 개선할 수 있지만 동시에 책임성, 투명성 및 윤리적 고려 사항과 관련된 문제도 야기할 수 있습니다.

이러한 문제를 다루기 위한 정책, 가이드라인, 프레임워크가 포함된 강력한 제어 구조를 구축하는 것도 AI 거버넌스에 포함됩니다. 여기에는 AI 시스템을 지속적으로 모니터링하고 평가하여 확립된 윤리 규범과 법적 규정을 준수하도록 보장하는 메커니즘을 마련하는 것이 포함됩니다.

AI의 효과적인 거버넌스 구조는 기술, 법률, 윤리, 비즈니스 등 다양한 분야의 이해관계자가 참여하는 다학제적 구조입니다. AI 시스템이 더욱 정교해지고 사회의 중요한 측면에 통합됨에 따라 AI 발전의 궤적과 사회적 영향을 안내하고 형성하는 AI 거버넌스의 역할이 더욱 중요해지고 있습니다.

AI 거버넌스 모범 사례는 단순한 규정 준수를 넘어 AI 애플리케이션을 모니터링하고 관리하기 위한 보다 강력한 시스템을 포괄하는 접근 방식이 포함됩니다. 엔터프라이즈급 비즈니스의 경우 AI 거버넌스 솔루션은 AI 시스템에 대한 광범위한 감독 및 제어를 지원해야 합니다. 다음은 고려해야 할 샘플 로드맵입니다.

1. 시각적 대시보드: AI 시스템의 상태에 관해 실시간 업데이트를 제공하는 대시보드를 활용하여 빠른 평가를 위한 명확한 개요를 제공합니다.
    

2. 상태 점수 메트릭: 직관적이고 이해하기 쉬운 메트릭을 사용하여 AI 모델에 대한 전반적인 상태 점수를 구현하여 모니터링을 간소화합니다.
    

3. 자동 모니터링: 편향성, 드리프트, 성능 및 이상 징후에 대한 자동 감지 시스템을 사용하여 모델이 올바르고 윤리적으로 작동하도록 합니다.
    

4. 성능 알림: 모델이 사전 정의된 성능 매개변수에서 벗어날 때 적시에 개입할 수 있도록 알림을 설정합니다.
    

5. 사용자 지정 메트릭: AI 결과가 조직의 핵심 성과 지표(KPI) 및 임계값에 맞춰 비즈니스 목표에 기여하도록 사용자 지정 메트릭을 정의합니다.
    

6. 감사 추적: 책임 확인을 위해 쉽게 액세스할 수 있는 로그 및 감사 추적을 유지하고 AI 시스템의 결정 및 동작에 대한 검토를 용이하게 합니다.
    

7. 오픈 소스 툴 호환성: 다양한 머신 러닝 개발 플랫폼과 호환되는 오픈 소스 툴을 선택하여 유연성과 커뮤니티 지원의 이점을 활용합니다.
    

8. 원활한 통합: AI 거버넌스 플랫폼은 데이터베이스 및 소프트웨어 에코시스템을 포함한 기존 인프라와 원활하게 통합되어 사일로를 방지하고 효율적인 워크플로우를 지원합니다.
    

조직은 이러한 관행을 준수함으로써 책임감 있는 AI 개발하고 배포 및 관리를 지원하는 강력한 AI 거버넌스 프레임워크를 구축하여 AI 시스템이 윤리적 표준 및 조직 목표에 부합하고 규정을 준수하도록 보장할 수 있습니다.

편향성과 차별을 방지하기 위해 여러 국가에서 AI 거버넌스 관행과 AI 규정을 채택하고 있습니다. 규제는 항상 가변적이기 때문에 복잡한 AI 시스템을 관리하는 조직은 지역별 프레임워크의 발전에 따라 이를 면밀히 주시해야 한다는 점을 기억해야 합니다.

EU AI 법 또는 AI 법으로도 알려진 유럽연합(EU)의 인공 지능법은 유럽연합에서 인공 지능(AI)의 개발 또는 사용을 규율하는 법률입니다. 이 법안은 규제에 대한 위험 기반 접근 방식을 취하며 AI가 제기하는 위험에 따라 다양한 규칙을 적용합니다.

AI에 대한 세계 최초의 포괄적인 규제 프레임워크로 간주되는 EU AI 법은 일부 AI 사용을 완전히 금지하고 다른 AI에 대해 엄격한 거버넌스, 위험 관리 및 투명성 요구 사항을 구현합니다.

이 법안은 또한 IBM의 Granite와 Meta의 Llama 3 오픈 소스 파운데이션 모델과 같은 범용 인공 지능 모델에 대한 규칙을 제정합니다. 벌금은 위반 유형에 따라 750만 유로(전 세계 연간 매출액의 1.5%)에서 3,500만 유로(전 세계 연간 매출액의 7%)까지 부과될 수 있습니다.

SR-11-7은 금융 업계의 효과적이고 강력한 모델 거버넌스를 위한 미국 규제 모델 거버넌스 표준입니다.¹이 규정은 은행 관계자가 전사적인 모델 리스크 관리 이니셔티브를 적용하고 사용을 위해 구현된 모델, 구현을 위해 개발 중인 모델 또는 최근에 폐기된 모델의 목록을 유지하도록 요구합니다.

또한 기관의 리더는 해당 모델이 해결하고자 하는 비즈니스 목적을 달성하고 있으며 성능이 저하되지 않은 최신 모델임을 증명해야 합니다. 모델에 익숙하지 않은 사람도 모델 개발 및 검증을 통해 모델의 작동, 한계 및 주요 가정을 이해할 수 있어야 합니다.

캐나다의 자동화된 의사 결정에 관한 지침은 캐나다 정부가 AI를 사용하여 여러 부서에서 의사 결정을 내리는 방법을 설명합니다.² 이 지침은 시민에게 서비스를 제공하기 위해 구축된 AI 툴에 필요한 인간 개입, 동료 검토, 모니터링 및 비상 계획 등을 점수 시스템을 사용해 평가합니다.

높은 점수를 받은 AI 솔루션을 개발하는 조직은 두 번의 독립적인 동료 평가 수행, 일반 언어로 공지 제공, 인간 개입에 대한 페일 세이프 개발, 시스템에 대한 반복적인 교육 과정 등을 확립해야 합니다. 캐나다의 자동화된 의사 결정에 관한 지침은 캐나다의 자체 AI 개발을 위한 지침이므로 미국의 SR 11-7과 같이 기업에 직접적인 영향을 미치지 않습니다.

2021년 4월, 유럽연합 집행위원회는 우수성과 신뢰에 대한 유럽적 접근 방식 육성에 관한 성명과 AI에 대한 법적 프레임워크 제안을 포함한 AI 패키지를 발표했습니다.³

이 성명에서는 대부분의 AI 시스템이 '최소 위험' 범주에 속하지만 '고위험'으로 분류된 AI 시스템은 더 엄격한 요건을 준수해야 하며 '허용할 수 없는 위험'으로 간주되는 시스템은 사용이 금지될 것이라고 발표합니다. 조직은 이러한 규칙에 세심한 주의를 기울여야 하며 이를 준수하지 못하는 경우 벌금이 부과될 수 있습니다.

2023년 중국은 생성형 인공 지능 서비스 관리를 위한 임시 조치를 발표했습니다. 이 법에 따라 생성형 AI 서비스의 제공 및 사용은 '타인의 합법적인 권리와 이익을 존중'해야 하며 '타인의 신체적, 정신적 상황을 위험에 빠뜨리지 않고 타인의 초상권, 평판권, 명예권, 프라이버시권 및 개인 정보권을 침해하지 않아야 한다'고 규정하고 있습니다.

아시아 태평양 지역의 다른 국가에서도 AI를 관리하기 위한 몇 가지 원칙과 가이드라인을 발표했습니다. 2019년 싱가포르 연방 정부는 민간 부문의 AI 윤리 문제를 해결하기 위한 가이드라인을 담은 프레임워크를 발표했으며, 보다 최근인 2024년 5월에는 생성형 AI를 위한 거버넌스 프레임워크를 발표했습니다. 인도, 일본, 한국, 태국도 AI 거버넌스를 위한 가이드라인과 법안을 검토하고 있습니다.³