AI 사용을 둘러싼 규제 요건은 끊임없이 진화하고 있습니다. 투명한 모델 프로세스는 이러한 규정을 준수하고 모델 검증자, 감사자 및 규제 기관의 요청을 처리하는 데 매우 중요합니다. EU AI 법은 AI에 대한 세계 최초의 포괄적인 규제 프레임워크로 간주됩니다.

EU AI 법

유럽연합(EU)의 인공 지능 법은 규제에 대해 위험 기반 접근 방식을 취해 AI가 초래하는 위험에 따라 다른 규칙을 적용합니다. 이는 일부 AI 사용을 전면적으로 금지하고 다른 AI에 대해서는 엄격한 거버넌스, 위험 관리 및 투명성 요건을 구현합니다. 특정 유형의 AI에는 추가적인 투명성 의무가 있습니다. 예를 들면 다음과 같습니다.

• 개인과 직접 상호 작용하는 AI 시스템은 문맥상 개인이 명백히 알 수 있는 경우가 아니라면 사용자가 AI 시스템과 상호 작용하고 있음을 알 수 있도록 설계되어야 합니다. 예를 들어, 챗봇은 사용자에게 챗봇임을 알리도록 설계되어야 합니다.
  
  
• 텍스트, 이미지 또는 기타 특정 콘텐츠를 생성하는 AI 시스템은 기계가 읽을 수 있는 형식을 사용하여 아웃풋을 AI 생성 또는 조작됨으로 표시해야 합니다. 예를 들어, 딥페이크, 즉 누군가가 하지 않은 행동이나 말을 한 것처럼 보이도록 조작된 이미지 또는 동영상을 생성하는 AI가 여기에 포함됩니다.

EU의 일반 데이터 보호 규정(GDPR)의 시행으로 다른 국가에서도 개인정보 보호 규정을 도입하게 되었습니다. 마찬가지로 전문가들은 EU AI 법이 전 세계적으로 AI 거버넌스 및 윤리 표준 개발에 박차를 가할 것으로 예측하고 있습니다.

AI 투명성을 위한 지침 프레임워크

대부분의 국가와 지역에서는 아직 AI 사용에 관한 포괄적인 법률이나 규정을 제정하지 않았지만, 몇 가지 광범위한 프레임워크가 마련되어 있습니다. 이는 항상 시행 가능한 것은 아니지만 향후 규제와 AI의 책임 있는 개발 및 사용을 안내하기 위해 존재합니다. 주목할 만한 예는 다음과 같습니다.

• 안전하고 보안이 유지되며 신뢰할 수 있는 인공 지능의 개발과 사용에 관한 백악관 행정 명령: 2023년 10월 30일에 발표된 이 행정 명령은 여러 섹션에서 투명성을 다루고 있습니다. 섹션 8에서는 소비자, 환자, 승객 및 학생 보호에 대해 구체적으로 다룹니다. 이는 독립 규제 기관이 AI 위험으로부터 미국 소비자를 보호하기 위해 권한을 사용하는 것을 고려하도록 장려합니다. 여기에는 "AI 모델의 투명성과 규제 대상 기관의 AI 모델 사용에 대한 설명 능력과 관련된 요구 사항 및 기대 사항을 강조하거나 명확히 하는 것"이 포함됩니다.¹
  
  
• AI 권리장전을 위한 청사진: 청사진은 AI 시스템의 설계, 사용 및 배포를 안내하는 데 도움이 되는 5가지 원칙과 관련 관행의 집합입니다. 네 번째 원칙인 '고지 및 설명'은 투명성을 직접적으로 다루고 있습니다. "자동화된 시스템의 설계자, 개발자 및 배포자는 전체 시스템 기능 및 자동화가 수행하는 역할에 대한 명확한 설명, 해당 시스템이 사용 중이라는 사실, 시스템을 담당하는 개인 또는 조직, 명확하고 시의적절하며 접근 가능한 결과에 대한 설명을 포함하여 일반적으로 접근 가능한 일반 언어로 문서를 제공해야 합니다."²
  
  
• 히로시마 AI 프로세스 종합 정책 프레임워크: G7 히로시마 정상회담에서 개발된 후 2023년에 출범한 히로시마 AI 프로세스는 안전하고 신뢰할 수 있는 AI를 촉진하는 고급 AI 시스템의 전 세계 개발을 위한 일련의 지침 원칙입니다. 이 프레임워크는 조직이 11가지 원칙을 준수할 것을 요구하며, 그 중 일부는 '투명성 보고서 게시'와 '책임감 있는 정보 공유'를 장려합니다.³

AI 투명성은 AI 설명 가능성 및 AI 해석 가능성의 개념과 밀접한 관련이 있습니다. 이러한 개념은 오랫동안 지속되어 온 '블랙박스' 문제, 즉 AI 시스템이 너무 정교하여 인간이 해석할 수 없다는 실용적이고 윤리적인 문제를 해결하는 데 도움이 되는 인사이트를 제공합니다. 그러나 이 세 가지는 다음과 같은 고유한 정의와 사용 사례를 가지고 있습니다.

• AI 설명 가능성: 모델이 어떻게 이러한 결과에 도달했나요?
  
  
• AI 해석 가능성: 모델은 어떻게 결정을 내리나요?
  
  
• AI 투명성: 모델이 어떻게 만들어졌고, 어떤 데이터로 훈련되었으며, 어떻게 의사 결정을 내리나요?

AI 설명 가능성: 모델이 어떻게 이러한 결과에 도달했나요?

AI 설명 가능성 또는 설명 가능한 AI(XAI)는 인간 사용자가 머신 러닝 모델에서 생성된 결과와 아웃풋을 이해하고 신뢰할 수 있도록 하는 일련의 프로세스 및 방법입니다. 모델 설명 가능성은 AI 시스템이 특정 결과에 도달하는 방법을 살펴보고 모델 투명성을 특성화하는 데 도움이 됩니다.

AI 해석 가능성: 모델은 어떻게 결정을 내리나요?

AI 해석 가능성은 전체 AI 프로세스를 사람이 이해할 수 있도록 만드는 것을 의미합니다. AI 해석 가능성은 AI 시스템의 기본 논리, 중요성 및 예상되는 결과에 대한 의미 있는 정보를 제공합니다. 이는 AI 아웃풋의 결과에 대해 인간이 예측할 수 있는 성공률을 나타내며, 설명 가능성은 한 걸음 더 나아가 AI 모델이 어떻게 그 결과에 도달했는지를 살펴봅니다.

AI 투명성: 모델이 어떻게 만들어졌고, 어떤 데이터로 훈련되었으며, 어떻게 의사 결정을 내리나요?

AI 투명성은 단순히 AI 의사 결정 프로세스를 설명하는 것 이상의 의미를 갖습니다. 여기에는 AI 훈련 데이터 및 이에 액세스할 수 있는 사람과 같은 AI 시스템 개발 및 배포와 관련된 요소가 포함됩니다.

AI 투명성을 제공하는 것은 사용 사례, 조직 및 산업에 따라 다르지만 기업이 AI 시스템을 구축할 때 염두에 둘 수 있는 몇 가지 전략이 있습니다. 높은 수준에서 이러한 전략에는 신뢰와 투명성에 대한 명확한 원칙을 수립하고, 이러한 원칙을 실행하며, 전체 AI 라이프사이클에 적용하는 것이 포함됩니다.

AI 투명성에 대한 보다 구체적인 전략은 AI 라이프사이클의 모든 단계에서 정보를 철저히 공개하는 것입니다. 정보를 공개하려면 조직은 공유할 정보와 공유 방법을 결정해야 합니다.

AI 투명성 문서화에 필요한 정보

모델 사용 사례, 업계, 대상 및 기타 요소는 공개해야 하는 정보를 결정하는 데 도움이 됩니다. 예를 들어, 모기지 평가와 같이 위험도가 높은 AI 사용은 위험도가 낮은 애플리케이션(가상 어시스턴트를 위한 오디오 분류 등)보다 더 포괄적인 공개가 필요할 수 있습니다. 

공개에는 모델에 대한 다음 정보의 전부 또는 일부가 포함될 수 있습니다.

• 모델명
• 목적
• 위험 수준
• 모델 정책
• 모델 생성
• 의도된 도메인
• 훈련 데이터
• 훈련 및 테스트 정확도
• 편향
• 적대적 견고성 메트릭
• 공정성 메트릭
• 설명 가능성 메트릭
• 연락처 정보

AI 라이프사이클의 각 역할은 정보를 제공하여 개인이 아닌 에코시스템 전체에 책임을 분배할 수 있습니다. 정보 수집 및 기타 AI 거버넌스 활동을 자동화하는 데 도움이 되는 소프트웨어 플랫폼과 툴이 있습니다.

AI 투명성 정보를 공유하는 방법

조직은 AI 투명성을 위한 정보를 인쇄된 문서 또는 비디오와 같은 다양한 형식으로 제공할 수 있습니다. 형식은 대상과 사용 사례에 따라 다릅니다. 소비자를 대상으로 하는 정보이므로 쉽게 이해할 수 있어야 하나요? 아니면 데이터 과학자나 규제 기관을 위한 것이므로 높은 수준의 기술적 세부 사항이 필요한가요?

형식에는 다음이 포함될 수 있습니다. 

• 제품이 특정 표준 또는 기술 규정을 준수함을 보여주기 위해 많은 산업에서 사용되는 문서인 공급업체의 적합성 선언(SDoC)을 모델로 한 실제 문서
  
  
• 조직이 투명한 AI 이니셔티브를 실행하는 방법을 자세히 설명하는 회사 웹사이트의 공식 정책 페이지
  
  
• AI가 제품 및 서비스에서 어떻게 사용되는지, 그리고 AI가 고객 경험에 어떤 영향을 미치는지 사용자가 이해하는 데 도움이 되는 문서 및 비디오와 같은 교육 리소스
  
  
• 공식 홍보 활동, 이벤트, 소셜 미디어 및 기타 커뮤니케이션을 통한 조직의 윤리적 AI 관점에 대한 대중과의 대면 담론  
  
  
• 조직의 산업 또는 사용 사례 내에서 AI의 사용, 개발 및 이점에 대한 인사이트를 제공하기 위한 연구 논문, 데이터 세트 및 기타 데이터 기반 커뮤니케이션