AI 감사란 무엇인가요?

AI 감사는 인공지능(AI) 시스템이 어떻게 설계되고, 학습되며, 배포되는지를 구조적이고 증거 기반으로 검토하는 절차입니다.

AI 감사는 AI 시스템에 대한 종합적인 '건강 진단'으로 볼 수 있습니다. 기존 감사가 재무제표나 IT 통제를 중심으로 이루어진다면, AI 감사는 전체 AI 라이프사이클의 근간을 심층적으로 검토합니다. 여기에는 데이터 수집과 품질, 모델 아키텍처와 설명 가능성, 그리고 시스템 운영이 시작된 이후의 의사결정 과정이 포함됩니다.

이 감사 절차에서는 조직의 AI 활용이 조직의 거버넌스 프레임워크, 위험 관리 프레임워크 및 윤리 기준에 부합하는지를 평가합니다. 예를 들어 다음과 같은 사항을 점검합니다.

• 개인 데이터와 학습 데이터는 적법하게 수집되고 안전하게 저장되고 있는가?
• 알고리즘이 편향을 초래하거나 새로운 취약점을 만들어 내는가?
• 시간이 지나면서 발생할 수 있는 위험을 완화하기 위한 접근 제어와 지표가 마련되어 있는가?

AI 감사는 AI 시스템의 내부 작동 방식을 명확하게 파악함으로써 신뢰성을 확보합니다. 또한 이해관계자와 규제 기관에는 이러한 신기술이 책임 있게 활용되고 있음을 보여 주는 구체적인 근거를 제공합니다.

AI 시스템은 주택담보대출 승인, 환자 분류, 소셜 미디어 콘텐츠 관리와 같은 중요한 의사결정에 매일 영향을 미치고 있습니다. 이러한 시스템은 속도와 자동화를 제공하는 동시에 잠재적인 위험을 초래할 수도 있습니다. 결함이 있는 모델은 편향을 강화할 수 있고, 취약한 보안 태세는 데이터 침해를 초래할 수 있으며, 잘못된 의사결정은 이해관계자의 신뢰를 약화시킬 수 있습니다.

이에 따라 규제 기관도 대응에 나서고 있습니다. EU AI 법(EU AI Act)은 제한적 위험 및 최소 위험, 고위험, 허용 불가 위험 등 여러 위험 수준을 정의하고 엄격한 감사 기준을 요구합니다.

마찬가지로 미국 국립표준기술연구소(NIST)의 AI 위험 관리 프레임워크는 AI 투명성과 책임성에 대한 기준을 제시합니다. 내부 감사 담당자와 정보 보안 팀은 규정을 준수하고 있으며, AI 시스템이 설계부터 배포까지 신뢰할 수 있음을 입증해야 합니다.

따라서 AI 감사는 방어적인 툴인 동시에 전략적인 툴이기도 합니다. AI 감사는 조직이 문제가 확대되기 전에 취약점을 식별하도록 지원하며, 데이터 거버넌스 체계와 활동을 강화하는 데 도움을 줍니다. 명확한 문서화와 반복 가능한 워크플로를 촉진함으로써 AI 감사는 조직이 규제 준수 요건을 충족하고 고객과 투자자의 신뢰를 구축하도록 지원합니다.

포괄적인 AI 감사는 서로 긴밀하게 연관된 세 가지 영역을 대상으로 하며, 각 영역마다 고유한 테스트와 평가 지표를 사용합니다.

• 데이터
• 모델
• 배포

감사 담당자는 데이터가 어떻게 수집되고, 레이블링되며, 관리되는지를 평가합니다. 또한 데이터 세트의 정확성과 품질을 검토하고, 결과를 왜곡할 수 있는 숨겨진 편향이나 '오래된(stale)' 데이터가 있는지 점검합니다. 개인정보 보호 및 데이터 보호 통제는 매우 중요합니다. 개인정보는 일반 개인정보 보호법(GDPR) 또는 이에 상응하는 기준을 충족해야 하며, 메타데이터는 AI 라이프사이클 전반에서 추적 가능해야 합니다.

일반적으로 데이터 품질 평가와 공정성 평가를 수행하며, 이를 통해 데이터 보존 기간, 접근 제어 및 권한이 문서화되어 있고 적절히 시행되고 있는지 확인합니다.

다음으로 감사 담당자는 알고리즘 자체를 면밀히 검토합니다. 주요 점검 사항은 다음과 같습니다. 어떤 머신 러닝 기법이 사용되고 있는가? 의사결정 로직은 얼마나 설명 가능한가? 드리프트나 예상치 못한 동작을 모니터링하기 위한 지표와 임곗값이 정의되어 있는가?

또한 인구통계학적 집단별 오류율을 분석하고, 스트레스 테스트를 수행하거나 레드 팀 훈련을 실시하여 취약점을 찾아냅니다. 신뢰성 테스트는 배포 전에 잠재적인 위험을 식별하는 데에도 도움이 됩니다.

마지막으로 감사 담당자는 운영 환경을 점검합니다. 또한 시스템이 운영을 시작한 이후에도 거버넌스 체계와 모니터링 워크플로가 지속적으로 유지되고 있는지 확인합니다.

일반적인 평가에는 규제 준수(예: EU AI Act)를 위한 적합성 평가, 지속적인 실시간 성능 모니터링, 그리고 조직이 새로운 위협을 탐지하고 억제할 수 있도록 지원하는 사고 대응 시뮬레이션이 포함됩니다. 감사자는 필요한 경우 출력 결과가 Human-in-the-loop 검토를 거치는지도 확인할 수 있습니다.

전 세계적으로 AI 감사에 영향을 미치는 법률과 표준이 점점 늘어나고 있습니다. 이미 시행 중인 것도 있으며, 그 밖의 많은 법률과 표준도 빠르게 시행을 앞두고 있습니다. 대표적인 규정은 다음과 같습니다.

• EU AI 법: 유럽연합에서 EU AI Act는 2024년 8월부터 시행되고 있으며, AI 시스템을 위험 수준에 따라 분류하고 고위험 애플리케이션에 대해 광범위한 문서화, 테스트 및 사람의 감독을 요구합니다.

• AI 위험 관리 프레임워크: NIST가 2023년에 개발한 이 자발적 프레임워크는 조직이 AI 라이프사이클 전반에 걸쳐 AI 위험을 식별, 평가 및 관리하도록 안내합니다. 연방 기관에 이 프레임워크를 제도화하도록 지시한 행정명령은 철회되었지만, 이 표준 자체는 계속해서 지침으로 활용되고 있습니다.

• 자동화된 의사결정 지침: 2020년부터 시행된 캐나다 연방 정부의 이 지침은 각 부처가 알고리즘 영향 평가를 수행하고, 영향력이 큰 AI 시스템에 대한 평가 결과를 공개하도록 의무화하고 있습니다.

• 모델 AI 거버넌스 프레임워크: 2019년에 처음 발표되고 2024년에 개정된 싱가포르의 이 프레임워크는 투명성, 이해관계자 참여 및 사람의 감독에 관한 상세한 지침을 제공합니다. 현재 많은 민간 부문 조직에서 이 프레임워크를 활용하고 있습니다.

• AI 거버넌스 가이드라인: 2023년에 개정된 일본의 이 가이드라인은 위험 평가, 설명 가능성 및 독립적인 제3자 감사를 요구하며, AI 라이프사이클 전반에 걸친 책임성을 강조합니다.

• AI 원칙: 2019년부터 경제협력개발기구(OECD) 회원국 40여 개국이 채택한 이 비구속적 원칙은 공정성, 투명성 및 강력한 보안을 촉진합니다. 이는 새롭게 마련되는 각국의 규제에 대한 글로벌 기준점 역할을 하고 있습니다.

브라질, 아랍에미리트, 대한민국을 비롯한 여러 국가에서도 국가 차원의 프레임워크가 마련되고 있습니다. 이러한 이니셔티브는 AI 거버넌스 법안을 추진하고 윤리적 활용, 개인정보 보호 및 이해관계자 책임성을 강조하는 상세한 지침을 발표하고 있습니다.

산업별 규제도 또 다른 차원의 책임성을 더합니다. 미국에서는 의료 기관이 개인정보 보호 규칙과 보안 규칙을 포함한 건강보험 이전 및 책임에 관한 법률(HIPAA)을 준수해야 하며, 이에 따라 AI 시스템에서 사용되는 모든 환자 데이터는 엄격한 보호 조치를 갖춰야 합니다.

금융 기관은 연방준비제도의 SR 11-7 지침과 미국 통화감독청(OCC)의 모델 검증 요건 등 모델 위험 관리 기준을 따르며, 이들 기준은 모두 AI 모델에 대한 독립적인 테스트와 지속적인 모니터링을 요구합니다.

이러한 프레임워크는 규제 요건을 실제 감사 기준으로 구체화합니다. 조직은 자사의 산업 분야와 규제 환경에 맞는 감사 체계를 마련하기 위해 여러 프레임워크의 요소를 조합해 활용하는 경우가 많습니다.

일반적인 프레임워크는 다음과 같이 구성됩니다.

• COBIT: 정보 및 관련 기술에 대한 통제 목표(Control Objectives for Information and Related Technologies, COBIT) 프레임워크는 AI 감사를 기업의 IT 거버넌스 및 정보 보안 프로그램에 통합하는 통제 중심 접근 방식을 제공합니다. 이를 통해 부서 전반에 걸쳐 일관된 감독 체계를 유지할 수 있습니다.

• COSO ERM: COSO 전사적 위험 관리 프레임워크(COSO ERM)는 조직이 AI 위험을 보다 광범위한 위험 관리 전략과 이사회 차원의 감독 체계에 통합하여, 신기술을 기업의 목표와 연계할 수 있도록 지원합니다.

• GAO 인공지능 책임성 프레임워크 : 미국 정부회계감사원(GAO)의 AI 책임성 프레임워크는 거버넌스, 데이터 품질 및 성능 모니터링을 평가하기 위한 지침을 제공하며, 공공 부문과 민간 부문 감사 모두에 활용할 수 있습니다.

• IIA AI 감사 프레임워크: 국제내부감사인협회(IIA)의 AI 감사 프레임워크는 기존 감사 기준을 AI 시스템의 고유한 특성에 맞게 적용하며, 윤리 기준과 의사결정의 투명성을 강조합니다.

• PDPC 모델 AI 거버넌스 프레임워크: 싱가포르 개인정보보호위원회(PDPC)의 Model Artificial Intelligence Governance Framework는 여러 관할권에서 운영되는 조직을 위해 이해관계자 참여와 책임 있는 데이터 처리에 관한 상세한 지침을 제공합니다.

효과적인 AI 감사는 모범 사례와 체계적인 단계별 로드맵을 결합합니다. AI를 감사하는 방법에는 여러 가지가 있지만, 다음과 같은 절차를 따르는 접근 방식을 예로 들 수 있습니다. 

감사 팀, 내부 감사 담당자, 데이터 과학자 및 비즈니스 이해관계자의 역할을 명확히 정의하는 거버넌스 체계를 수립합니다. AI 프로젝트가 제안되는 즉시 내부 감사 조직을 참여시켜 위험 평가와 데이터 거버넌스 체계가 초기 단계부터 반영되도록 합니다.

현재 사용 중이거나 개발 중인 모든 AI 모델을 목록화합니다. 여기에는 생성형 AI 모델, 챗봇, 자동화 툴이 포함됩니다. 위험 평가와 향후 모니터링의 기반을 마련할 수 있도록 학습 데이터의 출처와 데이터 품질 지표를 문서화합니다.

편향, 데이터 침해 또는 개인정보 오용과 같은 잠재적 위험을 고려하는 공식적인 위험 평가를 수행합니다. 데이터 수집 방법을 검증하고, 개인정보 보호 조치를 확인하며, 데이터 세트가 보존 기간 및 정확성과 같은 지표에 대한 규제 기준을 충족하는지 확인합니다.

조직의 산업 분야와 규제 환경에 적합한 감사 프레임워크를 선택합니다. 예를 들어 일부 조직은 COBIT의 통제 중심 접근 방식과 COSO의 전사적 위험 관리 관점을 결합한 뒤, 책임성 강화를 위해 GAO 또는 IIA의 요소를 추가하고, 이해관계자에 대한 투명성을 확보하기 위해 PDPC 프레임워크를 함께 활용합니다. 설명 가능성 테스트, 알고리즘 감사 및 실시간 지표를 지원하는 감사 툴을 활용합니다.

증거 수집, 접근 제어 및 보고를 위한 템플릿을 마련합니다. 모델 성능을 평가하기 위한 지표와 위험 완화 전략을 정의합니다. 감사 워크플로에 내부 감사 승인과 이해관계자 검토를 위한 점검 단계를 포함합니다.

감사를 수행하고 결과를 문서화한 후, 필요한 경우 경영진과 규제 기관에 결과를 공유합니다. 데이터 품질과 운영 위험을 모두 추적할 수 있도록 지속적인 모니터링 체계를 구축합니다. 지표와 대시보드를 활용하면 감사 팀은 취약점을 실시간으로 파악하고 신속하게 대응할 수 있습니다.

감사 방식도 AI 기술의 발전에 맞춰 함께 진화하고 있습니다. 앞으로 조직은 다음과 같은 변화를 기대할 수 있습니다.

미래가 어떻게 전개되든 감사는 더 이상 일회성 규정 준수 절차가 아닙니다. 이제 감사는 기업이 AI 기술을 안전하고 신뢰할 수 있는 방식으로 도입하도록 지원하는 지속적이고 지능적인 프로세스로 발전하고 있습니다.