AI 관리란 무엇인가요?

인공 지능 시스템은 기존 소프트웨어와 다르게 작동합니다. 기존의 소프트웨어 프로그램은 명시적인 지침에 따라 결정론적 아웃풋을 생성합니다. 즉, 기존 프로그램에 동일한 상황에서 동일한 입력을 제공하면 항상 동일한 아웃풋을 생성합니다. 인공 지능 기반 시스템은 머신 러닝 알고리즘 에 의해 확률적 아웃풋을 생성합니다. 즉, 입력과 상황이 동일하더라도 아웃풋은 달라질 수 있습니다.

이러한 동적 논리는 매우 강력하지만 예측 불가능성이 수반되기 때문에 잠재적인 위험이 따릅니다. 예를 들어, 조직은 편향된 아웃풋으로 인한 평판 위험에 처합니다. 확인하지 않거나 알아차리지 못한 AI 할루시네이션은 단순히 사용자를 짜증나게 하거나 혼란스럽게 하는 것부터 중대한 결과를 초래하는 미션 크리티컬 시나리오의 부정확성에 이르기까지 광범위한 위험을 초래할 수 있습니다. AI 기반 적대적 공격 또는 손상된 데이터 세트는 사이버 보안 위험을 초래할 수 있습니다. 급변하는 환경에서 AI 규정을 준수하지 않으면 재정적, 법적 위험이 따릅니다.

AIMS는 이러한 위험을 예측하고 설명하도록 설계되었습니다. 보다 가시적인 용어로 AIMS는 조직의 AI 기반 도구 및 제품 사용과 관련된 모든 워크플로에 건전한 AI 거버넌스를 임베딩하기 위한 정책 및 프로토콜로 이해할 수 있습니다. 여기에는 표준화된 사전 위험 평가, 보고 메커니즘, 일상적인 감사, 모델 아웃풋 및 성능에 대한 실시간 모니터링과 같은 조치가 포함됩니다.

AI 관리 시스템이 잘 실행되면 위험을 완화할 수 있을 뿐만 아니라 운영 효율성을 최적화하고 효과적인 AI 도입에 필수적인 개발자, 최종 사용자 및 기타 이해관계자 간의 신뢰를 구축할 수 있습니다.

포괄적인 인공 지능 관리 시스템은 다음을 해결해야 합니다.

공정성 및 편견 문제로 인해 영향을 받을 수 있는 대상은 누구이며, 어떤 영향을 받을 수 있나요? AI 프로젝트가 의도치 않게 차별을 초래할 수 있나요? 규제 요건을 제외하고, 데이터 프라이버시와 관련하여 시스템의 기능과 한계를 정확하게 전달하는 윤리적 책임은 무엇인가요? 이러한 윤리 문제에 대한 진지한 투명성은 이해관계자의 신뢰를 유지하고 추후 의사 결정을 개선합니다.

인공 지능 애플리케이션 개발 또는 배포에 내재된 구체적인 위협은 무엇일까요? 예를 들어, 의료 분야나 법률 분야에서 AI 도구를 사용할 때는 규제 결과를 고려해야 하며; 고객 서비스 컨텍스트에서 AI의 오작동은 평판에 영향을 미칠 위험이 있습니다. 이러한 위협을 완화하는 것이 AIMS의 주요 목적 중 하나라는 점을 감안하면, 사용 사례에 수반되는 특정 AI 위험을 식별하는 것이 프로세스의 가장 초기이자 가장 중요한 단계 중 하나여야 합니다.

적절한 데이터 거버넌스는 AI 모델(및 이러한 모델이 생성한 데이터)을 훈련하는 데 사용되는 데이터의 지속적인 품질과 보안을 유지하는 데 필수적입니다. 특히 규제 체계 준수가 필요한 분야에서 매우 중요합니다. 예를 들어, 사용자가 GDPR에 따른 '잊혀질 권리'를 주장하는 경우, 시스템에서 해당 개인의 데이터를 쉽게 찾아 삭제할 수 있어야 합니다. 의료 환경에서 작동하는 시스템은 HIPAA 요구 사항을 준수하여 민감한 정보를 보호해야 합니다.

이러한 고려 사항을 해결하기 위한 프로토콜과 정책은 AI 시스템의 개발 및 초기 배포뿐만 아니라 지속적인 유지 관리에도 포함되어야 합니다. 모델 드리프트 또는 시간이 지남에 따라 발생할 수 있는 기타 우려 사항을 발견하고 억제하려면 적절한 AI 수명 주기 관리가 필요합니다.

시간 경과에 따른 AI 시스템의 상태를 적극적으로 조사하는 전략은 AIMS가 달성하는 데 도움이 되는 목표를 유지하기 위한 가장 중요한 수단 중 하나입니다. 정기 감사의 구체적인 구조와 속도는 AI 관리에서 가장 중요한 운영 고려 사항 중 하나입니다.

이 모든 것을 제정하고 감독하는 것은 누구의 임무일까요? AI 관리 전략을 종이에는 멋지게 들리는 것에서 조직 내에서 AI 혁신을 적극적으로 보호하는 전략으로 전환하려면 개별 역할과 책임을 명확하게 정의하는 것이 필요합니다.

AI 개발 프로세스 초기에 이러한 원칙과 프로세스를 수립하면 나중에 의사 결정 최적화하고 간소화하는 데 도움이 됩니다.

효과적인 AI 관리를 구현하는 방법에는 여러 가지가 있으며, 일부 조직은 AI 관리 이니셔티브에 대해 완전히 맞춤형 접근 방식을 추구하기로 선택할 수 있습니다. 그러나 많은 사람들은 ISO 42001, NIST AI 위험 관리 프레임워크 또는 EU AI 법에서 규정한 원칙과 같은 기존 프레임워크를 준수하거나 적어도 그로부터 영감을 얻는 것이 도움이 됩니다.

ISO 42001(ISO/IEC 42001:2023의 약자)은 AIMS 수립, 구현, 유지 및 지속적으로 개선하기 위한 세계 최초의 국제 표준입니다. 2023년에 개발된 ISO 42001의 명시적 목표는 조직에 “기술이 빠르게 발전하고 있음에도 불구하고 AI를 책임감 있고 효과적으로 사용하는 데 필요한 포괄적인 지침”을 제공하는 것입니다. 조직은 공식적인 ISO 42001 인증을 요청할 수 있습니다. 여기에는 ISO 42001의 규정된 AI 관행에 대한 준수 여부를 평가하기 위한 시스템 및 프로세스에 대한 제3자 심사가 수반됩니다.

보다 구체적으로, ISO 42001은 계획-실행-점검-조치 방법론을 사용하여 AI의 건전한 조직 거버넌스를 위한 관리 시스템 표준(MSS)을 규정합니다.

계획 단계에서는 AIMS가 AI 시스템에 대한 참여 규칙을 정의합니다.

• 컨텍스트 및 범위: AI 도구가 수행하는 작업과 수행하지 않는 작업을 정확히 정의합니다. 예를 들어, 고객 지원 챗봇이 지원 문의에 답변하거나 담당자에게 문제를 에스컬레이션할 수 있지만, 환불을 직접 승인할 수는 없도록 지정할 수 있습니다. 

• 위험 평가: 해당 컨텍스트와 범위에 수반되는 구체적인 위협을 매핑합니다. 예를 들어, 고객 지원 봇은 회사 정책을 할루시네이션으로 만들어 혼란이나 잘못된 기대를 유발할 수 있습니다. IBM의 AI 위험 지도는 시작하는 데 도움이 될 수 있습니다.

• 목표 설정: '성공'에 대한 실질적인 지표를 정의합니다. 이는 일반적으로 AI 도구를 구현하여 해결하려는 문제에 따라 달라집니다. 예를 들어, AI 프로젝트의 목표가 직원들이 더 복잡한 쿼리에 집중할 수 있도록 하는 것이라면, 사람의 개입 없이 일정 비율의 사례가 해결되는 것을 성공으로 정의할 수 있습니다. 

실행 단계에서는 이전 단계에서 정의한 원칙과 목표를 실제 AI 개발 워크플로에서 운영합니다.

• 데이터 거버넌스 정책에서 잠재적 위협을 고려해야 합니다.

• 알려진 위험에 대비하기 위해 안전 장치와 이중화 장치를 구축해야 합니다.

• 가능한 경우 시스템 성능 평가를 자동화하면 성공을 객관적으로 측정하고 결과적으로 시스템을 개선하는 데 필요한 수고가 최소화됩니다.

AI 시스템은 적극적으로 감독해야 합니다. 시스템에서 수행한 모든 작업을 기록하여 시스템을 쉽게 설명할 수 있도록 해야 합니다. AI 시스템의 주어진 결과가 어떤 식으로든 문제가 있거나 불만족스러운 경우, 프로세스에서 오류가 발생한 위치를 정확히 파악할 수 있어야만 이를 개선할 수 있습니다.

정기 감사를 통해 팀이 AIMS 프로토콜을 준수하고 있는지 및 명목상이 아니라 의미 있게 준수하고 있는지 확인해야 합니다.

사고가 발생하면 업무를 중단하고 필요한 개선 조치를 취할 수 있는 시스템이 마련되어 있어야 합니다. 감사 결과 부적절한 보호 장치, 예상치 못한 문제 또는 새로운 보안 취약점이 발견되면 이를 해결하기 위한 새로운 조치가 마련됩니다.

미국 국립표준기술연구소(NIST)는 미국 상무부 산하 기관입니다. NIST의 AI 위험 관리 프레임워크(AI RMF)는 책임감 있는 AI 사용을 위한 적응 가능한 플레이북으로, 다음과 같은 광범위한 지원 자료로 보완됩니다.

• AI RMF 플레이북은 AI RMF에 제시된 결과를 달성하기 위한 권장 조치를 제공합니다.

• AI RMF 로드맵은 "지식, 실무 또는 지침의 공백을 메우는 데 도움을 주는 것"을 목표로 하며, AI RMF 자체와 NIST가 공공 및 민간 부문 기관이 이를 실행할 수 있도록 지원하는 방법을 찾는 것을 목표로 합니다.

• AI RMF 크로스워크는 조직이 기존 관행을 ISO 42001을 포함한 다양한 AI 관리 프레임워크의 개념 및 용어에 맞추는 데 도움을 주기 위해 설계되었습니다.

• 정부, 업계, 학계에서의 사용 사례.

AI RMF 플레이북은 거버넌스, 매핑, 측정, 관리 방법론을 사용합니다.

'AI 위험 위원회'가 구성됩니다. 이 위원회는 조직의 '위험 허용 한도'를 정의하고, C-suite 경영진이 서명하는 AI 위험 정책 문서를 작성하여 AI 실패에 대한 책임이 누구에게 있는지 명시적으로 지정합니다.

발견 단계에서는 AI 도구와 사람들이 이를 사용하는 방식과 관련된 구체적인 위험을 식별합니다. 이 프로세스는 결국 식별된 모든 위협을 항목별로 분류하여 위험 프로필을 생성합니다.

매핑된 각 위협은 회사 또는 고객에게 어떤 영향을 미칠 수 있는지에 따라 정량화됩니다. 일반적으로 이는 레드팀 및 스트레스팀 활동을 포함하며, 시스템의 정확성과 신뢰성을 평가하는 "스코어카드" 역할을 하는 TEVV(테스트, 평가, 검증 및 유효성 검사) 보고서를 생성합니다.

측정 단계에서 발견된 문제와 잠재적 취약점을 해결하고 설명합니다.

ISO 42001과 NIST AI RMF는 자발적인 프레임워크인 반면, EU AI 법 조항은 EU 시장 내에서 AI 시스템을 개발 및 배포하는 모든 조직에 대한 의무적 규정입니다.

EU AI 법 조항에는 다음이 포함됩니다.

• 모델 훈련, 테스트 및 평가를 위한 필수 기술 문서.

• 관련 AI 모델의 기능 및 한계에 대한 정보를 해당 모델을 사용할 모든 다운스트림 공급자에게 제공합니다.

• EU 저작권 지침 준수

• 훈련 데이터의 공개 요약

특정 AI 모델이 학습에서 1,025개의 부동 소수점 연산(FLOP)을 초과하면 시스템적 위험을 초래하는 것으로 간주되어 추가 보호 조치가 적용됩니다.

EU는 기업이 AI 법을 준수할 수 있도록 도구와 리소스를 제공하며, 여기에는 귀사의 비즈니스에 적용되는 조항을 명시하는 대화형 규정 준수 점검 도구, 중소기업(SMES)을 위한 소규모 비즈니스 가이드 및 다양한 이슈별 기사가 포함됩니다.