AI 위험 관리란 무엇인가요?
AI 위험 관리는 AI 기술과 관련된 잠재적 위험을 체계적으로 식별, 완화 및 해결하는 프로세스입니다. 여기에는 도구, 관행 및 원칙의 조합이 포함되며, 특히 공식적인 AI 위험 관리 프레임워크를 배포하는 데 중점을 둡니다.
일반적으로 AI 위험 관리의 목표는 AI의 잠재적인 부정적인 영향을 최소화하면서 이점을 극대화하는 것입니다.
AI 위험 관리는 AI 거버넌스의 광범위한 분야의 일부입니다. AI 거버넌스는 AI 도구와 시스템이 안전하고 윤리적이며 그 상태를 유지하도록 보장하는 가드레일의 역할을 합니다.
AI 거버넌스는 포괄적인 분야인 반면, AI 위험 관리는 해당 분야 내의 프로세스입니다. AI 위험 관리는 AI 시스템을 위험으로부터 안전하게 보호하기 위해 취약성과 위협을 식별하고 해결하는 데 특히 중점을 둡니다. AI 거버넌스는 안전, 공정성 및 인권 존중을 보장하기 위해 AI 연구, 개발 및 애플리케이션을 지시하는 프레임워크, 규칙 및 표준을 수립합니다.
최근 몇 년 동안 산업 전반에 걸쳐 AI 시스템의 사용이 급증하고 있습니다. McKinsey 보고서(ibm.com 외부 링크)에 따르면 현재 72%의 조직이 어떤 형태로든 인공 지능(AI)을 사용하고 있으며, 이는 2023년에 비해 17% 증가한 수치입니다.
조직이 혁신, 효율성, 생산성 향상과 같은 AI의 이점을 추구하고 있지만 개인정보 보호 문제, 보안 위협, 윤리 및 법적 문제와 같은 잠재적 위험을 항상 해결하지는 못합니다.
리더들은 이러한 과제를 잘 알고 있습니다. IBM 기업가치연구소(IBM IBV)의 최근 연구(ibm.com 외부 링크)에 따르면 리더의 96%가 생성형 AI를 도입하면 보안 침해 가능성이 높아진다고 생각하는 것으로 나타났습니다. 동시에 IBM IBV는 현재 생성형 AI 프로젝트의 24%만이 보안을 확보하고 있다는 사실도 발견했습니다.
AI 위험 관리는 이러한 격차를 해소하고 조직이 AI 윤리나 보안을 훼손하지 않으면서도 AI 시스템의 잠재력을 최대한 활용할 수 있도록 지원합니다.
AI 시스템은 변조, 침해, 편향 또는 사이버 공격에 취약할 수 있는 데이터 세트에 의존합니다. 조직은 개발에서 교육 및 배포에 이르기까지 전체 AI 라이프사이클에 걸쳐 데이터 무결성, 보안 및 가용성을 보호하여 이러한 위험을 완화할 수 있습니다.
일반적인 데이터 위험은 다음과 같습니다.
- 데이터 보안: 데이터 보안은 AI 시스템이 직면한 가장 크고 중요한 과제 중 하나입니다. 위협 행위자는 무단 액세스, 데이터 손실 및 기밀성 침해를 포함하여 AI 기술을 구동하는 데이터 세트를 침해하여 조직에 심각한 문제를 일으킬 수 있습니다.
- 데이터 개인정보 보호: AI 시스템은 개인정보 침해에 취약할 수 있는 민감한 개인 데이터를 처리하는 경우가 많아 조직에 규제 및 법적 문제를 초래할 수 있습니다.
- 데이터 무결성: AI 모델의 신뢰성은 훈련 데이터에 따라 결정됩니다. 왜곡되거나 편향된 데이터는 오탐, 부정확한 결과 또는 잘못된 의사 결정으로 이어질 수 있습니다.
위협 행위자는 도난, 리버스 엔지니어링 또는 무단 조작을 위해 AI 모델을 표적으로 삼을 수 있습니다. 공격자는 AI 모델의 동작과 성능을 결정하는 핵심 구성 요소인 아키텍처, 가중치 또는 매개변수를 변조하여 모델의 무결성을 손상시킬 수 있습니다.
가장 일반적인 모델 위험은 다음과 같습니다.
- 적대적 공격: 이러한 공격은 입력 데이터를 조작하여 AI 시스템을 속여 잘못된 예측이나 분류를 하도록 유도합니다. 예를 들어, 공격자는 의도적으로 의사 결정을 방해하거나 편견을 유발하기 위해 AI 알고리즘에 공급하는 적대적인 사례를 생성할 수 있습니다.
- 프롬프트 인젝션: 이러한 공격은 대규모 언어 모델(LLM)을 대상으로 합니다. 해커는 악의적인 입력을 합법적인 프롬프트로 위장하여 민감한 데이터를 유출하도록 생성형 AI 시스템을 조작하거나 잘못된 정보를 유포하거나 그보다 더 나쁜 작업을 수행합니다. 기본적인 프롬프트만 주입해도 ChatGPT와 같은 AI 챗봇은 시스템 가드레일을 무시하고 해서는 안 되는 말을 할 수 있습니다.
- 모델 해석 가능성: 복잡한 AI 모델은 해석하기 어려운 경우가 많아 사용자가 의사 결정에 도달하는 방법을 이해하기 어렵습니다. 이러한 투명성 부족은 궁극적으로 편향성 탐지 및 책임성을 저해하는 동시에 AI 시스템과 제공업체에 대한 신뢰를 약화시킬 수 있습니다.
- 공급망 공격: 공급망 공격은 위협 행위자가 개발, 배포 또는 유지 관리 단계를 포함하여 공급망 수준에서 AI 시스템을 표적으로 삼을 때 발생합니다. 예를 들어, 공격자는 AI 개발에 사용되는 타사 구성 요소의 취약점을 악용하여 데이터 유출 또는 무단 액세스로 이어질 수 있습니다.
AI 모델은 마법처럼 보일 수 있지만, 근본적으로 정교한 코드와 머신 러닝 알고리즘의 산물입니다. 모든 기술과 마찬가지로 이 기술도 운영상의 위험에 취약합니다. 이러한 위험을 해결하지 않고 방치하면 위협 행위자가 악용할 수 있는 시스템 장애 및 보안 취약점으로 이어질 수 있습니다.
가장 일반적인 운영 위험은 다음과 같습니다.
- 드리프트 또는 붕괴: AI 모델은 데이터 또는 데이터 포인트 간의 관계가 변경되어 성능이 저하될 수 있는 프로세스인 모델 드리프트를 경험할 수 있습니다. 예를 들어, 사기 탐지 모델은 시간이 지남에 따라 정확도가 떨어지고 사기 거래를 놓칠 수 있습니다.
- 지속가능성 문제: AI 시스템은 적절한 확장과 지원이 필요한 새롭고 복잡한 기술입니다. 지속가능성을 소홀히 하면 이러한 시스템을 유지 관리하고 업데이트하는 데 문제가 발생하여 성능이 일관되지 않고 운영 비용과 에너지 소비가 증가할 수 있습니다.
- 통합의 어려움: AI 시스템을 기존 IT 인프라와 통합하는 것은 복잡하고 리소스 집약적일 수 있습니다. 조직은 종종 호환성, 데이터 사일로 및 시스템 상호 운용성 문제에 직면합니다. AI 시스템을 도입하면 사이버 위협에 대한 공격 표면이 확장되어 새로운 취약점이 발생할 수도 있습니다.
- 책임감 부족: AI 시스템은 비교적 새로운 기술이기 때문에 많은 조직이 적절한 기업 거버넌스 구조를 갖추지 못하고 있습니다. 그 결과 AI 시스템에 대한 관리 감독이 부족한 경우가 많습니다. McKinsey의 조사에 따르면(ibm.com 외부 링크) 책임감 있는 AI 거버넌스에 대한 의사 결정 권한을 가진 위원회 또는 이사회를 보유한 조직은 18%에 불과하다고 합니다.
조직이 AI 시스템을 개발하고 배포할 때 안전과 윤리를 우선시하지 않으면 개인정보 침해를 저지르고 편향된 결과를 초래할 위험이 있습니다. 예를 들어, 채용 결정에 사용되는 편향된 학습 데이터는 성별 또는 인종에 대한 고정 관념을 강화하고 특정 인구 통계 그룹을 다른 그룹보다 선호하는 AI 모델을 만들 수 있습니다.
일반적인 윤리적 및 법적 위험은 다음과 같습니다.
- 투명성 부족: AI 시스템을 투명하고 책임감 있게 운영하지 못하는 조직은 대중의 신뢰를 잃을 위험이 있습니다.
- 규제 요건을 준수하지 않는 경우: GDPR 또는 분야별 가이드라인과 같은 정부 규정을 준수하지 않으면 막대한 벌금과 법적 처벌을 받을 수 있습니다.
- 알고리즘 편향: AI 알고리즘은 학습 데이터에서 편향을 상속할 수 있으며, 이로 인해 편향된 채용 결정 및 금융 서비스에 대한 불평등한 접근과 같은 잠재적으로 차별적인 결과를 초래할 수 있습니다.
- 윤리적 딜레마: AI의 결정은 개인 정보 보호, 자율성 및 인권과 관련된 윤리적 문제를 야기할 수 있습니다. 이러한 딜레마를 잘못 처리하면 조직의 평판에 해를 끼치고 대중의 신뢰를 잃을 수 있습니다.
- 설명 가능성 부족: AI의 설명 가능성은 AI 시스템이 내린 결정을 이해하고 정당화할 수 있는 능력을 의미합니다. 설명 가능성이 부족하면 신뢰를 저해하고 법적 조사와 평판 손상으로 이어질 수 있습니다. 예를 들어, 조직의 CEO가 LLM이 교육 데이터를 어디서 얻는지 알지 못하면 나쁜 언론 보도나 규제 조사로 이어질 수 있습니다.
많은 조직이 전체 AI 라이프사이클에 걸쳐 위험을 관리하기 위한 일련의 지침과 관행인 AI 위험 관리 프레임워크를 채택하여 AI 위험을 해결합니다.
또한 이러한 가이드라인은 조직의 AI 사용에 관한 정책, 절차, 역할 및 책임을 설명하는 플레이북으로 생각할 수도 있습니다. AI 위험 관리 프레임워크는 조직이 위험을 최소화하고 윤리 기준을 유지하며 지속적인 규정 준수를 달성하는 방식으로 AI 시스템을 개발, 배포 및 유지 관리할 수 있도록 지원합니다.
가장 일반적으로 사용되는 AI 위험 관리 프레임워크는 다음과 같습니다.
- NIST AI 위험 관리 프레임워크
- EU AI 법
- ISO/IEC 표준
- AI에 관한 미국 행정 명령
2023년 1월, 미국 국립표준기술원(NIST)은 AI 위험 관리에 대한 체계적인 접근 방식을 제공하기 위해 AI 위험 관리 프레임워크(AI RMF)(ibm.com 외부 링크)를 발표했습니다. 이후 NIST AI RMF는 AI 위험 관리의 벤치마크가 되었습니다.
AI RMF의 주요 목표는 조직이 위험을 효과적으로 관리하고 신뢰할 수 있고 책임감 있는 AI 관행을 장려하는 방식으로 AI 시스템을 설계, 개발, 배포 및 사용하도록 지원하는 것입니다.
공공 및 민간 부문과 협력하여 개발된 AI RMF는 전적으로 자발적이며 모든 회사, 산업 또는 지역에 적용할 수 있습니다.
프레임워크는 두 부분으로 나뉩니다. 1부에서는 신뢰할 수 있는 AI 시스템의 위험과 특징에 대해 간략하게 설명합니다. 2부, 'AI RMF 코어'에서는 조직이 AI 시스템 위험을 해결하는 데 도움이 되는 네 가지 기능을 간략하게 설명합니다.
- 거버넌스: AI 위험 관리의 조직 문화 조성
- 지도: 특정 비즈니스 컨텍스트에서 AI 위험 구성
- 측정: AI 위험 분석 및 평가
- 관리: 매핑 및 측정된 위험 해결
EU 인공 지능법(EU AI Act)은 유럽연합(EU)에서 인공 지능의 개발 및 사용을 규제하는 법률입니다. 이 법은 규제에 대한 위험 기반 접근 방식을 취하여 인간의 건강, 안전 및 권리에 대한 위협에 따라 AI 시스템에 다른 규칙을 적용합니다. 또한 이 법안은 ChatGPT와 Google Gemini를 구동하는 파운데이션 모델과 같은 범용 인공지능 모델을 설계, 훈련 및 배포하기 위한 규칙을 제정합니다.
국제 표준화 기구(ISO)와 국제 전기기술 위원회(IEC)는 AI 위험 관리의 다양한 측면을 다루는 표준(ibm.com 외부 링크)을 개발했습니다.
ISO/IEC 표준은 AI 위험 관리에서 투명성, 책임성 및 윤리적 고려 사항의 중요성을 강조합니다. 또한 설계 및 개발부터 배포 및 운영에 이르기까지 AI 라이프사이클 전반에 걸쳐 AI 위험을 관리하기 위한 실행 가능한 지침을 제공합니다.
2023년 말, 바이든 행정부는 AI 안전과 보안을 보장하기 위한 행정 명령(ibm.com 외부 링크)을 발표했습니다. 엄밀히 말하면 위험 관리 프레임워크는 아니지만, 이 포괄적인 지침은 AI 기술의 위험을 관리하기 위한 새로운 표준을 수립하기 위한 지침을 제공합니다.
이 행정 명령은 투명하고 설명 가능하며 책임감 있고 신뢰할 수 있는 AI의 촉진을 포함하여 몇 가지 주요 우려 사항을 강조합니다. 이번 행정명령은 여러 면에서 민간 부문에 선례를 남기는 데 도움이 되었으며, 포괄적인 AI 위험 관리 관행의 중요성을 시사했습니다.
AI 위험 관리 프로세스는 조직마다 다를 수밖에 없지만, AI 위험 관리 관행을 성공적으로 구현하면 몇 가지 공통적인 핵심 이점을 얻을 수 있습니다.
AI 위험 관리는 조직의 사이버 보안 태세와 AI 보안 사용을 강화할 수 있습니다.
조직은 정기적인 위험 평가 및 감사를 수행하여 AI 라이프사이클 전반에 걸쳐 잠재적 위험과 취약성을 식별할 수 있습니다.
이러한 평가를 통해 파악된 위험을 줄이거나 제거하기 위한 완화 전략을 구현할 수 있습니다. 이 프로세스에는 데이터 보안을 강화하고 모델 견고성을 개선하는 등의 기술적 조치가 포함될 수 있습니다. 이 프로세스에는 윤리적 지침 개발 및 액세스 제어 강화와 같은 조직적 조정도 포함될 수 있습니다.
위협 탐지 및 대응에 대한 이러한 사전 예방적 접근 방식을 취하면 조직은 위험이 확대되기 전에 위험을 완화하여 데이터 유출 가능성과 사이버 공격의 잠재적 영향을 줄일 수 있습니다.
AI 위험 관리는 또한 조직의 전반적인 의사 결정을 개선하는 데 도움이 될 수 있습니다.
조직은 통계적 방법과 전문가 의견을 포함한 정성적 및 정량적 분석을 혼합하여 잠재적 위험을 명확하게 이해할 수 있습니다. 이러한 전체 그림 보기는 조직이 고위험 위협의 우선순위를 정하고 AI 배포와 관련하여 더 많은 정보에 입각한 의사 결정을 내림으로써 혁신에 대한 열망과 위험 완화의 필요성 사이에서 균형을 맞추는 데 도움이 됩니다.
전 세계적으로 민감한 데이터 보호에 대한 관심이 높아짐에 따라 일반 데이터 보호 규정(GDPR), California Consumer Privacy Act(CCPA), EU AI 법을 비롯한 주요 규제 요구 사항 및 산업 표준이 제정되었습니다.
이러한 법률을 준수하지 않을 경우 막대한 벌금과 상당한 법적 처벌을 받을 수 있습니다. AI 위험 관리는 특히 AI를 둘러싼 규정이 기술 자체만큼이나 빠르게 진화하는 상황에서 조직이 규정을 준수하고 양호한 상태를 유지하는 데 도움이 될 수 있습니다.
AI 위험 관리는 조직이 AI 시스템으로 잠재적인 위험을 실시간으로 해결함으로써 업무 중단을 최소화하고 비즈니스 연속성을 보장할 수 있도록 지원합니다. AI 위험 관리는 또한 조직이 AI 사용에 대한 명확한 관리 관행과 방법론을 수립할 수 있도록 함으로써 책임감을 높이고 장기적인 지속가능성을 강화할 수 있습니다.
AI 위험 관리는 신뢰와 투명성을 우선시하여 AI 시스템에 대한 보다 윤리적인 접근 방식을 장려합니다.
대부분의 AI 위험 관리 프로세스에는 경영진, AI 개발자, 데이터 과학자, 사용자, 정책 입안자, 심지어 윤리 전문가를 포함한 다양한 이해관계자가 참여합니다. 이러한 포괄적인 접근 방식은 모든 이해관계자를 염두에 두고 AI 시스템을 책임감 있게 개발하고 사용할 수 있도록 도와줍니다.
조직은 정기적인 테스트와 모니터링 프로세스를 수행함으로써 AI 시스템의 성능을 더 잘 추적하고 새로운 위협을 더 빨리 탐지할 수 있습니다. 이러한 모니터링을 통해 조직은 지속적인 규정 준수를 유지하고 AI 위험을 조기에 해결하여 위협의 잠재적 영향을 줄일 수 있습니다.
업무 수행 방식을 간소화하고 최적화할 수 있는 모든 잠재력에도 불구하고 AI 기술에 위험이 없는 것은 아닙니다. 엔터프라이즈 IT의 거의 모든 부분은 잘못된 사람의 손에 들어가면 흉기가 될 수 있습니다.
조직은 생성형 AI를 피할 필요가 없습니다. 다른 기술 툴과 마찬가지로 취급하면 됩니다. 즉, 위험을 이해하고 공격이 성공할 가능성을 최소화하기 위해 사전 예방적 조치를 취해야 합니다.
IBM watsonx.governance로 조직은 하나의 통합 플랫폼에서 AI 활동을 쉽게 지시, 관리 및 모니터링할 수 있습니다. IBM watsonx.governance는 모든 공급업체의 생성형 AI 모델을 관리하고, 모델 상태와 정확성을 평가하며, 주요 규제 준수 워크플로를 자동화할 수 있습니다.