AI TRiSM이란 무엇인가요?

AI TRiSM 또는 인공 지능(AI) 신뢰, 위험 및 보안 관리(AI TRiSM)는 “AI 모델 거버넌스, 신뢰성, 공정성, 신뢰도, 견고성, 효율성 및 데이터 보호를 보장합니다. 여기에는 모델 해석 가능성 및 설명 가능성, AI 데이터 보호, 모델 운영, 적대적 공격 저항을 위한 솔루션과 기술이 포함됩니다.”¹
 

이는 리서치 및 컨설팅 기업인 Gartner®에 의해 개발되었으며, “이러한 위험을 식별하고 완화하는 사전 예방적 솔루션을 제공하여 안정성, 신뢰성 및 보안을 보장합니다.”²

여러 개별 프레임워크가 AI 신뢰성, AI 위험, AI 보안에 각각 집중하고 있지만, 연구자들에 따르면 이를 통합하고 동기화하는 것은 어렵습니다. 이러한 조율 부족은 AI 관리의 단편화로 이어질 수 있습니다. 또한 AI 구현 및 AI 활용에서 발생하는 위험 및 보안 결과에 대한 지식 격차로도 이어질 수 있습니다.

하지만 AI TRiSM 프레임워크는 통합된 접근 방식을 제공합니다. 이는 다양한 프레임워크의 핵심 요소를 통합하여 AI 기술을 보다 포괄적으로 관리할 수 있게 합니다.

AI TRiSM 지지자들은 이 프레임워크가 대규모 언어 모델(LLM)과 같은 생성형 AI(Gen AI)의 발전과 사용 증가와 관련된 위험 및 사이버 위협을 완화하는 데 중요하다고 보고 있습니다. 생성형 AI 사용은 조직의 공격 표면을 확장하고, 해커들이 더 정교한 사이버 공격을 수행하도록 하며, 새로운 윤리적 고려사항을 초래할 수 있습니다. 헬스케어 및 금융 분야에서 AI TRiSM 적용의 이점으로는 위험 완화, 모델 모니터링 강화, 적대적 공격 및 무단 접근에 대한 보호 장치가 있습니다.³

Gartner에 따르면 “AI 신뢰, 위험 및 보안 관리(AI TRiSM)는 다음을 보장합니다.

• 거버넌스
• 신뢰성
• 공정성
• 신뢰성
• AI 배포의 데이터 보호"⁴

AI 거버넌스는 AI 시스템과 툴이 안전하고 윤리적임을 보장하는 데 도움이 되는 프로세스, 표준 및 보호 장치를 의미합니다. 효과적인 AI 거버넌스에는 잠재적 편향, 데이터 프라이버시 침해 및 기타 우려 사항을 해결하는 메커니즘을 포함한 위험 관리가 포함되며, 동시에 신뢰를 구축하고 혁신을 지원합니다.

AI 시스템이 확립된 윤리 규범 및 법적 규정을 준수하는지 지속적으로 모니터링하고 평가하는 활동이 포함됩니다. AI 거버넌스에는 안전하고 고품질의 데이터를 유지하며, 데이터 탐색 및 비즈니스 인텔리전스 이니셔티브에 쉽게 접근할 수 있도록 설계된 데이터 관리 원칙인 데이터 거버넌스가 포함됩니다.

조직과 프레임워크마다 AI 시스템의 신뢰성을 결정하는 다양한 원칙과 목표에 중점을 둡니다. 신뢰할 수 있는 AI의 원칙으로 자주 언급되는 것은 책임성, 설명 가능성, 해석 가능성입니다.

AI 모델 사용자와 기타 이해관계자가 모델의 작동 방식을 이해하는 데 어려움을 겪으면 AI 시스템에 대한 신뢰가 떨어질 수 있습니다. 올바른 프로세스와 방법론은 사용자가 머신러닝 모델의 의사 결정 과정과 아웃풋을 이해하고 신뢰하는 데 도움이 될 수 있습니다.

공정성은 AI 개발 라이프사이클 동안 AI 모델과 데이터의 편향을 완화하거나 제거하는 것을 포함합니다. AI 모델은 학습 데이터에 내재될 수 있는 사회적 편향을 흡수합니다. 사회적 불평등을 반영한 편향된 데이터 수집은 신용 점수 산정, 채용 등 다양한 영역에서 역사적으로 소외된 집단에 피해를 줄 수 있습니다.

AI에서 편향을 식별하고 해결하려면 조직의 AI 활동을 지휘, 관리, 모니터링할 수 있는 능력이 필요합니다. 이는 AI 거버넌스를 통해 달성할 수 있으며, 구체적으로는 책임감 있는 AI 개발 및 AI 기술 사용을 안내하는 정책과 관행을 수립하는 것입니다.

신뢰성은 일반적으로 특정 조건 하에서 일정 기간 동안 예상되거나 요구되는 대로 기능할 수 있는 능력을 의미합니다. AI 시스템의 경우, 성능 기대치를 충족하는 것은 시스템의 수명 동안 올바른 결과를 지속적으로 제공하는 것을 포함합니다.⁵

데이터 보호는 민감한 데이터를 손실과 손상으로부터 보호하는 실천입니다. 데이터 보호는 데이터의 가용성을 유지하여 데이터 침해나 악성코드 공격으로 인해 데이터가 손상되거나 손실되더라도 사용자가 비즈니스 운영을 위해 데이터를 액세스할 수 있도록 보장합니다.

데이터 보호에는 데이터 보안(무단 액세스, 손상 또는 도난으로부터 디지털 정보 보호)과 데이터 프라이버시(개인이 자신의 개인 데이터를 제어할 수 있어야 한다는 원칙)가 포함됩니다. 데이터 보호는 유럽 일반 개인정보 보호 규정(GDPR)과 같은 주요 규제 체제 준수의 핵심 요소입니다.

기존 기술과 최신 AI 특화 솔루션 모두 AI TRiSM을 지원합니다. 전통적인 기술에는 ID 및 액세스 관리(IAM)를 제공하는 툴과 데이터 보안 상태 관리를 위한 솔루션이 포함됩니다.

AI TRiSM을 위한 AI 특화 기술은 공급업체에 따라 다양합니다. 일부는 보안 또는 규정 준수와 같은 특정 기능에 중점을 둡니다. 다른 기업들은 AI 거버넌스, AI 런타임 검사 및 시행을 위한 다양한 기능을 갖춘 보다 포괄적인 제품을 제공합니다.

AI 거버넌스 소프트웨어는 기업이 감사 지원을 위해 AI 개발 활동을 포함한 모델 정보를 자동으로 기록하고 모니터링하며, 모델 위험 평가를 수행하고, 모델 성능을 평가하여 유해한 콘텐츠 생성을 방지하고, 규제 준수를 관리할 수 있도록 지원합니다. 일부 거버넌스 툴은 조직 내부에서 생성된 AI 모델에만 적용되지만, 다른 툴들은 Amazon Bedrock, Microsoft Azure와 같은 타사 플랫폼에서 생성된 모델에도 적용할 수 있습니다.

Gartner 웨비나에 따르면, AI 런타임 검사 및 시행 기능은 AI 모델, AI 애플리케이션, AI 에이전트를 포함합니다. AI 모델, AI 애플리케이션 및 AI 에이전트는 "내부 및 외부 제어 준수"를 제공하고 AI 애플리케이션은 "컨텍스트 기반 액세스 제어 및 동적 컨텍스트 데이터 분류"를 제공합니다.⁶

엔터프라이즈 AI 배포 및 관리에 AI TRiSM을 구현하는 다양한 활용 사례가 있습니다. 그 예는 다음과 같습니다.

의료 전문가들은 의료 기기 자동화부터 영상 분석에 이르기까지 다양한 목적을 위해 AI 기반 툴들을 점점 더 많이 사용하고 있습니다. AI TRiSM 프로그램은 이러한 시스템에서 사용되는 의료 데이터를 데이터 유출로부터 보호하는 데 도움이 됩니다. 예를 들어, 액세스 제어와 같은 조치는 무단 접근의 잠재적 위험을 완화할 수 있습니다.

인구 통계적 편향이 포함된 데이터 세트를 사용하여 AI 알고리즘을 학습시키는 경우 결과에 편향이 생길 수 있습니다. 이는 금융 산업에서 잘 알려진 문제이며, 대출 승인, 이자율 부과 등 다양한 분야에 영향을 미쳐왔습니다. 덴마크에서는 덴마크 비즈니스 협회가 금융 거래를 감독하는 AI 모델에 대한 예측을 검증하기 위해 공정성 테스트를 수행하여 AI TRiSM 관행을 적용했으며, 이를 통해 고객 신뢰도를 높였습니다.⁷

금융 거래의 공정성을 높이는 것 외에도 AI TRiSM 조치는 금융 기관의 사기 탐지 시스템을 적대적 공격으로부터 보호하는 데 도움이 될 수 있습니다.⁸ 이러한 AI 솔루션은 은행이 소비자 보호 및 민감 정보 보호에 관한 법적 요구 사항을 준수하는 데에도 도움을 줍니다.