모델 위험 관리란 무엇인가요?

모델은 입력 데이터를 처리하고 정량적 추정치를 산출하는 모든 정량적 접근 방식, 방법 또는 시스템을 일컫습니다.¹ 모델은 일반적으로 비즈니스 의사 결정, 비즈니스 기회 및 위험 결정, 비즈니스 전략 고안, 비즈니스 운영 관리 등에 적용됩니다.

예를 들어 금융 기관에서는 가격 책정, 가치 평가, 사기 및 자금 세탁 탐지 및 방지 등 여러 금융 서비스를 위해 다양한 모델을 사용합니다. 모델을 사용하면 위험이 따르는 경우가 흔하기 때문에 모델 위험 관리(MRM)는 기업에서 매우 중요한 고려 사항입니다.

예를 들어, 2007년에서 2008년 사이에 일어난 세계 금융 위기는 투자로 인해 발생할 수 있는 미래 손실을 추정하는 위험가중치(VaR) 모델의 결함이 일부 원인이었습니다.² 2012년에 JPMorgan Chase는 '런던 웨일(London Whale)' 거래 사고로 인해 60억 달러의 손실을 입었으며 10억 달러에 가까운 벌금을 물어야 했습니다.³ 이는 부분적으로 모델 컴퓨팅의 스프레드시트 오류로 인해 위험을 과소평가했기 때문입니다.⁴ 

부동산 시장 회사인 Zillow는 2021년에 주택 구매 사업이 실패하자 3억 4천만 달러의 재고를 처분하고 직원의 4분의 1을 감원할 계획을 세웠는데, 이는 주택 가격 평가 모델이 주택 가격을 정확하게 예측하지 못했던 점이 일부 원인이 되었습니다.⁵

모델 위험은 다음과 같은 다양한 원인에서 비롯될 수 있습니다.

모델 위험을 관리하지 않으면 조직의 재정, 운영, 평판이 엄청난 타격을 입을 수 있습니다. 모델 위험을 효과적으로 관리하려면 모델 수명 주기의 모든 단계에서 위험을 고려하는 프레임워크가 필요합니다.

모델 위험 관리에는 다음과 같은 규제 지침도 수반됩니다. 예를 들어 미국에서는 연방준비제도와 통화감독청(OCC)이 모델 위험 관리에 대한 감독 지침을 발표했는데, 이는 MRM 프레임워크에 대한 벤치마크 역할을 합니다.

다음은 효과적인 모델 위험 관리 프레임워크를 위한 6가지 일반적인 단계입니다.크

위험 식별은 모델 위험 관리의 첫 번째 단계입니다. 여기에는 모델 인벤토리를 수행하고 각 모델과 관련된 위험을 정의하는 작업이 포함됩니다.

다음 단계는 모델 위험을 측정하고 평가하는 것입니다. 기업은 여러 메트릭 중에서도 우선 순위, 발생 확률, 영향의 심각성에 따라 모델 위험의 순위를 매기는 평가 시스템을 마련할 수 있습니다.

기업은 개별 모델 위험 측정 외에도 종합적 모델 위험도 고려할 수 있습니다. 종합적 모델 위험은 서로 다른 유형의 모델 사이의 종속성과 상호 작용으로 인해 발생하는 위험을 의미합니다. 예를 들자면 의료 진단 모델의 결과가 환자 치료 예측 모델에 반영될 수 있습니다. 진단 모델에 편향이 있는 경우 이러한 편향이 예측 모델에 영향을 미쳐 응급 치료를 받을 사람을 결정하는 데 영향을 미칠 수 있습니다.

위험을 완화하려면 위험의 출처와 원인을 해결해야 합니다. 모델 위험 관리 프레임워크에 통합할 수 있는 몇 가지 위험 완화 전략은 다음과 같습니다.

• 감사 및 검토: 기업은 자체적으로 모델에 대한 내부 감사를 실시하거나 타사 전문가를 고용하여 독립적인 검토를 수행할 수 있습니다.

• 표준: 모델링 프로세스에 대한 표준을 만들면 위험을 최소화하는 데 도움이 될 수 있습니다. 데이터 수집, 모델 설계 및 개발 프로세스, 테스트, 문서화 및 모델 사용을 위한 표준을 만들 수 있습니다.

그러나 모든 위험을 완화할 수 있는 것은 아니므로 기업은 여전히 어느 정도의 위험에 노출될 수 있습니다. 따라서 조직의 위험 수용 범위를 설정하는 것이 도움이 될 수 있습니다. 이는 모델 사용과 관련하여 기업이 감수할 의사가 있고 감당할 수 있는 위험의 수준입니다.

검증 프로세스는 모델의 품질을 확인하고 결과를 검증하는 데 효과적인 역할을 담당합니다. 모델 유효성 검사는 모델을 구현한 후 사용자에게 릴리스하기 전에 수행됩니다. 여기에는 정량적 접근 방식과 정성적 접근 방식이 모두 포함됩니다.

정량적 모델 검증에는 다음과 같은 전략이 포함됩니다.

• 백테스팅은 실제 과거 데이터를 사용해 모델을 테스트함으로써 정확성과 효과를 평가하는 결과 분석의 한 형태입니다.

• 챌린저 모델은 '챔피언' 모델에 도전하기 위해 개발된 대안 모델입니다. 챔피언 모델과 챌린저 모델은 모두 동일한 데이터를 사용해 테스트한 후 결과를 비교하여 잠재적 또는 숨겨진 위험을 밝혀냅니다.

• 민감도 분석은 특정 조건에서 특정 변수를 변경하면 다른 변수에 어떤 영향이 발생하는지 조사하는 것입니다.

• 스트레스 테스트는 추측 또는 이론적 시나리오를 기반으로 시뮬레이션을 적용하여 모델이 어떻게 반응하는지 확인합니다.

한편, 정성적 모델 검증은 모델이 목적에 대한 적합성 및 모델이 표준을 준수하는지 또는 규정을 준수하는지 여부와 같은 요소를 고려합니다.

모델 모니터링은 모델을 지속적으로 면밀히 조사하여 모델이 의도한 대로 작동하고 예상대로 계속 작동하는지 확인하는 것입니다. 데이터, 프로세스 및 규정의 변경으로 인해 발생할 수 있는 추가 위험이나 업데이트가 필요한 부분을 정확히 찾아냅니다.

모델 검증은 일반적으로 지속적인 모니터링 프로세스의 일부입니다. 이 단계에서는 모니터링 및 검증 보고서를 작성하고 관련 이해관계자가 검토하여 필요한 조치를 권고합니다.

모델 거버넌스는 전체 모델링 프로세스에 대한 감독 기능을 제공합니다.정책과 절차를 통해 소유권 및 통제 시스템을 구축합니다.건전한 모델 위험 거버넌스를 위해서는 이사회와 고위 경영진부터 모델 소유자, 모델 개발자, 모델 사용자에 이르기까지 다양한 의사 결정권자와 이해관계자로 구성된 팀이 투입되어야 합니다.

오늘날 많은 모델은 특히 모델을 생성하고 테스트할 때 어떤 형태로든 AI와 머신 러닝을 활용합니다.

예를 들어, 금융 업계에서 AI가 주로 적용되는 분야는 신용 위험, 시장 위험 및 운영 위험 모델링입니다. 이 기술은 신용 및 대출 위험을 평가하고, 시장 모델을 만들고, 금융 사기 및 자금 세탁을 탐지하는 데 도움이 될 수 있습니다.

AI와 머신 러닝은 모델 위험 관리, 특히 모델 검증(예: 스트레스 테스트 시장 모델) 및 실시간 모델 모니터링에도 적용할 수 있습니다. 모델 위험 관리에는 다음과 같은 몇 가지 일반적인 머신 러닝 알고리즘 및 방법이 사용됩니다.

• 민감도 분석에 클러스터링을 구현하면 변수가 변경되거나 특정 시나리오를 시뮬레이션할 때 위험을 나타낼 수 있는 이상 징후를 발견할 수 있습니다.

• 의사결정트리를 신경망과 결합하면 거래 모델을 모니터링할 수 있습니다. 예를 들어 트레이딩 중에 기본 패턴에 변화가 있으면 거래자에게 알릴 수 있습니다.

• 딥 러닝과 강화 학습은 모두 실시간 모델 모니터링, 문제 감지 및 해결 방법 자동 추천에 사용할 수 있습니다.

• 신경망은 스트레스 테스트를 지원하므로 은행이 경기 침체와 같은 어려운 경제 상황에서 유동성을 모델링하는 데 활용 가능합니다.

모델 위험 관리 소프트웨어는 조직이 모델 위험을 보다 효과적으로 관리하는 데 도움이 됩니다. 모델 인벤토리 및 추적, 지표, 모델 및 정책을 여러 규제 요건에 매핑하는 등의 고급 기능을 제공합니다. 다른 모델 위험 관리 도구도 AI 및 머신 러닝 모델 관리를 허용하며, 모델 모니터링 자동화 및 모델 검증 기능을 포함합니다.