모델 거버넌스란 무엇인가요?

모델 거버넌스는 복잡한 금융 모델의 위험을 해결하기 위해 금융 부문에서 시작되었습니다. 인공 지능(AI) 및 머신 러닝(ML) 기술이 부각됨에 따라, 모델 거버넌스의 중요성도 빠르게 확대되었습니다. McKinsey에 따르면, 78%의 조직이 최소 하나 이상의 비즈니스 기능에서 AI를 사용하고 있으며, 이는 AI 및 ML 모델이 운영 및 전략적 의사 결정에 얼마나 깊이 자리잡았는지를 보여줍니다.

모델 거버넌스의 목적은 기존 재무 모델이든 머신 러닝 모델이든 모델이 의도한 대로 작동하고, 규정을 준수하며, 시간이 지남에 따라 신뢰할 수 있는 결과를 제공하도록 하는 것입니다. 강력한 모델 거버넌스 프레임워크는 전체 모델 라이프사이클에 걸쳐 투명성, 책임성 및 반복성을 지원합니다.

은행 및 보험과 같은 규제 대상 산업에서 모델 거버넌스는 규정 준수 요건입니다. 미국에서는 통화감독청(OCC)이 금융 기관의 모델 리스크를 관리하기 위한 구체적인 거버넌스 관행을 제시하고 있습니다. OCC의 지침은 법적 구속력은 없지만 규제 심사에 활용됩니다. 이를 준수하지 않을 경우 벌금 또는 기타 처벌을 받을 수 있습니다.

실시간 의사 결정이 일반화되고 규제 요구 사항이 진화함에 따라, 효과적인 모델 거버넌스는 AI를 책임감 있게 활용하려는 조직에 중요한 역량으로 떠오르고 있습니다.

조직이 중요한 의사 결정을 지원하기 위해 복잡한 모델을 점점 더 많이 사용하고 있습니다. 은행 업계의 신용 평가든 의료 분야의 환자 위험 평가든, 이러한 모델은 이를 관리하는 프레임워크만큼만 효과적입니다. 

모델 거버넌스는 모델의 개발, 배포 및 지속적인 성능을 감독할 수 있는 구조를 제공합니다. 모델 라이프사이클의 모든 단계에서 명확한 제어와 책임을 설정함으로써 조직은 모델이 신뢰할 수 있고 비즈니스 목표에 부합하도록 유지할 수 있습니다. 따라서 모델 거버넌스는 위험 관리, 규정 준수 및 운영 무결성의 기본 구성 요소가 됩니다. 

대부분의 모델, 특히 ML 모델은 핵심 비즈니스 프로세스에 내장되어 있습니다. 적절한 거버넌스가 없으면 이러한 모델은 시간이 지남에 따라 표류하여  성능이 저하되거나, 편향된 결과를 초래하거나, 현재 시장 상황이나 인구 통계 추세와 일치하지 않는 의사 결정을 초래할 수 있습니다. 금융이나 의료와 같은 분야에서는 이러한 실패가 현실적으로 심각한 결과를 초래할 수 있습니다. 

모델 거버넌스는 비즈니스 결과에 영향을 미치기 전에 이러한 위험을 평가하고 완화할 수 있는 메커니즘을 제공합니다. 그 외에도 조직은 모델 거버넌스를 사용하여 다음을 수행할 수 있습니다.

• OCC 및 기타 규제 기관의 요구 사항에 맞춰 규정 준수 개선
• 모델 아웃풋의 설명 가능성, 일관성 및 신뢰성을 보장하여 이해관계자 간의 신뢰도 향상
• 자동화 및 거버넌스 워크플로 통합을 통해 운영 효율성 최적화

AI 도입이 가속화됨에 따라 모델 거버넌스는 윤리적 AI의 토대가 되기도 합니다. 다양한 사용 사례에 걸쳐 공정성, 책임성, 투명성을 모델의 설계와 배포에 포함시킬 수 있는 방법을 제공합니다. 

모델을 위한 거버넌스 프레임워크는 알고리즘, 데이터 세트, 이해관계자 및 워크플로로 구성된 에코시스템에 구조를 제공합니다. 프레임워크는 산업마다 다르지만 일반적으로 다음과 같은 핵심 구성 요소를 포함합니다.

강력한 거버넌스는 출발점인 모델 개발 단계에서 시작됩니다. 여기에는 목표 정의, 학습 데이터 선택, 데이터 소스 검증, 모델 입력이 의도한 사용 사례에 부합하는지 확인하는 작업이 포함됩니다.데이터 품질은 매우 중요하며, 결함이 있거나 편향된 입력 데이터는 낮은 품질의 모델 결과로 이어질 수 있습니다.

모델 문서화는 선택한 방법론의 근거, 가정, 사용된 데이터 세트, 예상 모델 출력 결과를 기록해야 합니다. 이 문서는 투명성을 위한 청사진 역할을 하며 향후 업데이트, 감사, 모델 검증 프로세스를 간소화하는 데 도움이 됩니다.

중앙 집중식 모델 재고는 조직이 사용 중인 모든 모델과 그 목적, 소유자, 방법론, 라이프사이클 내 상태를 추적할 수 있게 합니다.여기에는 금융 모델, 신용 점수 알고리즘, 사기 탐지용 ML 모델, 스프레드시트에 포함된 모델까지 포함됩니다. 

잘 관리된 모델 재고도 더 나은 위험 평가를 지원하며 모델 사용에 대한 실시간 의사 결정에 도움이 됩니다.

검증은 모델 위험 관리의 핵심 요소입니다. 독립적인 검증 팀은 모델을 과거 데이터(백테스팅)를 통해 테스트하고, 금리나 인구 통계 변화와 같은 동적 요인에 대한 민감도를 평가하며, 모델 결과가 비즈니스 기대치에 부합하는지 검증합니다.

ML 모델의 경우, 검증 범위에는 알고리즘 편향, 견고성, 과적합 여부 확인까지 포함됩니다. 과적합은 알고리즘이 학습 데이터에 너무 밀접하게(혹은 정확히) 맞춰져 다른 데이터에서는 정확한 결론을 도출하지 못하는 경우입니다. 목표는 입력값이 변하더라도 모델 결과가 안정적이고 해석 가능하도록 유지하는 것입니다. 

모델이 배포된 이후에도 거버넌스는 계속됩니다. 지속적인 모델 모니터링은 성능 저하, 입력 데이터 드리프트, 데이터 품질 변화 감지를 위해 필수적입니다. 관측 가능성 툴은 정확도와 재현율과 같은 지표를 추적하고, 재학습 또는 재조정이 필요한 이상을 감지하는 데 도움이 될 수 있습니다. 

현대적인 머신 러닝 운영(MLOps) 워크플로에서는 조직이 배포 프로세스 일부를 자동화하고, CI/CD(지속적 통합 및 지속적 배포) 파이프라인에 거버넌스 검증 단계를 직접 통합할 수 있습니다. 이렇게 하면 감독 기능을 손상시키지 않으면서도 더 빠른 반복이 가능합니다.

모델 거버넌스는 데이터 과학자, 위험 관리자, 비즈니스 리더, 규정 준수 팀, 감사원이 모두 핵심 참여자로 참여하는 협업 활동입니다. 명확한 책임과 워크플로를 정의하면 개발부터 검증, 모델 폐기까지 수명 주기의 모든 단계에서 책임을 보장할 수 있습니다. 

효과적인 거버넌스에는 커뮤니케이션도 포함됩니다. 내부 대시보드, 거버넌스 보고서, 또는 여러 부서로 구성된 팀을 위한 전용 팟캐스트와 같은 수단을 통해, 정보가 이해관계자 간에 효율적으로 흐를 수 있어야 합니다.

모델 거버넌스의 원칙은 산업별로 다양한 위험, 규제, 우선순위를 가진 여러 산업 분야에 적용됩니다.

모델 거버넌스는 지역 및 글로벌 규정을 통해 시행되며, 조직이 수명 주기 전반에 걸쳐 모델을 관리하는 방식에 대해 책임을 지도록 합니다. 주목할 만한 규정은 다음과 같습니다.

SR 11-7은 은행 업무의 모델 리스크 관리에 대한 표준을 정립하여 기관이 모델의 재고를 유지하고 전사적 거버넌스 관행을 구현하도록 요구합니다. 또한 모델이 의도한 목적에 부합하고 최신 상태를 유지하며, 독립적인 이해가 가능할 정도로 명확한 문서를 유지하도록 요구합니다.

전미 보험 감독관 협회(NAIC)는 AI 및 알고리즘 기반 의사 결정, 특히 신용 점수 산정, 가격 책정, 인구 통계학적 공정성과 관련된 모델 규제를 도입했습니다.이러한 요소들은 보험 인수 및 청구 처리 거버넌스에서 점점 더 중요한 요소로 부상하고 있습니다.

EU AI 법 또는 AI 법이라고도 하는 유럽연합의 AI 법은 EU에서 AI의 개발 및/또는 사용을 규율하는 법률입니다. 이 법안은 규제에 대한 위험 기반 접근 방식을 취하며 AI가 제기하는 위험에 따라 다양한 규칙을 적용합니다.

일반 데이터 보호 규정(GDPR)에 따라 EU 시민의 개인 데이터를 처리하는 모든 모델은 공정성, 투명성, 책임성과 같은 원칙을 따라야 합니다. 이것은 ML 모델 거버넌스, 특히 설명 가능성 및 데이터 품질에 간접적인 영향을 미칩니다. 

스위스 금융시장감독청(FINMA)과 영국 건전성감독청(PRA)은 금융 서비스에서의 AI 및 모델 사용에 대한 지침(각각 FINMA 지침 08/2024 및 PRA 감독 성명 SS1/23)을 발표했습니다.

이 문서는 모델 거버넌스, ML 모델의 설명 가능성 및 포괄적인 모델 문서와 같은 영역을 다룹니다. 이들은 SR 11-7과 유사한 점이 있지만, AI 고유의 리스크 및 운영 복원력과 같은 측면에 고유한 강조점을 둡니다.​

바젤 프레임워크는 효과적인 데이터 취합 및 위험 보고(BCB 239)를 위한 원칙을 설명하며, 이는 문서 및 설명 가능성 및 모델 위험 감독과 같은 모델 거버넌스 관행과 직접적으로 연결됩니다. 국제적으로 운영되는 은행은 SR 11-7과 함께 바젤을 표준으로 사용하는 경우가 많습니다.

모델 거버넌스의 가치는 분명하지만, 이를 대규모로 구현하는 데는 여러 가지 과제가 따릅니다.

• 모델의 규모와 복잡성: 조직이 더 많은 ML 및 AI 툴을 채택함에 따라, 정확한 모델 인벤토리를 유지하는 것이 어려워집니다. 특히 스프레드시트나 타사 플랫폼에 모델이 내장된 경우에는 더욱 그렇습니다.
• 설명 가능성 및 신뢰: 규제 기관 및 비즈니스 리더를 포함한 많은 이해 관계자들은 설명 가능한 모델을 요구합니다. 성능과 설명 가능성 간의 균형은 AI 모델 거버넌스에서 지속적인 긴장 요소로 남아 있습니다. 
  
  
• MLOps와의 통합: 거버넌스 프레임워크는 혁신을 늦추지 않고 실시간 워크플로 및 DevOps 스타일 배포에 적응해야 합니다.

AI와 ML이 워크플로에 더욱 내재화됨에 따라 조직이 모델 거버넌스에 접근하는 방식이 새로운 방식으로 형성되고 있습니다. 검증, 모델 문서 및 모델 모니터링과 같은 기본 관행은 여전히 필수적이지만, 몇 가지 새로운 트렌드가 기대치를 재정의하기 시작했습니다.

이러한 트렌드는 모델 거버넌스가 방어적 접근법에서 전략적 역량으로 지속적으로 진화하고 있음을 보여줍니다. 구조화된 부서 간 거버넌스 관행을 활용함으로써 조직은 머신 러닝 모델에 대한 신뢰를 강화하는 동시에 혁신을 가속화할 수 있습니다.