O que é gerenciamento de risco de modelo?

Um modelo é qualquer abordagem, método ou sistema quantitativo que processa dados de entrada e gera estimativas numéricas.¹ Modelos são normalmente aplicados ao tomar decisões de negócios, identificar oportunidades e riscos, criar estratégias de negócios e gerenciar operações empresariais.

Por exemplo, as instituições financeiras dependem de diversos modelos para preços, avaliação e detecção e prevenção de fraude e lavagem de dinheiro, entre outros serviços. O uso de modelos frequentemente traz riscos, tornando o gerenciamento de risco de modelos (MRM) essencial para as empresas.

Por exemplo, a crise financeira global de 2007 a 2008, foi parcialmente atribuída a modelos de valor em risco (VaR) falhos, que estimavam perdas futuras potenciais em investimentos.² Em 2012, o desastre comercial "London Whale" do JPMorgan Chase resultou em perdas de US$ 6 bilhões e quase US$ 1 bilhão em multas.³ Esse resultado foi, em parte, causado por um erro em planilhas que calculavam o modelo, o que levou a uma subavaliação do risco.⁴ 

Em 2021, a empresa de marketplace imobiliário Zillow registrou uma baixa de estoque de 304 milhões de dólares e planejou cortar um quarto de sua força de trabalho após o fracasso em sua empreitada de compra de imóveis, causada em parte pela incapacidade de seu modelo de avaliação de preços de imóveis de prever com precisão os preços das casas.⁵

O risco do modelo pode ter várias causas:

Se o risco de modelo não for gerenciado, ele pode causar estragos nas finanças, operações e reputação de uma organização. Um gerenciamento eficaz de risco de modelo exige um framework que considere o risco em cada etapa do ciclo de vida do modelo.

O gerenciamento do risco do modelo também envolve o cumprimento das diretrizes regulatórias. Nos EUA, por exemplo, o Federal Reserve e o Office of the Comptroller of the Currency (OCC) divulgaram uma orientação de supervisão sobre o gerenciamento de riscos de modelos, que serve como benchmark para um framework de MRM.

Aqui estão seis etapas comuns para a construção de um framework eficaz de gerenciamento de risco de modelo:

Identificar os riscos é o primeiro passo no gerenciamento de risco de modelo. Isso envolve realizar um inventário dos modelos e definir os riscos associados a cada um.

A próxima etapa é medir e avaliar o risco do modelo. As empresas podem desenvolver um sistema de classificação que ordena os riscos dos modelos de acordo com a prioridade, a probabilidade de ocorrência e a gravidade de seus efeitos, entre outras métricas.

Além da medição do risco de cada modelo individualmente, as empresas também podem considerar o risco agregado dos modelos. O risco agregado de modelos se refere aos riscos decorrentes das dependências e interações entre diferentes tipos de modelos. Por exemplo, os resultados de um modelo de diagnóstico médico podem impulsionar um modelo de predição de cuidados ao paciente. Se o modelo de diagnóstico apresentar tendências, essa tendência pode ser transferida para o modelo de predição, impactando quem receberá cuidados urgentes.

Mitigar o risco envolve lidar com suas fontes e causas. Aqui estão algumas estratégias de mitigação de risco que podem ser incorporadas a um framework de gerenciamento de riscos de modelos:

• Auditorias e revisões: as empresas podem realizar auditorias internas de seus modelos ou contratar especialistas externos para realizar avaliações independentes.

• Normas: criação de normas para o processo de modelagem contribui para reduzir riscos. Podem ser elaboradas normas para a coleta de dados, o processo de projeto e desenvolvimento de modelos, testes, documentação e utilização de modelos.

Nem todos os riscos podem ser mitigados, portanto as empresas ainda podem estar expostas a algum nível de risco. Assim, as empresas podem achar vantajoso estabelecer seu nível de tolerância ao risco. Esse é o nível de risco que a empresa está disposta e preparada para tolerar ao utilizar modelos.

O processo de validação serve como um teste eficaz do modelo para avaliar sua qualidade e verificar seus resultados. A validação do modelo é feita após a implementação e antes de ser disponibilizado aos usuários. Ela inclui abordagens quantitativas e qualitativas.

A validação quantitativa do modelo inclui as seguintes estratégias:

• Backtesting é uma forma de análise de resultados que utiliza dados históricos reais para testar um modelo, avaliando assim sua precisão e eficácia.

• Os modelos challenger são modelos alternativos desenvolvidos para desafiar um modelo “campeão”. Tanto o modelo campeão quanto o challenger utilizam os mesmos dados, e seus resultados são comparados para identificar riscos potenciais ou ocultos.

• A análise de sensibilidade examina como a alteração de uma variável específica em determinadas condições afeta outras variáveis.

• O teste de estresse utiliza simulações baseadas em cenários especulativos ou teóricos para observar a resposta do modelo.

Enquanto isso, a validação qualitativa de modelos considera fatores como a adequação de um modelo ao seu propósito e se ele está em conformidade com os padrões ou regulamentos.

O monitoramento de modelos avalia continuamente se eles ainda funcionam conforme o previsto e mantêm o desempenho esperado. Ele identifica quaisquer riscos adicionais que possam surgir ou atualizações necessárias devido a mudanças nos dados, processos e regulamentações.

A validação do modelo geralmente faz parte do processo contínuo de monitoramento. Neste estágio, relatórios de monitoramento e validação são elaborados e avaliados pelos stakeholders relevantes para recomendar ações necessárias.

A governança do modelo abrange o controle total do processo de modelagem. Ela estabelece um sistema de responsabilidade e controle por meio de políticas e procedimentos. Uma governança sólida de risco de modelo requer uma equipe diversificada de tomadores de decisão e stakeholders, desde o conselho e a alta administração até os proprietários de modelos, desenvolvedores e usuários de modelos.

Atualmente, diversos modelos empregam IA e aprendizado de máquina em alguma forma, principalmente na criação e avaliação de modelos.

Por exemplo, a IA é comumente aplicada no setor financeiro para modelar risco de crédito, risco de mercado e risco operacional. A tecnologia pode ajudar a avaliar risco de crédito e empréstimo, criar modelos de mercado e auxiliar na detecção de fraude financeira e lavagem de dinheiro.

IA e aprendizado de máquina também podem ser aplicados ao gerenciamento de risco de modelos, especialmente durante a validação do modelo (como testes de estresse em modelos de mercado) e monitoramento em tempo real. Veja alguns algoritmos e métodos de aprendizado de máquina frequentemente utilizados no gerenciamento de riscos de modelos:

• O agrupamento pode ser utilizado na análise de sensibilidade para descobrir anomalias que possam indicar risco quando variáveis são alteradas ou ao simular cenários específicos.

• As árvores de decisão podem ser combinadas com redes neurais para monitorar modelos de negociação, por exemplo, notificando os traders sobre mudanças em padrões subjacentes durante as operações.

• Tanto o deep learning quanto o aprendizado por reforço podem ser utilizados no monitoramento em tempo real de modelos, detectando problemas e recomendando soluções automaticamente.

• As redes neurais podem auxiliar no teste de estresse, ajudando bancos a modelar sua liquidez em condições econômicas desafiadoras, como uma recessão.

O software de gerenciamento de risco de modelos pode ajudar as organizações a gerenciar o risco de modelos de forma mais eficaz. Ele oferece funcionalidades avançadas, como inventário e rastreamento de modelos, além de mapear métricas, modelos e políticas para múltiplos requisitos regulatórios. Outras ferramentas de gerenciamento de risco de modelos também possibilitam o gerenciamento de modelos de IA e aprendizado de máquina, com recursos que incluem automação do monitoramento e validação de modelos.