Gerenciamento de risco de modelo e governança de modelo

Gerencie o risco de modelo com o Watson OpenScale. As empresas gerenciam muitas áreas de risco complexas e integradas. O gerenciamento do risco de modelo é crítico para atender aos requisitos regulamentares e para proteger as instituições do risco à reputação e operacional.

O que é um Modelo?

A orientação da Carta SR 11-7 do Federal Reserve and Office of the Comptroller of the Currency define um Modelo. Ele é “…um método, sistema ou abordagem quantitativa que aplica teorias estatísticas, econômicas, financeiras ou matemáticas, técnicas e suposições para processar dados de entrada em estimativas quantitativas”.

Esses tipos de modelos, de forma determinística ou probabilística, levantam desafios diferentes de gerenciamento de risco de modelo.

O que é Risco de Modelo?

O risco de modelo é um tipo de risco que ocorre quando um modelo matemático é usado em instituições financeiras para prever e medir informações quantitativas e o modelo é executado inadequadamente. O desempenho inadequado leva a resultados adversos para a firma e perdas operacionais de milhões.

Ciclo de desenvolvimento de modelo

Há muitos desafios com os modelos de aprendizado de máquina e de deep learning. Por exemplo, é necessário enfrentar a falta de conhecimento dos métodos que são usados por parte dos Desenvolvedores/Fornecedores do Modelo, juntamente com a documentação inconsistente e o aumento do volume de mudanças de modelo.

Os testes a serem executados em modelos de aprendizado de máquina e deep learning diferem de testes de aplicativos diretos:

• Desvio: qualquer mudança nos dados de entrada, também conhecida como Desvio, pode fazer com que o modelo tome decisões imprecisas, impactando os KPIs de negócios
• Propensão: os dados de treinamento podem ser limpos para ficarem livres de propensão, mas os dados de tempo de execução podem induzir ao comportamento tendencioso do modelo
• Explicabilidade: os Modelos estatísticos tradicionais são mais simples de interpretar e explicar
• Dados de validação ou de teste ausentes: os conjuntos de dados de treinamento de modelo podem não capturar o intervalo de dados ou combinações que são encontradas no tempo de execução. A validação e o monitoramento de modelos de IA são necessários, além de governar e gerenciar riscos.

Opções

A IBM oferece uma solução de gerenciamento de risco de modelo com o IBM Watson OpenScale. O IBM Watson OpenScale monitora e mede resultados por meio de Modelos de IA em todo o seu ciclo de vida e valida modelos. Especificamente, é possível usar as configurações a seguir:

• Gerenciamento de risco de modelo com o Watson OpenScale

  Use o Watson OpenScale como uma solução independente. Ative os recursos de gerenciamento de risco de modelo para criar repositórios de pré-produção e de produção e comparar modelos.

• Controle de modelo com o Watson OpenScale e o IBM OpenPages MRG

  Use o Watson OpenScale como parte de uma solução de controle de risco de modelo geral, integrando-se com o IBM OpenPages MRG.

Problemas conhecidos e limitações

Anote os seguintes problemas:

Somente dados estruturados são suportados

O gerenciamento e controle de risco de modelo suportam somente tipos de dados de entrada estruturados. Os modelos que lidam com dados não estruturados não são suportados atualmente. Se você tentar usar um tipo de dado não suportado, receberá a mensagem de erro a seguir:

O monitor selecionado não é aplicável para esta assinatura. Ele requer que input_data_type seja um de [structured], enquanto a assinatura define input_data_type como unstructured_text.

A criação de log de carga útil requer envios extras para o Amazon Web Services binário, o Microsoft Azure binário e multiclasse e para os tipos de problema do Native XGBoost binário

Para qualquer um dos modelos que usam determinadas estruturas, deve-se enviar o mesmo registro para pontuação inicial uma segunda vez. Essa solicitação de escoragem adicional é necessária para a configuração inicial da criação de log de carga útil ao configurar monitores. As estruturas e tipos de problemas a seguir são afetados:

• Amazon Web Services binário
• Microsoft Azure binário e multiclasse
• Native XGBoost binário

A criação de log de carga útil não está acontecendo automaticamente

Você vê o erro a seguir no bloco de notas:

Carga útil ausente: não há carga útil registrada na tabela de carga útil. Primeiro, registre uma carga útil, em seguida, ative o Monitoramento de Qualidade.

O processamento de carga útil não é concluído no período de tempo especificado. O bloco de notas deve ser executado novamente desde o início.