O que é um desvio do modelo?

Para detectar e mitigar o desvio, as organizações podem monitorar e gerenciar o desempenho em suas plataformas de dados e inteligência artificial (IA). Se não for monitorado adequadamente ao longo do tempo, mesmo o modelo de IA mais bem treinado e imparcial pode "desviar" de seus parâmetros originais e gerar resultados indesejados ao ser implementado. A detecção de desvio é um componente central de uma sólida governança de IA.

Modelos criados com dados históricos podem se tornar rapidamente obsoletos. Frequentemente, novos dados apresentam variações, padrões e tendências que os dados históricos antigos não conseguem capturar. Se o treinamento de um modelo de IA não estiver alinhado aos dados recebidos, ele não conseguirá interpretá-los corretamente nem utilizá-los para fazer previsões confiáveis.

Se o desvio não for detectado e mitigado rapidamente, ele pode se agravar, aumentando os danos às operações. A detecção de desvio capacita as organizações a obter continuamente resultados precisos de seus modelos.

O mundo está em constante mudança, e com os dados mudando continuamente, os modelos usados para interpretá-lo devem ser constantemente revisados e atualizados. Aqui estão três tipos de desvio de modelo que precisam ser abordados, cada um com uma causa diferente.

O desvio de conceito ocorre quando há uma divergência entre as variáveis de entrada e a variável alvo, levando o algoritmo a fornecer respostas incorretas porque as definições não são mais válidas. A mudança nas variáveis independentes pode ocorrer em diferentes períodos que são:

O desvio de conceito reaparece e desaparece regularmente, como na sazonalidade do comportamento de compra em resposta às mudanças climáticas. Em climas frios, as vendas de pás de neve e sopradores de neve normalmente aumentam no final do outono e no início do inverno. Ajustes geográficos também devem ser realizados para a neve prevista.

Um evento inesperado pode impulsionar novos padrões de compra. Um exemplo seria a publicidade repentina em torno do ChatGPT, que gerou aumento na demanda por hardware e software de IA e valorização das ações de empresas relacionadas à IA. Um modelo de previsão treinado antes dessas notícias serem publicadas pode não prever os resultados subsequentes.

Outro exemplo é o surgimento da pandemia de Covid-19, que também provocou uma mudança repentina no comportamento: as vendas de jogos e equipamentos de exercício aumentaram, enquanto restaurantes e hotéis receberam bem menos visitantes.

Alguns desvios acontecem gradualmente, ou em um ritmo esperado. Por exemplo, spammers e hackers usaram várias ferramentas e truques ao longo dos anos. À medida que o software de proteção e os filtros de spam melhoraram, os agentes mal-intencionados avançaram de acordo. Qualquer IA projetada para proteger as interações digitais precisa acompanhar o ritmo; Um modelo estático logo será inútil.

O desvio de dados, também conhecido como mudança de covariável, ocorre quando a distribuição dos dados de entrada muda. No varejo, as vendas de um produto podem ser impactadas pelo lançamento de outro produto ou pela descontinuação de um produto concorrente. Ou, se um site inicialmente atrai jovens, mas depois é aceito por pessoas mais velhas, o modelo original baseado nos padrões de uso dos jovens pode não funcionar tão bem com o público mais velho.

Uma alteração nos dados upstream ocorre quando há uma alteração no fluxo de dados. Por exemplo, os dados upstream podem ser alterados para uma moeda diferente, como dólares em vez de euros, medidas em milhas em vez de quilômetros ou temperaturas em Fahrenheit em vez de Celsius. Essa alteração prejudicaria um modelo que não foi projetado para lidar com mudanças na rotulagem dos dados.

Empresas e cientistas de dados podem utilizar diferentes métodos de detecção de desvio de dados para monitorar o desvio de modelos de aprendizado de máquina e ajustar o curso antes que seus modelos se tornem obsoletos.

Muitos dos métodos mais populares são baseados na distribuição de tempo e medem possíveis desvios entre duas distribuições de probabilidade. Se os resultados forem visivelmente divergentes, as propriedades estatísticas dos dados de entrada provavelmente mudaram, causando o desvio de dados.

A detecção de desvio de dados é um aspecto central da observabilidade de dados, que consiste na prática de monitorar continuamente a qualidade e a confiabilidade dos dados que circulam em uma organização. A linguagem de programação Python é especialmente popular na ciência de dados para a criação de detectores de desvio de código aberto.

O teste de Kolmogorov-Smirnov (K-S) avalia se dois conjuntos de dados têm a mesma distribuição. No campo da ciência de dados, o teste K-S é não paramétrico, ou seja, não exige que a distribuição atenda a suposições ou critérios pré-estabelecidos.

Os cientistas de dados utilizam o teste Kolmogorov-Smirnov por dois motivos principais:

• Determinar se uma amostra de dados provém de uma população específica.

• Comparar duas amostras de dados e verificar se elas têm origem na mesma população.

Se os resultados do teste K-S indicarem que dois conjuntos de dados parecem originar-se de populações diferentes, provavelmente ocorreu desvio de dados, tornando o teste K-S um detector de desvio confiável.

A distância de Wasserstein, batizada em homenagem ao matemático Leonid Vaserstein, utiliza uma metáfora simples para visualizar a gravidade do desvio de dados. Ela imagina dois pequenos montes de terra, com o desvio de dados representando o trabalho necessário para formar um monte utilizando a terra retirada do outro. Por isso, a distância de Wasserstein também é conhecida na ciência da computação e de dados como a distância do transportador de terra (EMD).

Como método de detecção de desvio, a distância de Wasserstein compara os dados de treinamento com os novos dados de entrada alimentados em um modelo de aprendizado de máquina. Ela se destaca na identificação de relações complexas entre funcionalidade e pode lidar com valores atípicos para obter resultados consistentes.

O índice de estabilidade populacional (PSI) compara a distribuição de uma funcionalidade categórica entre dois conjuntos de dados para determinar o grau em que a distribuição mudou ao longo do tempo.

Uma maior divergência na distribuição, representada por um valor mais alto de PSI, indica a presença de desvio de modelo. O PSI pode avaliar tanto funcionalidades independentes quanto dependentes, que mudam com base em outras variáveis.

Se a distribuição de uma ou mais funcionalidades categóricas apresentar um PSI elevado, provavelmente será necessário recalibrar ou até reconstruir o modelo de máquina.

As empresas podem lidar melhor com a detecção de desvio de dados e remediação ao seguir estas melhores práticas:

A precisão de um modelo de IA pode se degradar em poucos dias após a implementação, porque os dados de produção divergem dos dados de treinamento do modelo. Isso pode resultar em previsões incorretas e exposição a riscos significativos.

Para proteger contra desvio de modelo e vieses, as organizações devem usar um detector de desvio de IA e ferramentas de monitoramento que detectem automaticamente quando a precisão de um modelo diminui (ou se desvia) abaixo de um limite predefinido.

Esse programa de detecção de desvio de modelo também deve rastrear quais transações causaram o desvio, permitindo que sejam reclassificadas e usadas para treinar novamente o modelo, restaurando seu poder preditivo durante o tempo de execução.

A detecção de desvio estatístico usa métricas estatísticas para comparar e analisar amostras de dados. Isso geralmente é mais fácil de implementar porque a maioria das métricas já está em uso na empresa. A detecção de desvio baseada em modelo mede a similaridade entre um ponto ou grupos de pontos em relação à linha de base de referência.

As organizações devem testar seus modelos de IA, especialmente modelos de IA generativa, periodicamente ao longo de seu ciclo de vida. Este teste idealmente inclui:

1. Validação de modelos em pré-produção com testes para detectar vieses e desvios, e então gerar relatórios de teste.
2. Transferência das configurações de teste bem-sucedidas de pré-implementação para a versão implementada do modelo e testes automatizados contínuos.
3. Sincronizar informações de modelo, dados e resultados de testes com sistemas de registro.
4. Automação que pode fornecer notificações consistentes e confiáveis e proporcionar mais tempo para as equipes se concentrarem no desenvolvimento de modelos em vez de monitoramento de modelos.

De acordo com um estudo Forrester Total Economic Impact, “Ao construir, executar e gerenciar modelos em um ambiente unificado de dados e IA, [as organizações] podem garantir que os modelos de IA permaneçam justos, explicáveis e compatíveis em qualquer lugar. Essa abordagem de IA de ponta a ponta também capacita de forma única uma organização a detectar e ajudar a corrigir desvios de modelo e vieses, além de gerenciar o risco do modelo quando um modelo de IA está em produção.”

Uma boa prática é gerenciar todos os modelos a partir de um dashboard central. Uma abordagem integrada ajuda uma organização a acompanhar métricas continuamente e alertar equipes sobre desvios na precisão e consistência dos dados durante o desenvolvimento, validação e implementação. Uma visão centralizada e abrangente permite que as organizações eliminem silos e promovam mais transparência em toda a linhagem de dados.

Identifique cenários de desvios e sua magnitude por meio de um modelo de IA que compara dados de produção, dados de treinamento e previsões do modelo em tempo real. Dessa forma, é possível identificar desvios rapidamente e iniciar o re-treinamento de imediato. Essa detecção é iterativa, assim como as operações de aprendizado de máquina (MLOps).

A análise baseada no tempo mostra como o desvio evoluiu e quando ocorreu. Por exemplo, se as verificações forem feitas semanalmente, será possível ver como o desvio evoluiu a cada dia.

A análise de cronogramas também pode ser útil para determinar se o desvio foi gradual ou repentino. A abordagem de IA explicável aplica essa transparência no uso de IA, ajudando as organizações a monitorar como e por que seus modelos entregaram os resultados.

Utilize um novo conjunto de dados de treinamento com amostras mais recentes e relevantes. O objetivo é colocar seus grandes modelos de linguagem (LLM) de volta em produção de forma rápida e correta. Se o treinamento novamente do modelo não resolver o problema, pode ser necessário criar um novo modelo. As técnicas de operações de grandes modelos de linguagem (LLMOps) ajudam as organizações a monitorar e treinar novamente seus LLMs.

Em vez de treinar um modelo com dados em lote, as organizações podem adotar o “aprendizado on-line”, atualizando seus modelos de aprendizado de máquina (ML) com os dados mais recentes do mundo real assim que estiverem disponíveis.

Um modelo pode parecer apresentar desvios porque os dados usados para treiná-lo diferem dos dados reais de produção. Em um caso de uso médico, se varreduras de alta resolução são usadas no treinamento, mas apenas varreduras de baixa resolução estão disponíveis no campo, então os resultados estão incorretos.