O que é downsampling?

A subamostragem é uma técnica comum de processamento de dados que lida com desequilíbrios em um conjunto de dados removendo dados da classe majoritária até que corresponda ao tamanho da classe minoritária. Essa abordagem se opõe ao superamostragem, que consiste em refazer a amostra dos pontos da classe majoritária. Tanto o scikit-learn do Python quanto o Matlab têm funções internas para implementar técnicas de subamostragem.

A subamostragem na ciência de dados é frequentemente confundida com a subamostragem no processamento digital de sinais (DSP). Os dois são semelhantes em essência. A subamostragem no processamento digital de sinais (também conhecido como dizimação) é o processo de diminuir a largura de banda e a taxa de amostragem, removendo assim parte dos dados do sinal original. O processo de redução da frequência de amostragem é feito frequentemente reduzindo-se a taxa de amostragem por um fator inteiro, mantendo apenas uma a cada nth amostras. Para isso utiliza-se um filtro passa-baixa, também chamado de filtro anti-aliasing, para reduzir as componentes de alta frequência/ruído de um sinal em tempo discreto pelo fator inteiro mencionado anteriormente.

A subamostragem para balanceamento de dados pode ser confundida com a utilizada no processamento de imagens. Quando os dados apresentam muitas características, como em imagens de ressonância magnética de alta resolução, os cálculos podem ficar caros. Portanto, no processamento de imagens, a subamostragem reduz a dimensionalidade de cada ponto de dados por meio de convolução. Isso não equivale a balancear o conjunto de dados: é uma técnica de otimização que depois exigirá interpolação para recuperar os dados originais.

A subamostragem é uma forma eficaz de lidar com os desequilíbrios em um conjunto de dados. Um conjunto de dados desequilibrado é definido como um conjunto no qual uma classe está fortemente sub-representada em relação à população real, criando um viés não intencional. Por exemplo, imagine que um modelo seja treinado para classificar imagens como um gato ou um cachorro. O conjunto de dados utilizado é composto por 90% de gatos e 10% de cães. Nesse cenário, os gatos estão super-representados e se tivermos um classificador que preveja gatos o tempo todo, ele produzirá uma precisão de 90% para classificar gatos, mas 0% de precisão para classificar cães. O conjunto de dados desequilibrado, nesse caso, fará os classificadores favorecerem a precisão da classe majoritária em detrimento da classe minoritária. O mesmo problema pode ocorrer com conjuntos de dados multiclasse.¹

O processo de subamostragem neutraliza o problema do conjunto de dados desequilibrado. Ele identifica pontos da classe majoritária para remover com base em critérios específicos. Esses critérios podem mudar com a técnica de subamostragem escolhida. Isso equilibra o conjunto de dados ao reduzir efetivamente o número de amostras da classe majoritária super-representada até que o conjunto de dados contenha uma proporção igual de pontos entre todas as classes.

Embora os desequilíbrios possam ser vistos bastando plotar as contagens de pontos de dados em cada classe, isso não nos diz se afetará muito o modelo. Felizmente, podemos usar métricas de desempenho para avaliar o quanto uma técnica de downsampling corrige o desequilíbrio de classe. A maioria dessas métricas será para classificação binária, em que há apenas duas classes: uma positiva e uma negativa. Normalmente, a classe positiva é a classe minoritária, enquanto a classe negativa é a classe majoritária. Duas métricas populares são as curvas ROC (Receiver Operating Characteristic, característica de operação do receptor) e as curvas de precisão-recall.¹

• .
• Redução de requisitos de armazenamento: quando o armazenamento tem um custo, como no caso de armazenamento em nuvem, o subamostragem é preferível à superamostragem para evitar o aumento dos custos.²
  
• Treinamento mais rápido: a redução da resolução reduz os conjuntos de dados e torna o treinamento menos exigente para a CPU ou a GPU, o que é mais econômico e ecológico.
• Menor risco de sobreajuste: a superamostragem gera novos dados a partir dos dados antigos, o que pode levar ao sobreajuste dos modelos aos dados. A subamostragem, sendo o oposto (exclui dados), não sofre desse problema.²

• .
• Perda de informações: excluir pontos da classe predominante pode causar perda de informações importantes. Isso pode ser problemático se for necessário a precisão na classificação da classe majoritária. Além disso, o conjunto de dados pode ficar pequeno demais para o modelo treinar.²
  
• Viés introduzido: os pontos de amostra restantes da classe majoritária podem formar um conjunto enviesado em relação aos dados originais, afetando negativamente o desempenho do classificador.

A subamostragem aleatória é uma técnica de exclusão em que pontos aleatórios da classe majoritária são escolhidos sem reposição e excluídos do conjunto de dados até que o tamanho da classe majoritária seja igual ao da classe minoritária. É uma forma simples de excluir aleatoriamente um subconjunto de dados para fins de equilíbrio. No entanto, essa técnica pode eliminar padrões ou distribuições importantes da classe majoritária, prejudicando o desempenho do classificador.²

A subamostragem Near Miss é uma técnica que procura equilibrar a distribuição de classes eliminando aleatoriamente certos exemplos da classe majoritária.

Conceitualmente, o Near Miss funciona mantendo dados em áreas onde as classes majoritária e minoritária estão muito próximas, pois esses pontos apresentam informações-chave para diferenciá-las.³ Esses pontos são geralmente conhecidos como dados "difíceis" de aprender. A subamostragem Near Miss geralmente opera em duas etapas:

• .
• Etapa 1: calcule a distância entre pares de todas as instâncias da classe majoritária e minoritária.
• Etapa 2: com base nas distâncias calculadas, remova as instâncias da classe majoritária que estão mais distantes dos pontos marginalizados.

Há três variações do algoritmo Near Miss que oferecem uma maneira mais precisa de selecionar as instâncias da classe majoritária para remover.

• .
• Versão 1: esta versão mantém as instâncias da classe majoritária com a menor distância média em relação às suas N instâncias mais próximas da mesma classe minoritária. Os dados resultantes podem acabar distribuídos de maneira desigual, com alguns pontos da classe majoritária próximos de muitos pontos da classe minoritária e outros próximos de poucos, resultando em baixa precisão e baixo recall.⁴

• .
• Versão 2: essa versão da subamostragem Near Miss mantém as instâncias da classe majoritária com a menor distância média em relação às N instâncias da classe minoritária mais distantes. Ao contrário da primeira versão, esta versão cria uma distribuição mais uniforme da classe majoritária, resultando em melhores desempenhos do classificador.⁴

• .
• Versão 3: essa versão mantém as amostras da classe majoritária mais próximas das instâncias da classe minoritária que estão mais próximas da classe majoritária. Opera em duas etapas. Primeiro, são mantidos os M vizinhos mais próximos da maioria para cada instância da minoria. Em seguida, entre as instâncias restantes da classe majoritária, aquelas com a maior distância média são identificadas e mantidas. Como essa versão mantém as instâncias da classe majoritária que estão próximas de muitas outras instâncias da mesma classe, ela pode oferecer alta precisão, mas baixo recall.⁴

O Condensed Nearest Neighbors (CNN, não confundir com Convolutional Neural Networks) procura um subconjunto de um conjunto de dados que possa ser utilizado para treinamento sem perda de desempenho do modelo. Isso é conseguido com a identificação de um subconjunto que permita treinar um modelo que prediga corretamente todo o conjunto de dados.

A subamostragem de CNN pode ser dividido nas seguintes etapas:⁵

1. .
2. Crie um novo conjunto de dados, S, contendo todas as instâncias da classe minoritária e uma única instância da majoritária selecionada aleatoriamente.
3. Treine um classificador 1-NN no novo conjunto de dados S.
4. Para todos os pontos de dados da classe majoritária não incluídos em S, use o classificador 1-NN para prever o seu rótulo. Se o classificador 1-NN prever corretamente o rótulo, descarte o ponto. Caso contrário, adicione-o a S.

Assim como o Near Miss, esse processo basicamente remove todas as instâncias da classe majoritária que estão longe da fronteira de decisão, que mais uma vez são pontos fáceis de classificar. Isso garante que todos os dados do conjunto de dados original possam ser previstos corretamente utilizando somente os dados em S. Assim o conjunto pode ser reduzido significativamente, mantendo razoavelmente bem a fronteira de decisão.

Esta imagem apresenta um exemplo de aplicação dos vizinhos mais próximos condensados, utilizando um vizinho mais próximo e 21 vizinhos mais próximos em dois conjuntos de dados. As duas imagens na parte superior são antes da aplicação dos vizinhos mais próximos condensados, enquanto as duas na parte inferior são depois. Nota-se que a fronteira decisória é mantida de forma satisfatória.

O princípio do downsampling de Tomek Link é reduzir o ruído nos dados, removendo pontos próximos à fronteira de decisão e aumentando a separação entre as classes. Ele funciona identificando "Tomek links", pares de pontos de classes diferentes sem a existência de um terceiro ponto mais próximo de qualquer um deles.²

Para cada link de Tomek, o ponto pertencente à classe majoritária é removido. Removendo-se um ponto da classe majoritária que está próximo de um ponto da classe minoritária, a separação entre as classes aumenta. Uma desvantagem desse método é a complexidade computacional para calcular todas as distâncias entre pares de pontos das classes majoritária e minoritária.²A subamostragem Tomek Link é mais eficaz quando combinada com outras técnicas.

A subamostragem Edited Nearest Neighbors (ENN) é semelhante à subamostragem de Tomek Link, onde o objetivo é remover os exemplos próximos à linha de decisão para melhorar a separação das classes. Em geral, esse método remove os pontos de dados cuja classe difere da maioria de seus vizinhos.² Isso significa que o processo elimina pontos da classe majoritária cuja maioria dos vizinhos mais próximos pertence à classe minoritária, e vice-versa. A maioria, nesse contexto, pode ser definida livremente: pode significar que pelo menos um vizinho pertence a outra classe ou que a proporção de vizinhos de uma classe distinta excede um determinado limite.

A subamostragem de ENN geralmente é feita com três vizinhos mais próximos, conforme ilustrado abaixo.

Esta é uma estratégia mais ampla, pois analisa a vizinhança geral dos pontos em vez de um único vizinho, sendo uma forma eficiente de remover ruídos nos dados. A subamostragem ENN é mais eficaz quando combinada com outras técnicas.

Os desenvolvimentos atuais na subamostragem giram em torno de integrações de deep learning. Isso vem sendo aplicado em áreas como processamento de imagens e dados médicos, envolvendo o uso de redes neurais para subamostragem.⁶ Um exemplo disso é o SOM-US, que utiliza uma rede neural de duas camadas.⁷ Nos últimos anos, o aprendizado ativo também foi aplicado ao subamostragem para tentar mitigar os efeitos de dados desbalanceados.⁸ Experimentos demonstraram que esses modelos têm desempenho significativamente superior às técnicas tradicionais.

As pesquisas atuais sobre subamostragem também procuram combiná-la com outras técnicas para criar métodos híbridos. Uma das combinações é subamostrar e superamostrar os dados para aproveitar os benefícios de ambos os sistemas: SMOTE+Tomek Link, Agglomerative Hierarchical Clustering (AHC) e SPIDER são alguns exemplos.⁹As técnicas a nível de algoritmo também podem incorporar ideias das técnicas tradicionais de subamostragem, como o Hard Example Mining, onde o treinamento se concentra apenas nos pontos de dados "mais difíceis".²Todas essas abordagens mostram melhor desempenho do que usar cada técnica isoladamente.