O que é downsampling?

A subamostragem é uma forma eficaz de lidar com os desequilíbrios em um conjunto de dados. Um conjunto de dados desequilibrado é definido como um conjunto no qual uma classe está fortemente sub-representada em relação à população real, criando um viés não intencional. Por exemplo, imagine um modelo treinado para classificar imagens de gatos ou cães. O conjunto de dados utilizado é composto por 90% de gatos e 10% de cães. Nesse cenário, os gatos estão super-representados, e se tivermos um classificador que prevê gatos o tempo todo, ele terá 90% de acurácia para classificar gatos, mas 0% para classificar cães. O conjunto de dados desbalanceado, nesse caso, fará com que os classificadores favoreçam a acurácia para a classe majoritária em detrimento da classe minoritária. O mesmo problema pode ocorrer com conjuntos de dados multiclasse.¹

O processo de subamostragem neutraliza o problema do conjunto de dados desequilibrado. Ele identifica pontos da classe majoritária para remover com base em critérios específicos. Esses critérios podem mudar com a técnica de subamostragem escolhida. Isso equilibra o conjunto de dados ao reduzir efetivamente o número de amostras da classe majoritária super-representada até que o conjunto de dados contenha uma proporção igual de pontos entre todas as classes.

Embora o desequilíbrio possa ser observado ao representar graficamente a contagem de pontos em cada classe, isso não indica se afetará muito o modelo. Felizmente, podemos utilizar métricas de desempenho para avaliar quão bem uma técnica de subamostragem corrige o desequilíbrio de classes. A maioria dessas métricas é aplicada em classificações binárias, com apenas duas classes: positiva e negativa. Normalmente, a classe positiva é a minoritária e a negativa, a majoritária. Duas métricas populares são as curvas ROC (Receiver Operating Characteristic) e as curvas de precisão e recall.¹

• Redução de requisitos de armazenamento: quando o armazenamento tem um custo, como no caso de armazenamento em nuvem, o subamostragem é preferido ao superamostragem para evitar o aumento dos custos.²
• Treinamento mais rápido: a redução da resolução reduz os conjuntos de dados e torna o treinamento menos intensivo na CPU ou na GPU, o que é mais econômico e ecológico.
• Menor risco de sobreajuste: a superamostragem gera novos dados a partir dos dados antigos, o que pode levar ao sobreajuste dos modelos aos dados. A subamostragem, sendo o oposto (exclui dados), não sofre desse problema.²

• Perda de informações: excluir pontos da classe predominante pode causar perda de informações importantes. Isso pode ser problemático se for necessária precisão na classificação da classe majoritária. Além disso, o conjunto de dados pode ficar pequeno demais para o modelo treinar.²
• Viés introduzido: os pontos de amostra restantes da classe majoritária podem formar um conjunto enviesado em relação aos dados originais, impactando negativamente o desempenho do classificador.

A subamostragem aleatória é uma técnica de exclusão em que pontos aleatórios da classe majoritária são escolhidos sem reposição e excluídos do conjunto de dados até que o tamanho da classe majoritária seja igual ao da classe minoritária. Essa é uma forma simples de excluir aleatoriamente um subconjunto de dados para fins de balanceamento. No entanto, essa técnica pode eliminar padrões ou distribuições importantes da classe majoritária, prejudicando o desempenho do classificador.²

A subamostragem Near Miss é uma técnica que busca equilibrar a distribuição de classes eliminando aleatoriamente certos exemplos da classe majoritária.

Conceitualmente, o Near Miss funciona mantendo dados em áreas onde as classes majoritária e minoritária estão muito próximas, pois esses pontos fornecem informações-chave para diferenciá-las.³ Esses pontos são geralmente conhecidos como dados "difíceis" de aprender. A subamostragem Near Miss geralmente opera em duas etapas:

• Etapa 1: calcule a distância entre pares de todas as instâncias da classe majoritária e minoritária.
• Etapa 2: com base nas distâncias calculadas, remova as instâncias da classe majoritária que estão mais distantes dos pontos marginalizados.

Existem três variações do algoritmo Near Miss que oferecem uma maneira mais precisa de selecionar as instâncias da classe majoritária para remover.

• Versão 1: esta versão mantém as instâncias da classe majoritária com a menor distância média em relação às suas N instâncias mais próximas da mesma classe majoritária. Os dados resultantes podem acabar distribuídos de maneira desigual, com alguns pontos da classe majoritária próximos de muitos pontos da classe minoritária e outros próximos de poucos, resultando em baixa precisão e baixo recall.⁴

• Versão 2: essa versão do subamostragem Near Miss mantém as instâncias da classe majoritária com a menor distância média em relação às N instâncias da classe minoritária mais distantes. Ao contrário da primeira versão, esta versão cria uma distribuição mais uniforme da classe majoritária, resultando em melhores desempenhos do classificador.⁴

• Versão 3: essa versão mantém as amostras da classe majoritária mais próximas das instâncias da classe minoritária que estão mais próximas da classe majoritária. Opera em duas etapas. Primeiro, são mantidos os M vizinhos mais próximos da maioria para cada instância da minoria. Em seguida, entre as instâncias restantes da classe majoritária, aquelas com a maior distância média são identificadas e mantidas. Como essa versão mantém as instâncias da classe majoritária que estão próximas de muitas outras instâncias da mesma classe, ela pode oferecer alta precisão, mas baixo recall.⁴

O Condensed Nearest Neighbors (CNN, não confundir com Convolutional Neural Networks) busca encontrar um subconjunto de um conjunto de dados que possa ser usado para treinamento sem perda de desempenho do modelo. Isso é alcançado ao identificar um subconjunto que permita treinar um modelo que prediga corretamente todo o conjunto de dados.

A subamostragem da CNN pode ser dividido nos seguintes passos:⁵

1. Crie um novo conjunto de dados, S, que contém todas as instâncias da classe minoritária e uma única instância da majoritária selecionada aleatoriamente.
2. Treine um classificador 1-NN no novo conjunto de dados S.
3. Para todos os pontos de dados da classe majoritária não incluídos em S, use o classificador 1-NN para prever o seu rótulo. Se o classificador 1-NN prever corretamente o rótulo, descarte o ponto. Caso contrário, adicione-o a S.

Assim como o Near Miss, esse processo basicamente remove todas as instâncias da classe majoritária que estão longe da fronteira de decisão, que, mais uma vez, são pontos fáceis de classificar. Isso garante que todos os dados do conjunto de dados original possam ser previstos corretamente usando apenas os dados em S. Assim, o conjunto pode ser reduzido significativamente, mantendo bem a fronteira de decisão.

Esta imagem mostra um exemplo de aplicação dos vizinhos mais próximos condensados, utilizando um vizinho mais próximo e 21 vizinhos mais próximos em dois conjuntos de dados. As duas imagens na parte superior são antes da aplicação dos vizinhos mais próximos condensados, enquanto as duas na parte inferior são depois. Nota-se que a fronteira decisória é mantida de forma satisfatória.

A premissa da subamostragem por Tomek Link é reduzir o ruído nos dados ao remover pontos próximos à fronteira de decisão, aumentando a separação entre classes. Ele funciona identificando "links de Tomek", que são pares de pontos de classes diferentes sem um terceiro ponto mais próximo de nenhum deles.²

Para cada link de Tomek, o ponto pertencente à classe majoritária é removido. Ao remover um ponto da classe majoritária que está próximo de um ponto da classe minoritária, a separação entre as classes aumenta. Uma desvantagem desse método é a complexidade computacional ao calcular todas as distâncias entre pares de pontos das classes majoritária e minoritária.² A subamostragem Tomek Link é mais eficaz quando combinada com outras técnicas.

O subamostragem Edited Nearest Neighbors (ENN) é semelhante ao subamostragem de Tomek Link, onde o objetivo é remover os exemplos próximos à linha de decisão para melhorar a separação das classes. Em geral, esse método remove os pontos de dados cuja classe difere da maioria de seus vizinhos.² Isso significa que o processo elimina pontos da classe majoritária cujo maioria dos vizinhos mais próximos pertence à classe minoritária, e vice-versa. A maioria, nesse contexto, pode ser definida livremente: pode significar que pelo menos um vizinho pertence a uma classe diferente ou que a proporção de vizinhos de uma classe distinta excede um determinado limite.

A subamostragem de ENN geralmente é feita com 3 vizinhos mais próximos, conforme ilustrado abaixo.

Esta é uma estratégia mais ampla, pois analisa a vizinhança geral dos pontos em vez de um único vizinho, sendo uma forma eficiente de remover ruídos nos dados. A subamostragem ENN é mais eficaz quando combinada com outras técnicas.