O que é upsampling?

O upsampling é uma maneira eficaz de lidar com o desequilíbrio em um conjunto de dados. Um conjunto de dados desequilibrado é definido como um conjunto de dados no qual uma classe está muito sub-representada no conjunto de dados em relação à população real, criando vieses não intencionais. Por exemplo, imagine que um modelo seja treinado para classificar imagens como mostrando um gato ou um cachorro. O conjunto de dados utilizado é composto por 90% de gatos e 10% de cães. Os gatos neste cenário estão super-representados e, se tivermos um classificador prevendo gatos todas as vezes, ele produzirá uma precisão de 90% para classificar gatos, mas 0% de precisão para classificar cães. O conjunto de dados desequilibrado, neste caso, fará com que os classificadores privilegiem a precisão para a classe majoritária em detrimento da classe minoritária. O mesmo problema pode surgir com conjuntos de dados multiclasse.¹

O processo de aumento da amostragem neutraliza o problema do conjunto de dados desequilibrado. Ele preenche o conjunto de dados com pontos sintetizados a partir de características da classe minoritária do conjunto de dados original. Isso equilibra o conjunto de dados aumentando efetivamente o número de amostras para uma classe minoritária sub-representada até que o conjunto de dados contenha uma proporção igual de pontos em todas as classes.

Embora os desequilíbrios possam ser vistos simplesmente plotando as contagens de pontos de dados em cada classe, isso não nos diz se isso afetará muito o modelo. Felizmente, podemos usar métricas de desempenho para avaliar o quanto uma técnica de upsampling corrige o desequilíbrio de classe. A maioria dessas métricas será para classificação binária, em que há apenas duas classes: uma positiva e uma negativa. Normalmente, a classe positiva é a classe minoritária, enquanto a classe negativa é a classe majoritária. Duas métricas populares são as curvas ROC (Receiver Operating Characteristic, característica de operação do receptor) e as curvas de precisão-recall.¹

• Sem perda de informações: ao contrário do downsampling, que remove os pontos de dados da classe majoritária, o upsampling gera novos pontos de dados, evitando qualquer perda de informações.
• Aumente os dados a baixo custo: o upsampling é especialmente eficaz e, muitas vezes, é a única maneira de aumentar o tamanho do conjunto de dados sob demanda em casos em que os dados só podem ser adquiridos por meio de observação. Por exemplo, certas condições médicas são simplesmente raras demais para permitir que mais dados sejam coletados.

• Sobreajuste: como o aumento da amostragem cria novos dados com base nos dados de classe minoritária existentes, o classificador pode ser sobreajustado aos dados. A amostragem pressupõe que os dados existentes capturam adequadamente a realidade. Se não for esse o caso, o classificador pode não conseguir generalizar muito bem.
• Ruído de dados: o upsampling pode aumentar a quantidade de ruído nos dados, reduzindo a confiabilidade e o desempenho do classificador.²
• Complexidade computacional: Aumentando a quantidade de dados, o treinamento do classificador será mais caro computacionalmente, o que pode ser um problema ao usar a computação em nuvem.^algarismo

O oversampling aleatório é o processo de duplicar pontos de dados aleatórios na classe minoritária até que o tamanho da classe minoritária seja igual ao da classe majoritária.

Embora sejam de natureza semelhante, o oversampling aleatório é diferente da autoinicialização. Bootstrapping é uma técnica de aprendizado em conjunto que refaz a amostra de todas as classes. Por outro lado, o oversampling aleatório refaz a amostra somente da classe minoritária. O oversampling aleatório pode, portanto, ser entendida como uma forma mais especializada de bootstrapping.

Apesar de sua simplicidade, o oversampling aleatória tem limitações. Como o oversampling aleatório apenas adiciona pontos de dados duplicados, ela pode levar ao sobreajuste.³ Mas ainda tem muitas vantagens em relação a outros métodos: facilidade de implementação, falta de suposições sobre os dados e baixa complexidade de tempo devido a um algoritmo simples.²

A técnica de oversampling de minorias sintéticas, ou SMOTE, é uma técnica de upsampling proposta pela primeira vez em 2002 que sintetiza novos pontos de dados a partir dos pontos existentes na classe minoritária.⁴ Consiste no seguinte processo:²

1. Encontre os K vizinhos mais próximos de todos os pontos de dados da classe minoritária. K geralmente é 5.
2. Repita as etapas 3 a 5 para cada ponto de dados de classe minoritária:
3. Escolha um dos K vizinhos mais próximos do ponto de dados.
4. Escolha um ponto aleatório no segmento de linha que conecta esses dois pontos no espaço de recurso para gerar uma nova amostra de saída. Esse processo é conhecido como interpolação.
5. Dependendo de quanto upsampling desejar, repita as etapas 3 e 4 utilizando outro vizinho mais próximo.

O SMOTE combate o problema de sobreajuste na sobreamostragem aleatória adicionando novos dados inéditos ao conjunto de dados, em vez de simplesmente duplicar dados pré-existentes. Por isso alguns pesquisadores consideram o SMOTE uma técnica de aumento de amostragem melhor do que a sobreamostragem aleatória.

Por outro lado, a geração de pontos de dados artificiais do SMOTE adiciona ruído extra ao conjunto de dados, possivelmente tornando o classificador mais instável.¹ Os pontos sintéticos e o ruído do SMOTE também podem inadvertidamente levar a sobreposições entre as classes de minoria e maioria que não refletem a realidade, levando ao que é chamado de excesso de generalização.⁵

Uma extensão popular, Borderline SMOTE, é utilizada para combater o problema do ruído artificial do conjunto de dados e para criar pontos de dados "mais difíceis". Os pontos de dados "mais difíceis" são pontos de dados próximos ao limite de decisão e portanto mais difíceis de classificar. Esses pontos mais difíceis são mais úteis para o modelo aprender.²

Borderline SMOTE identifica os pontos da classe minoritária próximos de muitos pontos da classe majoritária e os coloca em um conjunto de PERIGO. Os pontos de PERIGO são os pontos de dados “difíceis” de aprender, o que, novamente, ocorre porque são mais difíceis de classificar em comparação com pontos cercados por pontos de classes minoritárias. Esse processo de seleção exclui pontos cujos vizinhos mais próximos são apenas pontos da classe majoritária, que são contados como ruído. A partir daí, o algoritmo SMOTE continua normalmente utilizando esse conjunto DANGER.³

A Abordagem de Amostragem Sintética Adaptativa (ADASYN) é semelhante ao Borderline SMOTE, pois gera dados mais difíceis para o modelo aprender. Mas também pretende preservar a distribuição dos dados da classe minoritária.⁶ Ele faz isso criando primeiro uma distribuição ponderada de todos os pontos de minoria com base no número de exemplos de classe majoritária em sua vizinhança. A partir daí, ele usa pontos de classe minoritária mais próximos da classe majoritária com mais frequência na geração de novos dados.

O processo é o seguinte:²

1. Crie um modelo KNN em todo o conjunto de dados.
2. Cada ponto da classe minoritária recebe um "fator de dificuldade", denotado como r, que é a razão entre o número de pontos da classe majoritária e o número total de vizinhos no KNN.
3. Como o SMOTE, os pontos gerados sinteticamente são uma interpolação linear entre os dados minoritários e seus vizinhos, mas o número de pontos gerados escala com o fator de dureza de um ponto. O que isso faz é gerar mais pontos em áreas com menos dados de minorias e menos pontos em áreas com mais.

O aumento de dados cria novos dados criando variações dos dados. O aumento de dados se aplica a uma variedade de campos de aprendizado de máquina.

A forma mais básica de aumento de dados lida com a transformação das entradas brutas do conjunto de dados. Por exemplo, na visão computacional, os aumentos de imagem (corte, desfoque, espelhamento e assim por diante) podem ser utilizados para criar mais imagens para o modelo classificar. Da mesma forma, o aumento de dados também pode ser utilizado em tarefas de processamento de linguagem natural, como substituir palavras por seus sinônimos ou criar frases com semântica equivalente.

Os pesquisadores descobriram que o aumento de dados aumenta efetivamente a precisão do modelo para tarefas de visão computacional e PNL porque adiciona dados semelhantes a um baixo custo. No entanto, é importante observar alguns cuidados antes de executar essas técnicas. Para aumentos geométricos tradicionais, a “segurança” das transformações deve ser verificada antes de executá-las. Por exemplo, girar uma imagem de um "9" faria parecer um "6", alterando seu significado semântico.⁷

As extensões SMOTE e o aprendizado profundo têm sido o foco das técnicas de upsampling nos últimos anos. Esses métodos têm como objetivo melhorar o desempenho do modelo e solucionar algumas das deficiências da amostragem ascendente, como a tendência introduzida na distribuição da classe minoritária.

Alguns desenvolvimentos no SMOTE incluem um SMOTE de probabilidade preditiva minoritária (MPP-SMOTE), que aumenta as amostras com base nas probabilidades estimadas de ver amostras de cada classe minoritária.⁸ A Técnica de Sobreamostragem Limítrofe Multi-Label (MLBOTE) foi proposta para estender o SMOTE à classificação multiclasse.⁹ Ambos superaram todas as variantes SMOTE existentes e mantiveram os padrões nos dados originais.

As redes neurais também têm sido usadas para desenvolver técnicas de sobreamostragem. Redes Adversariais Generativas misturaram algum interesse, produzindo resultados promissores, embora o tempo de treinamento torne essa técnica mais lenta do que outros métodos tradicionais de upsampling.¹⁰