¿Qué es el sobremuestreo?

El sobremuestreo es una técnica de procesamiento y optimización de datos que aborda el desequilibrio de clases en un conjunto de datos mediante la adición de datos. El sobremuestreo agrega datos mediante el uso de muestras originales de clases minoritarias hasta que todas las clases tengan el mismo tamaño. Tanto Python scikit-learn como Matlab contienen funciones integradas para aplicar técnicas de sobremuestreo.

El sobremuestreo para la ciencia de datos se suele confundir con el sobremuestreo en el procesamiento digital de señales (DSP). Ambas son similares en espíritu pero distintas. De forma similar al sobremuestreo en la ciencia de datos, el sobremuestreo en DSP crea artificialmente más muestras en el dominio de la frecuencia a partir de una señal de entrada (concretamente una señal de tiempo discreto) interpolando frecuencias de muestreo más altas. Estas nuevas muestras se generan insertando ceros en la señal original y utilizando un filtro de paso bajo para la interpolación. Esto difiere de la forma en que se remuestrean los datos en el equilibrado de datos.

El sobremuestreo para el equilibrio de datos también es distinto del sobremuestreo en el procesamiento de imágenes. En este último, las imágenes de alta resolución se reducen primero en resolución (al eliminar píxeles) para acelerar los cálculos, tras lo cual la convolución devuelve la imagen a sus dimensiones originales (al volver a añadir píxeles).

El sobremuestreo es una forma eficaz de abordar el desequilibrio dentro de un conjunto de datos. Un conjunto de datos desequilibrado se define como un conjunto de datos en el que una clase está muy infrarrepresentada en el conjunto de datos en relación con la población real, lo que crea un sesgo no intencionado. Por ejemplo, imagine que se entrena a una modelo para clasificar las imágenes según las que muestran un gato o un perro. El conjunto de datos utilizado está compuesto por un 90 % de gatos y un 10 % de perros. Los gatos en este escenario están sobrerrepresentados y, si tenemos un clasificador que prediga los gatos siempre, tendrá una precisión del 90 % en la clasificación de los gatos, pero del 0 % de precisión en la clasificación de los perros. En este caso, el conjunto de datos desequilibrado hará que los clasificadores favorezcan la precisión de la clase mayoritaria a expensas de la minoritaria. Puede surgir el mismo problema con conjuntos de datos de varias clases¹.

El proceso de sobremuestreo contrarresta el problema del desequilibrio del conjunto de datos. Rellena el conjunto de datos con puntos sintetizados a partir de características de la clase minoritaria del conjunto de datos original. Esto equilibra el conjunto de datos al aumentar de forma efectiva el número de muestras para una clase minoritaria infrarrepresentada hasta que el conjunto de datos contenga una proporción igual de puntos en todas las clases.

Aunque los desequilibrios pueden observarse simplemente trazando el recuento de puntos de datos en cada clase, no nos dice si afectarán en gran medida al modelo. Afortunadamente, podemos utilizar métricas de rendimiento para calibrar hasta qué punto una técnica de sobremuestreo corrige el desequilibrio de clases. La mayoría de estas métricas serán para la clasificación binaria, donde solo hay dos clases: positiva y negativa. Por lo general, la clase positiva es la clase minoritaria, mientras que la clase negativa es la clase mayoritaria. Dos métricas populares son las curvas de característica operativa del receptor (ROC) y las curvas de recuperación de precisión¹.

• Sin pérdida de información: a diferencia del submuestreo, que elimina los puntos de datos de la clase mayoritaria, el sobremuestreo genera nuevos puntos de datos, lo que evita cualquier pérdida de información.
• Aumento de los datos a bajo coste: el sobremuestreo es especialmente eficaz, y suele ser la única forma, para aumentar el tamaño del conjunto de datos bajo demanda en los casos en los que los datos sólo pueden adquirirse mediante observación. Por ejemplo, algunas enfermedades son demasiado raras para permitir la recopilación de más datos.

• Sobreajuste: dado que el sobremuestreo crea nuevos datos basados en los datos existentes de las clases minoritarias, el clasificador puede sobreajustarse a los datos. El sobremuestreo presupone que los datos existentes captan adecuadamente la realidad; si no es así, es posible que el clasificador no pueda generalizar muy bien.
• Ruido de datos: el sobremuestreo puede aumentar la cantidad de ruido en los datos, lo que reduce la confiabilidad y el rendimiento del clasificador².
  
• Complejidad computacional: al aumentar la cantidad de datos, el entrenamiento del clasificador será más costoso a nivel computacional, lo que puede ser un problema cuando se utiliza el cloud computing².

El sobremuestreo aleatorio es el proceso de duplicar puntos de datos aleatorios en la clase minoritaria hasta que el tamaño de la clase minoritaria sea igual al de la clase mayoritaria.

Aunque son similares en su naturaleza, el sobremuestreo aleatorio es distinto del bootstrapping. El bootstrapping es una técnica de aprendizaje por conjunto que vuelve a tomar muestras de todas las clases. Por el contrario, el sobremuestreo aleatorio vuelve a tomar muestras únicamente de la clase minoritaria. Por lo tanto, el sobremuestreo aleatorio puede entenderse como una forma más especializada de bootstrapping.

Sin embargo, a pesar de su simplicidad, el sobremuestreo aleatorio tiene limitaciones. Como el sobremuestreo aleatorio solo agrega datos duplicados, puede provocar el sobreajuste³. Sin embargo, aún tiene muchas ventajas sobre otros métodos: su facilidad de implementación, la falta de suposiciones sobre los datos y la complejidad de tiempo reducido debido a un algoritmo simple².

La técnica de sobremuestreo de minorías sintéticas, o SMOTE, es una técnica de sobremuestreo propuesta por primera vez en 2002 que sintetiza nuevos puntos de datos a partir de los puntos existentes en la clase minoritaria⁴. Consiste en el siguiente proceso:²

1. Busque los K vecinos más cercanos para todos los puntos de datos de clase minoritaria. K suele ser 5.
2. Repita los pasos 3-5 para cada punto de datos de clase minoría:
3. Elija uno de los K vecinos más cercanos del punto de datos.
4. Seleccione un punto aleatorio en el segmento de línea que conecta estos dos puntos en el espacio de características para generar una nueva muestra de salida. Este proceso se conoce como interpolación.
5. En función de la cantidad de sobremuestreo que se desee, repita los pasos 3 y 4 utilizando un vecino más cercano diferente.

SMOTE resuelve el problema del sobreajuste en el sobremuestreo aleatorio al añadir nuevos datos nunca antes vistos al conjunto de datos en lugar de simplemente duplicar los datos preexistentes. Por esta razón, algunos investigadores consideran que SMOTE es una técnica de sobremuestreo mejor que el sobremuestreo aleatorio.

Por otro lado, la generación artificial de puntos de datos de SMOTE añade ruido adicional al conjunto de datos y puede hacer que el clasificador sea más inestable¹. Los puntos y el ruido sintéticos de SMOTE también pueden provocar, sin darse cuenta, superposiciones entre las clases minoritarias y mayoritarias que no reflejan la realidad, lo que lleva a lo que se denomina sobregeneralización⁵.

Una extensión popular, Borderline SMOTE, se utiliza para combatir el problema del ruido artificial del conjunto de datos y para crear puntos de datos "más difíciles". Los puntos de datos "más difíciles" son puntos de datos cercanos al límite de decisión y, por lo tanto, más difíciles de clasificar. Estos puntos más difíciles son más útiles para que el modelo aprenda².

Borderline SMOTE identifica los puntos de clase minoritaria que están cerca de muchos puntos de clase mayoritaria y los coloca en un conjunto PELIGRO. Los puntos de PELIGRO son los puntos de datos "difíciles" de aprender, lo que nuevamente se debe a que son más difíciles de clasificar en comparación con los puntos que están rodeados por puntos de clase minoritaria. Este proceso de selección excluye puntos cuyos vecinos más cercanos son solo puntos de la mayoría de las clases, que se cuentan como ruido. A partir de ahí, el algoritmo SMOTE continúa como de costumbre utilizando este conjunto PELIGRO³.

El enfoque de muestreo sintético adaptativo (ADASYN) es similar al Borderline SMOTE en que genera datos más difíciles de aprender para el modelo. Pero también tiene como objetivo preservar la distribución de los datos de las clases minoritarias⁶. Para ello, primero crea una distribución ponderada de todos los puntos minoritarios en función del número de ejemplos de la clase mayoritaria en su vecindad. A partir de ahí, utiliza puntos de clase minoritaria más cercanos a la clase mayoritaria con más frecuencia para generar nuevos datos.

El proceso es el siguiente:²

1. Cree un modelo KNN en todo el conjunto de datos.
2. A cada punto de clase minoritaria se le asigna un "factor de dureza", denominado r, que es la relación entre el número de puntos de clase mayoritaria y el número total de vecinos en KNN.
3. Al igual que SMOTE, los puntos generados sintéticamente son una interpolación lineal entre los datos minoritarios y sus vecinos, pero el número de puntos generados se escala con el factor de dureza de un punto. Lo que hace es generar más puntos en áreas con menos datos minoritarios y menos puntos en áreas con más.

El aumento de datos genera nuevos datos mediante la creación de variaciones de los mismos. El aumento de datos se aplica en una variedad de campos de machine learning.

La forma más básica de aumento de datos consiste en transformar las entradas brutas del conjunto de datos. Por ejemplo, en visión artificial, se pueden utilizar aumentos de imagen (recorte, desenfoque, reflejo, etc.) para crear más imágenes que el modelo pueda clasificar. Del mismo modo, el aumento de datos también se puede utilizar en tareas de procesamiento del lenguaje natural, como reemplazar palabras con sinónimos o crear oraciones semánticamente equivalentes.

Los investigadores han descubierto que el aumento de datos aumenta efectivamente la precisión del modelo para tareas de visión artificial y PLN porque agrega datos similares a un bajo coste. Sin embargo, es importante tener en cuenta algunas precauciones antes de ejecutar estas técnicas. En el caso de los aumentos geométricos tradicionales, se debe considerar la "seguridad" de las transformaciones antes de realizarlas. Por ejemplo, al rotar la imagen de un “9” se vería como un “6”, cambiando así su significado semántico⁷.

Las extensiones SMOTE y el deep learning han sido el objetivo de las técnicas de sobremuestreo en los últimos años. Estos métodos tienen como objetivo mejorar el rendimiento del modelo y abordar algunas de las deficiencias del sobremuestreo, como el sesgo introducido en la distribución de la clase minoritaria.

Algunos avances en SMOTE incluyen un SMOTE de probabilidad predictiva de minorías (MPP-SMOTE), que realiza un sobremuestreo basado en las probabilidades estimadas de ver muestras de cada clase minoritaria⁸. Se ha propuesto la técnica de sobremuestreo límite de etiquetas múltiples (MLBOTE) para extender SMOTE a la clasificación de múltiples clases⁹. Ambas han superado a todas las variantes de SMOTE existentes y han conservado los patrones en los datos originales.

Las redes neuronales también se han utilizado para desarrollar técnicas de sobremuestreo. Las redes generativas adversariales han despertado cierto interés y han dado resultados prometedores, aunque el tiempo de entrenamiento hace que esta técnica sea más lenta que otros métodos tradicionales de sobremuestreo¹⁰.