¿Qué es el aumento de datos?

En su sentido más general, el aumento de datos denota métodos para complementar los llamados conjuntos de datos incompletos al proporcionar puntos de datos que faltan para aumentar la analizabilidad del conjunto de datos¹. Esto se manifiesta en el machine learning al generar copias modificadas de datos preexistentes para aumentar el tamaño y la diversidad de un conjunto de datos. Así, con respecto al machine learning, los datos aumentados pueden entenderse como el suministro artificial de datos del mundo real potencialmente ausentes.

El aumento de datos mejora la optimización y generalización del modelo de machine learning. En otras palabras, el aumento de datos puede reducir el sobreajuste y mejorar la solidez del modelo². Que los conjuntos de datos grandes y diversos equivalen a un mejor rendimiento del modelo es un axioma del machine learning. Sin embargo, por varias razones (desde cuestiones éticas y de privacidad hasta el simple esfuerzo que requiere mucho tiempo para recopilar manualmente los datos necesarios), puede resultar complicado obtener datos suficientes. El aumento de datos proporciona un medio eficaz para aumentar el tamaño y la variabilidad de los conjuntos de datos. De hecho, los investigadores utilizan ampliamente el aumento de datos para corregir conjuntos de datos desequilibrados³.

Muchos marcos de deep learning, como PyTorch, Keras y Tensorflow, proporcionan funciones para aumentar los datos, principalmente conjuntos de datos de imágenes. El paquete Python Ablumentations (disponible en Github) también se ha adoptado en muchos proyectos de código abierto. Albumentations permite aumentar los datos de imagen y texto.

Tenga en cuenta que el aumento de datos es distinto de los datos sintéticos. Es cierto que ambos son algoritmos generativos que añaden nuevos datos a una recopilación de datos para mejorar el rendimiento de los modelos de machine learning. Sin embargo, los datos sintéticos se refieren a la generación automática de datos totalmente artificiales. Un ejemplo es el uso de imágenes generadas por ordenador (en contraposición a los datos del mundo real) para entrenar un modelo de detección de objetos. Por el contrario, el aumento de datos copia los datos existentes y transforma esas copias para aumentar la diversidad y la cantidad de datos en un conjunto determinado.

Existen varios métodos de aumento de datos. Las técnicas específicas utilizadas para aumentar los datos dependen de la naturaleza de los datos con los que trabaja un usuario. Tenga en cuenta que el aumento de datos se suele implementar durante el preprocesamiento en el conjunto de datos de entrenamiento. Algunos estudios investigan el efecto del aumento en el conjunto de validación o prueba, pero las aplicaciones de aumento fuera de los conjuntos de entrenamiento son más raras⁴.

El aumento de datos se ha implementado ampliamente en la investigación para una serie de tareas de visión artificial, desde la clasificación de imágenes hasta la detección de objetos. Como tal, existe una gran cantidad de investigaciones sobre cómo las imágenes aumentadas mejoran el rendimiento de las redes neuronales convolucionales (CNN) de última generación en el procesamiento de imágenes.

Muchos tutoriales y recursos no académicos clasifican el aumento de datos de imágenes en dos categorías: transformaciones geométricas y transformaciones fotométricas (o de espacio de color). Ambas consisten en una manipulación relativamente sencilla de archivos de imagen. La primera categoría denota técnicas que alteran el espacio y el diseño de la imagen original, como el cambio de tamaño, el zoom o los cambios de orientación (por ejemplo, el giro horizontal). Las transformaciones fotométricas alteran los canales RGB (rojo-verde-azul) de una imagen. Algunos ejemplos de transformación fotométrica son el ajuste de saturación y el escalado de grises de una imagen⁵.

Algunas fuentes clasifican la inyección de ruido con transformaciones geométricas⁶, mientras que otras la clasifican con transformaciones fotométricas⁷. La inyección de ruido inserta píxeles aleatorios negros, blancos o de color en una imagen según una distribución gaussiana.

Como ilustra la inyección de ruido, la clasificación binaria de las técnicas de aumento de imágenes en geométricas y fotométricas no cubre toda la gama de posibles estrategias de aumento. Las técnicas de aumento de imágenes excluidas son el filtrado kernel (enfocar o desenfocar una imagen) y la mezcla de imágenes. Un ejemplo de esto último son los recortes y parches aleatorios. Esta técnica toma muestras aleatorias de secciones de varias imágenes para crear una nueva. Esta nueva imagen es una composición hecha a partir de las secciones muestreadas de las imágenes de entrada. Una técnica relacionada es el borrado aleatorio, que elimina una parte aleatoria de una imagen⁸. Estas tareas son útiles en tareas de reconocimiento de imágenes, ya que los casos de uso del mundo real pueden requerir que las máquinas identifiquen objetos parcialmente oscurecidos.

El aumento a nivel de instancia es otro tipo de aumento. Dicho aumento copia esencialmente regiones etiquetadas (por ejemplo, cuadros delimitadores) de una imagen y las inserta en otra. Este enfoque entrena a la imagen para identificar objetos sobre diferentes fondos, así como objetos oscurecidos por otros objetos. El aumento a nivel de instancia es un enfoque particularmente destacado para tareas de reconocimiento específicas de una región, como la detección de objetos y la segmentación de imágenes.⁹.

Al igual que el aumento de imágenes, el aumento de datos de texto consiste en muchas técnicas y métodos que se utilizan en toda una serie de tareas de procesamiento del lenguaje natural (PLN). Algunos recursos dividen el aumento de texto en métodos basados en reglas (o "fáciles") y métodos neuronales. Por supuesto, al igual que ocurre con la división binaria de las técnicas de aumento de imágenes, esta categorización no lo abarca todo.

Los enfoques basados en reglas incluyen técnicas de búsqueda y sustitución relativamente sencillas, como la eliminación o inserción aleatorias. Los enfoques basados en reglas también incluyen la sustitución de sinónimos. En esta estrategia, una o varias palabras de una cadena se sustituyen por sus respectivos sinónimos registrados en tesauros predefinidos, como WordNet o la Paraphrase Database. La pasivación y la inversión de oraciones, en las que se intercambian el objeto y el sujeto, también son ejemplos de enfoques basados en reglas¹⁰.

Según su clasificación, los métodos neuronales utilizan redes neuronales para generar nuevas muestras de texto a partir de los datos de entrada. Un método neuronal notable es la retrotraducción. Este utiliza la traducción automática para traducir los datos de entrada a un idioma de destino y luego de nuevo al idioma de entrada original. De este modo, la retrotraducción aprovecha las variaciones lingüísticas que resultan de las traducciones automatizadas para generar variaciones semánticas en un conjunto de datos de un solo idioma con fines de aumento. Las investigaciones sugieren que esto es eficaz para mejorar el rendimiento del modelo de traducción automática¹¹.

Otra estrategia son los aumentos de texto mixtos. Este enfoque implementa métodos de eliminación e inserción basados en reglas mediante incrustaciones de Neural Networks. En concreto, los transformadores preentrenados (por ejemplo, BERT) generan incrustaciones de texto a nivel de palabra u oración, transformando el texto en puntos vectoriales, como en un modelo de bag of words. La transformación del texto en puntos vectoriales generalmente tiene como objetivo capturar la similitud lingüística, es decir, se cree que las palabras u oraciones más cercanas entre sí en el espacio vectorial comparten significados o frecuencias similares. Los aumentos mixtos interpolan cadenas de texto que se encuentran a una distancia determinada entre sí para producir nuevos datos que son un agregado de los datos de entrada¹².

Muchos usuarios tienen dificultades para identificar qué estrategias de aumento de datos deben implementar. ¿Varía la eficacia de las técnicas de aumento de datos entre conjuntos de datos y tareas? La investigación comparativa sobre técnicas de aumento de datos sugiere que múltiples formas de aumento tienen un mayor impacto positivo que una sola, pero determinar la combinación óptima de técnicas depende del conjunto de datos y de la tarea¹³. Pero, ¿cómo se seleccionan las técnicas óptimas?

Para abordar este problema, la investigación ha recurrido al aumento automatizado de datos. Un enfoque de aumento automatizado utiliza el aprendizaje por refuerzo para identificar las técnicas de aumento que devuelven la mayor precisión de validación en un conjunto de datos determinado¹⁴. Se ha demostrado que este enfoque implementa estrategias que mejoran el rendimiento tanto en los datos de muestra como fuera de ellos¹⁵. Otro enfoque prometedor para el aumento automatizado identifica y aumenta los falsos positivos de los resultados del clasificador. De este modo, el aumento automático identifica las mejores estrategias para corregir los elementos que se clasifican erróneamente con frecuencia¹⁶.

Más recientemente, la investigación se ha centrado en redes y modelos generativos para identificar estrategias de aumento óptimas dependientes de la tarea¹⁷ y de la clase¹⁸. Esto incluye trabajar con redes generativas adversativas (GAN). Las GAN son redes de deep learning que se utilizan normalmente para generar datos sintéticos, y en investigaciones recientes se estudia su uso para el aumento de datos. Algunos experimentos, por ejemplo, sugieren que los aumentos de datos sintéticos de conjuntos de imágenes médicas mejoran el rendimiento de los modelos de clasificación¹⁹ y segmentación²⁰ más que los aumentos clásicos. En este sentido, la investigación sobre el aumento de texto aprovecha los modelos de lenguaje de gran tamaño (LLM) y los chatbots para generar datos aumentados. Estos experimentos utilizan LLM para generar muestras aumentadas de datos de entrada con técnicas de mezcla y sinonimización, lo que demuestra un mayor impacto positivo en los modelos de clasificación de texto que en el aumento clásico²¹.

Los investigadores y desarrolladores adoptan ampliamente técnicas de aumento de datos cuando entrenan modelos para diversas tareas de machine learning. Por el contrario, los datos sintéticos son un área de investigación comparativamente más nueva. Los experimentos comparativos con datos sintéticos frente a datos reales muestran resultados dispares, ya que los modelos entrenados exclusivamente con datos sintéticos a veces superan a los modelos entrenados con datos del mundo real, y otras veces quedan por debajo. Quizá no sea sorprendente que esta investigación sugiera que los datos sintéticos son más útiles cuando reflejan características de los datos del mundo real²².