¿Qué es la reducción de la dimensionalidad?

La reducción de la dimensionalidad es un método para representar un conjunto de datos utilizando un menor número de características (es decir, dimensiones) sin perder las propiedades significativas de los datos originales.¹ Esto equivale a eliminar características irrelevantes o redundantes, o simplemente datos ruidosos, para crear un modelo con un menor número de variables. La reducción de la dimensionalidad abarca una serie de métodos de selección de características y compresión de datos utilizados durante el preprocesamiento. Aunque los métodos de reducción de la dimensionalidad difieren en su funcionamiento, todos transforman espacios de alta dimensión en espacios de baja dimensión mediante la extracción o la combinación de variables.

En machine learning, las dimensiones (o características) son las variables de previsión que determinan el resultado de un modelo. También pueden llamarse variables de entrada. Los datos de alta dimensión denotan cualquier conjunto de datos con una gran cantidad de variables de previsión. Dichos conjuntos de datos pueden aparecer con frecuencia en bioestadística, así como en estudios observacionales de ciencias sociales, donde el número de puntos de datos (es decir, observaciones) supera el número de variables de previsión.

Los conjuntos de datos de alta dimensión plantean una serie de preocupaciones prácticas para los algoritmos de machine learning, como un mayor tiempo de cálculo, espacio de almacenamiento para big data, entre otros. Pero la mayor preocupación tal vez sea la disminución de la precisión en los modelos de previsión. Los modelos estadísticos y de machine learning entrenados con conjuntos de datos de alta dimensión con frecuencia generalizan mal.

La maldición de la dimensionalidad se refiere a la relación inversa entre el aumento de las dimensiones del modelo y la disminución de las posibilidades para hacer generalizaciones. A medida que aumenta el número de variables de entrada del modelo, aumenta el espacio del modelo. Sin embargo, si el número de puntos de datos sigue siendo el mismo, los datos se vuelven dispersos. Esto significa que la mayor parte del espacio de características del modelo está vacío, es decir, sin puntos de datos observables. A medida que aumenta la dispersión de los datos, los puntos de datos se vuelven tan diferentes que los modelos predictivos se vuelven menos eficaces para identificar patrones explicativos.²

Para explicar adecuadamente patrones en datos dispersos, los modelos pueden sobreajustarse a los datos de entrenamiento. De este modo, el aumento de la dimensionalidad puede conducir a una escasa generalizabilidad. El alta dimensionalidad puede inhibir aún más la interpretabilidad del modelo al inducir la multicolinealidad. A medida que aumenta la cantidad de variables del modelo, también lo hace la posibilidad de que algunas variables sean redundantes o estén correlacionadas.

Recopilar más datos puede reducir la dispersión de los datos y, por lo tanto, compensar la maldición de la dimensionalidad. Sin embargo, a medida que aumenta el número de dimensiones en un modelo, el número de puntos de datos necesarios para impedir la maldición de la dimensionalidad aumenta de manera exponencial.³ Por supuesto, no siempre es viable recopilar suficientes datos. Por lo tanto, es necesario reducir la dimensionalidad para mejorar el análisis de datos.

Las técnicas de reducción de la dimensionalidad generalmente reducen los modelos a un espacio de menor dimensión extrayendo o combinando características del modelo. Sin embargo, más allá de esta similitud básica, los algoritmos de reducción de la dimensionalidad varían.

El análisis de componentes principales (PCA) es quizás el método de reducción de la dimensionalidad más común. Es una forma de extracción de características, lo que significa que combina y transforma las características originales del conjunto de datos para producir nuevas características, llamadas componentes principales. En esencia, PCA selecciona un subconjunto de variables de un modelo que en conjunto comprenden la mayoría o la totalidad de la varianza presente en el conjunto original de variables. A continuación, PCA proyecta los datos en un nuevo espacio definido por este subconjunto de variables.⁴

Por ejemplo, imaginemos que tenemos un conjunto de datos sobre serpientes con cinco variables: longitud del cuerpo(_X1), diámetro del cuerpo en el punto más ancho(_X2) longitud de los colmillos(_X3), peso(_X4) y edad(_X5). Por supuesto, algunas de estas cinco características pueden estar correlacionadas, como la longitud corporal, el diámetro y el peso. Esta redundancia de características puede dar lugar a datos dispersos y a un ajuste excesivo, lo que disminuye la varianza (o generalizabilidad) de un modelo generado a partir de esos datos. PCA calcula una nueva variable(_PC1) a partir de estos datos que combina dos o más variables y maximiza la varianza de los datos. Al combinar variables potencialmente redundantes, PCA también crea un modelo con menos variables que el modelo inicial. Así, dado que nuestro conjunto de datos comenzó con cinco variables (es decir, cinco dimensiones), el modelo reducido puede tener entre una y cuatro variables (es decir, de una a cuatro dimensiones). A continuación, los datos se asignan a este nuevo modelo^.5

Esta nueva variable no es ninguna de las cinco variables originales, sino una característica combinada calculada a través de una transformación lineal de la matriz de covarianza de los datos originales. Específicamente, nuestro componente principal combinado es el vector propio correspondiente al valor propio más grande en la matriz de covarianza. También podemos crear componentes principales adicionales combinando otras variables. El segundo componente principal es el vector propio del segundo valor propio más grande, y así sucesivamente.⁶

El análisis discriminatorio lineal (LDA) se asemeja al PCA en que proyecta datos en un nuevo espacio de menor dimensión, cuyas dimensiones se derivan del modelo inicial. LDA se diferencia de PCA en su preocupación por conservar las etiquetas de clasificación en el conjunto de datos. Mientras que PCA produce nuevas variables componentes destinadas a maximizar la varianza de los datos, LDA produce variables componentes que también maximizan la diferencia de clase en los datos.⁷

Los pasos para implementar LDA son similares a los de PCA. La principal excepción es que el primero utiliza la matriz de dispersión, mientras que el segundo utiliza la matriz de covarianza. Por lo demás, al igual que en el PCA, el LDA calcula combinaciones lineales de las características originales de los datos que corresponden a los mayores valores propios de la matriz de dispersión. Uno de los objetivos del LDA es maximizar las diferencias entre clases y minimizar las diferencias dentro de las clases.⁸

LDA y PCA son tipos de algoritmos de reducción de la dimensionalidad lineal. Sin embargo, la incrustación de vecinos estocásticos distribuidos en T (t-SNE) es una forma de reducción de la dimensionalidad no lineal (o aprendizaje múltiple). Con el objetivo principal de preservar la varianza del modelo, LDA y PCA se centran en mantener la distancia entre puntos de datos diferentes en sus representaciones dimensionales más bajas. Por el contrario, t-SNE tiene como objetivo preservar la estructura de datos local reduciendo las dimensiones del modelo. t-SNE se diferencia además de LDA y PCA en que estos dos últimos pueden producir modelos con más de tres dimensiones, siempre que su modelo generado tenga menos dimensiones que los datos originales. Sin embargo, t-SNE visualiza todos los conjuntos de datos en tres o dos dimensiones.

Como método de transformación no lineal, t-SNE precede a las matrices de datos. En cambio, t-SNE utiliza un kernel gaussiano para calcular la similitud por pares de puntos de datos. Los puntos cercanos entre sí en el conjunto de datos original tienen una mayor probabilidad de estar cerca entre sí que los más alejados. Luego, t-SNE asigna todos los puntos de datos a un espacio tridimensional o bidimensional mientras intenta preservar los pares de datos.⁹

Existen otros métodos de reducción de la dimensionalidad, como el kernel PCA, el análisis factorial, los bosques aleatorios y la descomposición de valores singulares (SVD). PCA, LDA y t-SNE se encuentran entre los más utilizados y discutidos. Tenga en cuenta que varios paquetes y bibliotecas, como scikit-learn, vienen precargados con funciones para implementar estas técnicas.

La reducción de la dimensionalidad se ha utilizado a menudo para la visualización de datos.