¿Qué es la multicolinealidad?

La colinealidad se produce cuando dos variables independientes en un análisis de regresión están correlacionadas; la multicolinealidad se produce cuando más de dos variables independientes están correlacionadas¹. Su opuesto es la ortogonalidad, que indica cuando las variables independientes no están correlacionadas. La multicolinealidad impide que los modelos predictivos produzcan predicciones precisas al aumentar la complejidad y el sobreajuste del modelo.

Una ecuación de regresión lineal multivariante estándar es:

Y es el resultado previsto (variable dependiente) y X es cualquier predictor (variable independiente o explicativa). B es el coeficiente de regresión y mide el cambio en Y por cada unidad de cambio en el predictor acompañante (X_n) suponiendo que todos los demás predictores permanecen constantes. X₀ es el valor de la variable de respuesta (Y) cuando la variable independiente es igual a cero. Este valor final también se denomina y-intercept².

Por supuesto, esta ecuación polinómica tiene como objetivo medir y representar gráficamente la correlación entre Y y X_n. En un modelo predictivo ideal, ninguna de las variables independientes (X_n) está correlacionada. Sin embargo, esto puede suceder a menudo en modelos que utilizan datos del mundo real, en particular cuando los modelos están diseñados con muchas variables independientes.

Al crear un modelo predictivo, necesitamos calcular coeficientes, puesto que rara vez se conocen de antemano. Para estimar los coeficientes de regresión, utilizamos un estimador de coeficientes de matriz de mínimos cuadrados ordinarios estándar:

Comprender las operaciones de esta fórmula requiere familiarizarse con la notación matricial. Pero por el momento, todo lo que necesitamos entender es que el tamaño y el contenido de la matriz X están determinados por las variables independientes elegidas como parámetros del modelo. Además, el grado de correlación entre las variables predictoras, conocido como coeficientes de correlación y representado por , se utiliza para calcular los coeficientes de regresión entre X e Y³.

A medida que se incluyen o excluyen variables independientes del modelo, los coeficientes estimados para cualquier predictor pueden cambiar drásticamente, lo que hace que las estimaciones de los coeficientes sean poco fiables e imprecisas. La correlación entre dos o más predictores crea dificultades para determinar el impacto individual de una variable en la salida del modelo. Recuerde que un coeficiente de regresión mide el efecto de una variable predictora determinada en la salida suponiendo que otros predictores permanezcan constantes. Pero si los predictores están correlacionados, puede que no sea posible aislarlos. Por lo tanto, los coeficientes de regresión estimados para las variables multicolineales no reflejan el efecto de ningún predictor en la salida, sino el efecto parcial del predictor, según las covariables que estén en el modelo⁴.

Además, diferentes muestras de datos, o incluso pequeños cambios en los datos, con las mismas variables multicolineales pueden producir coeficientes de regresión muy diferentes. Este es quizá el problema más conocido de la multicolinealidad: el sobreajuste. El sobreajuste denota modelos con un error de entrenamiento bajo y un error de generalización alto. Como ya se ha mencionado, la importancia estadística de cualquier variable multicolineal sigue sin estar clara en medio de su ruido relacional con las demás. Esto impide calcular con precisión la importancia estadística de cualquier variable en el resultado del modelo, que es lo que indica en gran medida la estimación del coeficiente. Dado que la multicolinealidad impide calcular estimaciones precisas de los coeficientes, los modelos multicolineales no consiguen generalizarse a datos no observados. De este modo, los coeficientes estimados para las variables multicolineales poseen una gran variabilidad, también conocida como un gran error estándar⁵.

Los libros de texto y los artículos de estadística a veces distinguen entre la multicolinealidad extrema y la perfecta. La multicolinealidad perfecta significa cuando una variable independiente tiene una correlación lineal perfecta con una o más variables independientes. La multicolinealidad extrema es cuando un predictor está altamente correlacionado con una o más variables independientes adicionales⁶. Estos son los dos grados principales de multicolinealidad.

No existen tanto formas discretas de multicolinealidad como diferentes causas potenciales. Estas causas pueden ir desde la naturaleza de los datos que se están considerando hasta experimentos mal diseñados. Algunas causas comunes son:

- Recopilación de datos Esta multicolinealidad basada en los datos puede producirse si se muestrea un subespacio no representativo de los datos en cuestión. Por ejemplo, Montgomery et al. ofrecen el ejemplo de un conjunto de datos de entrega de la cadena de suministro en el que la distancia y el tamaño del pedido son variables independientes de un modelo predictivo. En los datos que proporcionan, el tamaño del inventario de pedidos parece aumentar con la distancia de entrega. La solución a esta correlación es sencilla: recopilar e incluir muestras de datos para entregas a corta distancia con grandes inventarios, o viceversa⁷.

- Restricciones del modelo Esto es similar a la causa de la recopilación de datos, aunque no idéntico. La multicolinealidad puede deberse a la naturaleza de los datos y las variables del modelo predictivo en cuestión. Imaginemos que estamos creando un modelo predictivo para medir la satisfacción de los empleados en el lugar de trabajo, en el que las horas trabajadas a la semana y el estrés declarado son dos de varios predictores. Es muy posible que exista una correlación entre estos predictores debido a la naturaleza de los datos, es decir, es probable que las personas que trabajan más declaren un mayor estrés. Una situación similar puede ocurrir si la educación y el salario son predictores del modelo: los empleados con más educación probablemente ganarán más. En este caso, recopilar más datos puede no aliviar el problema, ya que la multicolinealidad es inherente a los datos mismos.

- Modelo sobredefinido. La multicolinealidad puede ocurrir cuando hay más predictores del modelo que puntos de observación de datos. Este tema puede surgir particularmente en la bioestadística u otros estudios biológicos. Para resolver el problema de los modelos sobredefinidos es necesario eliminar algunos predictores del modelo. Pero ¿cómo determinar qué modelos eliminar? Se pueden realizar varios estudios preliminares utilizando subconjuntos de regresores (es decir, predictores) o utilizar el análisis de componentes principales (PCA) para combinar variables multicolineales⁸.

Los tipos de datos seleccionados pueden conducir especialmente a la multicolinealidad. Los datos de series temporales son los principales. Los factores de crecimiento y tendencia, sobre todo en economía, se mueven a menudo en la misma dirección a lo largo del tiempo, lo que produce fácilmente multicolinealidad. Además, los estudios observacionales en ciencias sociales se prestan fácilmente a la multicolinealidad, ya que muchas variables socioeconómicas (por ejemplo, ingresos, educación, afiliación política, etc.) a menudo están interrelacionadas y no están controladas por los investigadores⁹.

La multicolinealidad también puede deberse a la manipulación de variables predictoras. En algunos casos, se pueden utilizar los valores al cuadrado o retardados de las variables independientes como nuevos predictores del modelo. Por supuesto, estos nuevos predictores compartirán una alta correlación con las variables independientes de las que se derivaron¹⁰. Esto es multicolinealidad estructural.

Unos coeficientes estimados grandes pueden indicar la presencia de multicolinealidad, así como cambios masivos en los coeficientes estimados cuando se añade o elimina un único predictor (o incluso un punto de datos) del modelo. Los coeficientes con intervalos de confianza grandes también son indicativos de multicolinealidad. En ocasiones, los coeficientes que poseen signos o magnitudes contrarios a las expectativas derivadas del análisis preliminar de los datos pueden indicar multicolinealidad. Por supuesto, ninguno de estos confirma definitivamente la multicolinealidad ni proporciona mediciones cuantitativas de la multicolinealidad¹¹. Sin embargo, existen varios métodos de diagnóstico que contribuyen a ello.

Dos herramientas relativamente sencillas para medir la multicolinealidad son un gráfico de dispersión y una matriz de correlación de variables independientes. Cuando se utiliza un diagrama de dispersión, los valores de las variables independientes de cada punto de datos se comparan entre sí. Si el gráfico de dispersión revela una correlación lineal entre las variables elegidas, puede haber cierto grado de multicolinealidad. Esta figura ilustra datos multicolineales en un gráfico de dispersión utilizando el ejemplo del conjunto de datos de entregas de Montgomery et al.

Otro método de diagnóstico es calcular una matriz de correlación para todas las variables independientes. Los elementos de la matriz son los coeficientes de correlación entre cada predictor en un modelo. El coeficiente de correlación es un valor entre -1 y 1 que mide el grado de correlación entre dos predictores. Observe cómo la matriz contiene una diagonal de 1 s porque cada variable tiene una correlación perfecta consigo misma. Cuanto mayor sea el valor de un elemento de la matriz, mayor será el grado de correlación entre ellos¹².

El factor de inflación de la varianza (VIF) es el método más común para determinar el grado de multicolinealidad en los modelos de regresión lineal. Cada predictor del modelo tiene un valor VIF, que mide cuánto se infla la varianza de ese predictor por los otros predictores del modelo.

El algoritmo VIF contiene varios pasos. Sin embargo, una explicación completa de este algoritmo queda fuera del alcance de este artículo. Baste decir que el VIF mide la proporción de la varianza de una variable elegida determinada por las otras variables independientes del modelo. La ecuación que representa VIF es:

R-cuadrado (R²) significa el coeficiente de determinación múltiple obtenido al hacer la regresión de una variable independiente contra todas las demás¹³. El término inferior de la ecuación VIF es la tolerancia, un concepto distinto de los intervalos de tolerancia. La tolerancia es la inversa del VIF. Aunque mucho menos discutido en la literatura, es otro medio viable para calcular la multicolinealidad¹⁴.

Cuanto mayor sea el valor de VIF, mayor será el grado de multicolinealidad. No existe un valor de corte VIF que determine un modelo "malo" o "bueno". Sin embargo, una regla general ampliamente repetida es que un valor de VIF mayor o igual a diez indica una multicolinealidad grave¹⁵.

Tenga en cuenta que R y Python contienen funciones para calcular VIF. Respectivamente, la función vif() del paquete car de R y la función variance_inflation_factor() del módulo statsmodels.stats de Python pueden calcular VIF para un modelo designado¹⁶.

Como ya se ha mencionado, las correcciones sencillas para la multicolinealidad van desde diversificar o ampliar el tamaño de la muestra de los datos de entrenamiento hasta eliminar por completo los parámetros. Varias técnicas de regularización también ayudan a corregir el problema de la multicolinealidad. La regresión es un método ampliamente recomendado, que consiste en penalizar los coeficientes de alto valor, disminuyendo así el impacto de los predictores multicolineales en la salida del modelo. La regresión de Lasso penaliza de forma similar los coeficientes de alto valor. La principal diferencia entre estos dos métodos es que la regresión ridge se limita a reducir los valores de los coeficientes casi a cero, mientras que la regresión de Lasso puede reducir los coeficientes a cero, eliminando de hecho las variables independientes del modelo por completo.