O que é multicolinearidade?

A colinearidade indica quando duas variáveis independentes em uma análise de regressão estão correlacionadas entre si; multicolinearidade significa quando mais de duas variáveis independentes estão correlacionadas.¹ O oposto é a ortogonalidade, que designa quando as variáveis independentes não estão correlacionadas. A multicolinearidade impede que modelos preditivos gerem previsões precisas, aumentando a complexidade do modelo e ocasionando overfitting.

Uma equação padrão de regressão linear multivariada é: 

Y é a saída prevista (variável dependente), e X é qualquer preditor (variável independente ou explicativa). B é o coeficiente de regressão associado e mede a variação em Y para cada unidade de mudança no preditor correspondente (X_n), assumindo que todos os demais preditores permaneçam constantes. X₀ é o valor da variável resposta (Y) quando a variável independente é igual a zero. Este valor final também é chamado de intercepto em Y.²

Claro, esta equação polinomial tem como objetivo medir e mapear a correlação entre Y e X_n. Em um modelo preditivo ideal, nenhuma das variáveis independentes (X_n) é correlacionada entre si. No entanto, isso pode acontecer com frequência em modelos que utilizam dados do mundo real, especialmente quando esses modelos são projetados com muitas variáveis independentes.

Ao criar um modelo preditivo, precisamos calcular os coeficientes, já que raramente são conhecidos de antemão. Para estimar os coeficientes de regressão, utilizamos um estimador padrão de coeficientes matriciais de mínimos quadrados ordinários (OLS):

Entender o funcionamento desta fórmula requer familiaridade com notação matricial. Mas, por enquanto, tudo que precisamos compreender é que o tamanho e o conteúdo da matriz X são determinados pelas variáveis independentes escolhidas como parâmetros do modelo. Além disso, o grau de correlação entre as variáveis preditoras, conhecido como coeficiente de correlação e representado por, é utilizado no cálculo dos coeficientes de regressão entre X e Y.³

À medida que variáveis independentes são incluídas ou excluídas do modelo, os coeficientes estimados para qualquer preditor podem mudar drasticamente, tornando essas estimativas imprecisas e pouco confiáveis. A correlação entre dois ou mais preditores dificulta a determinação do impacto individual de qualquer variável na saída do modelo. Lembre-se de que um coeficiente de regressão mede o efeito de uma variável preditora na saída supondo que os outros preditores permaneçam constantes. No entanto, se os preditores estiverem correlacionados, pode não ser possível isolá-los. Assim, os coeficientes estimados de regressão para variáveis multicolineares não refletem o impacto individual de um único preditor na saída, mas sim seu efeito parcial, dependendo das covariáveis presentes no modelo.⁴

Além disso, diferentes amostras de dados, ou mesmo pequenas alterações nos dados, com as mesmas variáveis multicolineares, podem produzir coeficientes de regressão amplamente diferentes. Esse é, talvez, o problema mais conhecido da multicolinearidade: o overfitting. O overfitting caracteriza modelos com baixo erro de treinamento e alto erro de generalização. Como mencionado, a significância estatística de qualquer variável multicolinear permanece incerta devido ao seu ruído relacional com as demais. Isso impede o cálculo preciso da significância estatística de qualquer variável na saída do modelo, que é essencialmente o que a estimativa do coeficiente indica. Como a multicolinearidade impede o cálculo preciso das estimativas de coeficientes, os modelos multicolineares não conseguem generalizar para dados não vistos. Dessa forma, os coeficientes estimados para variáveis multicolineares possuem grande variabilidade, também conhecida como alto erro padrão.⁵

Livros e artigos de estatística às vezes distinguem entre multicolinearidade extrema e perfeita. A multicolinearidade perfeita ocorre quando uma variável independente tem uma correlação linear perfeita com uma ou mais outras variáveis independentes. A multicolinearidade extrema acontece quando um preditor apresenta alta correlação com uma ou mais variáveis independentes adicionais.⁶ Esses são os dois principais graus de multicolinearidade.

Não existem tantas formas distintas de multicolinearidade quanto causas potenciais diferentes. Essas causas podem variar desde a natureza dos dados em análise até experimentos mal planejados. Algumas causas comuns são:

- Coleta de dados Essa multicolinearidade baseada em dados pode ocorrer se alguém amostrar um subespaço não representativo dos dados em questão. Por exemplo, Montgomery et al. fornecem o exemplo de um conjunto de dados de entregas na cadeia de suprimentos, no qual a distância do pedido e o tamanho são variáveis independentes de um modelo preditivo. Nos dados apresentados, o tamanho do inventário do pedido tende a aumentar conforme a distância de entrega. A solução para essa correlação é simples: colete e inclua amostras de dados de entregas de curta distância com grandes estoques, ou vice-versa.⁷

- Restrições do modelo Isso é semelhante à causa na coleta de dados, embora não seja idêntico. A multicolinearidade pode ocorrer devido à natureza dos dados e das variáveis do modelo preditivo em questão. Imagine que estamos criando um modelo preditivo para medir a satisfação dos funcionários no ambiente de trabalho, considerando as horas trabalhadas por semana e o estresse relatado como dois dos vários preditores. É bastante provável que haja uma correlação entre esses preditores, pois pessoas que trabalham mais tendem a relatar estresse mais elevado. Uma situação semelhante pode ocorrer se educação e salário forem preditores do modelo funcionários com maior escolaridade tendem a ganhar mais. Nesse caso, coletar mais dados pode não resolver o problema, já que a multicolinearidade é inerente aos próprios dados.

- Modelo superdimensionado A multicolinearidade pode ocorrer quando há mais preditores no modelo do que pontos de observação nos dados. Esse problema pode surgir especialmente na bioestatística ou em outros estudos biológicos. Resolver modelos superdimensionados requer eliminar alguns preditores do modelo por completo. Mas como determinar quais remover? Pode-se realizar estudos preliminares utilizando subconjuntos de regressores (ou seja, preditores) ou utilizar a análise de componentes principais (PCA) para combinar variáveis multicolineares.⁸

Determinados tipos de dados podem, especialmente, levar à multicolinearidade. Dados de séries temporais estão entre os principais. Fatores de crescimento e tendências, notadamente na economia, frequentemente se movem na mesma direção ao longo do tempo, o que gera multicolinearidade. Além disso, estudos observacionais nas ciências sociais são propícios à multicolinearidade, já que muitas variáveis socioeconômicas (por exemplo, renda, educação, filiação política, entre outras) costumam ser inter-relacionadas e não controladas pelos pesquisadores.⁹

A multicolinearidade também pode resultar da manipulação de variáveis preditoras. Em alguns casos, pode-se utilizar os valores elevados ao quadrado ou defasados das variáveis independentes como novos preditores do modelo. Naturalmente, esses novos preditores terão alta correlação com as variáveis independentes de onde foram derivados.¹⁰ Esta é a multicolinearidade estrutural.

Grandes coeficientes estimados podem, por si só, indicar a presença de multicolinearidade, assim como mudanças significativas nos coeficientes estimados quando um único preditor (ou mesmo um único ponto de dados) é adicionado ou removido do modelo. Coeficientes com grandes intervalos de confiança também são indicativos de multicolinearidade. Em alguns casos, coeficientes com sinais ou magnitudes contrários às expectativas derivadas de uma análise preliminar dos dados podem sugerir a presença de multicolinearidade. No entanto, nenhum desses fatores confirma definitivamente a multicolinearidade nem fornece uma medida quantitativa dela.¹¹ Diversos métodos diagnósticos, no entanto, ajudam a quantificá-la.

Duas ferramentas relativamente simples para medir a multicolinearidade são o diagrama de dispersão e a matriz de correlação das variáveis independentes. Ao utilizar um diagrama de dispersão, os valores das variáveis independentes para cada ponto de dados são plotados uns contra os outros. Se o diagrama revelar uma correlação linear entre as variáveis escolhidas, algum grau de multicolinearidade pode estar presente. Esta figura ilustra dados multicolineares em um diagrama de dispersão, utilizando o exemplo do conjunto de dados de entregas de Montgomery et al.

Outro método de diagnóstico é calcular uma matriz de correlação para todas as variáveis independentes. Os elementos da matriz são os coeficientes de correlação entre cada preditor de um modelo. O coeficiente de correlação é um valor entre -1 e 1 que mede o grau de correlação entre dois preditores. Observe que a matriz contém uma diagonal de 1s, pois cada variável possui correlação perfeita consigo mesma. Quanto maior um determinado elemento da matriz, maior é o grau de correlação entre eles.¹²

O fator de inflação da variância (VIF) é o método mais comum para determinar o grau de multicolinearidade em modelos de regressão linear. Cada preditor do modelo possui um valor de VIF, que mede o quanto a variância desse preditor é inflacionada pelos demais preditores do modelo.

O algoritmo do VIF contém várias etapas. Uma explicação completa deste algoritmo está além do escopo deste artigo, contudo. Basta dizer que o VIF mede a proporção da variância de uma variável escolhida, conforme determinada pelas outras variáveis independentes do modelo. A equação que representa o VIF é:

R-quadrado (R²) indica o coeficiente de determinação múltipla obtido ao regredir uma variável independente contra todas as outras.¹³ O termo inferior da equação do VIF é a tolerância, um conceito distinto dos intervalos de tolerância. A tolerância é o inverso do VIF. Embora seja muito menos discutida na literatura, ela continua sendo um meio viável para calcular a multicolinearidade.¹⁴

Quanto maior o valor do VIF, maior o grau de multicolinearidade. Não há um valor de corte do VIF que determine um modelo "ruim" ou "bom". No entanto, uma regra geral amplamente repetida é que um valor do VIF maior ou igual a dez indica multicolinearidade severa.¹⁵

Observe que R e Python possuem funções para calcular o VIF. Respectivamente, a função vif() no pacote car do R e a função variance_inflation_factor() no módulo statsmodels.stats do Python podem calcular o VIF para um modelo designado.¹⁶

Como mencionado, soluções simples para a multicolinearidade variam desde diversificar ou ampliar o tamanho da amostra de dados de treinamento até remover parâmetros por completo. Diversas técnicas de regularização também ajudam a corrigir o problema da multicolinearidade. A regressão Ridge é um método amplamente recomendado, pois penaliza coeficientes de alto valor, reduzindo assim o impacto de preditores multicolineares na saída do modelo. A regressão Lasso também penaliza coeficientes de alto valor. A principal diferença entre essas duas abordagens é que a regressão Ridge apenas reduz os valores dos coeficientes para valores próximos de zero, enquanto a Lasso pode reduzi-los a zero, efetivamente removendo variáveis independentes do modelo.