다중 상관성이란 무엇인가요?

상관성은 회귀 분석에서 두 독립 변수가 서로 상관관계를 가진 경우를 의미하며, 다중 상관성은 두 개 이상의 독립 변수가 상관관계를 가진 경우를 나타냅니다.¹ 그 반대는 직교성으로, 독립 변수 사이에 상관관계가 없는 경우를 나타냅니다. 다중 상관성은 모델 복잡성과 과적합을 증가시키므로 예측 모델이 정확한 예측을 생성하는 데 방해가 됩니다.

표준 다중 변수 선형 회귀 방정식은 다음과 같습니다.

Y는 예측된 아웃풋(종속 변수)이고 X는 예측 변수(독립 변수 또는 설명 변수)입니다. B는 첨부된 회귀 계수이며, 다른 모든 예측 변수가 일정하다고 가정할 때 동반 예측자(X_n)가 1단위 변화할 때마다 Y의 변화를 측정합니다. X₀은 독립 변수가 0인 경우 반응 변수(Y)의 값입니다. 이 최종값은 y절편이라고도 합니다.²

이 다항 방정식의 목적은 Y와 X_n 사이의 상관관계를 측정하고 매핑하는 것입니다. 이상적인 예측 모델에서는 어떤 독립 변수(X_n)도 서로 상관관계를 갖지 않습니다. 그렇지만 실제 데이터를 사용하는 모델, 특히 독립 변수가 많은 모델을 설계할 때는 이러한 문제가 종종 발생할 수 있습니다.

예측 모델을 만들 때는 계수를 미리 알 수 있는 경우가 드물기 때문에 계수를 계산해야 합니다. 회귀 계수를 추정하기 위해 표준 일반 최소 제곱(OLS) 행렬 계수 추정기를 사용합니다.

이 공식의 연산을 이해하려면 행렬 표기법을 잘 알아야 합니다. 그러나 여기에서는 모델의 매개변수로 선택된 독립 변수에 의해 X 행렬의 크기와 내용이 결정된다는 점만 이해하면 됩니다. 또한, 예측 변수 간의 상관관계 정도(상관 계수라고 하며, 상관 계수로 표시됨)는X와 Y간의 회귀 계수를 계산하는 데 사용됩니다.³

독립 변수가 모델에 포함되거나 제외되면 하나의 예측 변수에 대한 추정된 계수가 크게 변경되어 계수 추정치가 신뢰할 수 없고 부정확해질 수 있습니다. 둘 이상의 예측 변수 사이의 상관관계로 인해 특정 변수가 모델 아웃풋에 미치는 개별 영향을 파악하기가 어렵습니다. 회귀 계수는 다른 예측 변수가 일정하다는 가정 하에 주어진 예측 변수가 아웃풋에 미치는 영향을 측정한다는 점을 기억하세요.그러나 예측 변수가 서로 상관관계를 갖는 경우 예측 변수를 분리하는 것이 불가능할 수 있습니다. 따라서 다중 상관 변수에 대한 추정된 회귀 계수는 특정 예측 변수가 아웃풋에 미치는 영향을 반영하지 않고, 모델에 있는 공분산에 따라 예측 변수의 부분 효과를 반영합니다.⁴

또한, 동일한 다중 상관 변수에 대한 서로 다른 데이터 샘플을 사용하거나 또는 심지어 데이터에 작은 변경을 가하는 것만으로도 회귀 계수에 큰 차이를 초래할 수 있습니다. 이것이 아마도 다중 상관성에서 가장 널리 알려진 문제인 과적합일 것입니다. 과적합은 모델의 학습 오류가 낮고 일반화 오류가 높은 것을 나타냅니다. 앞서 언급했듯이, 다른 변수와의 관계적 노이즈로 인해 다중 상관 변수 하나의 통계적 유의성이 불분명할 수 있습니다. 이로 인해 모델 아웃풋에서 어떤 한 변수의 통계적 유의성을 정확하게 계산할 수 없게 되는데, 이는 계수 추정치가 주로 나타내는 바입니다. 다중 상관성으로 인해 정확한 계수 추정치를 계산할 수 없기 때문에 다중 상관성 모델은 보이지 않는 데이터에 일반화하지 못합니다. 이러한 방식으로 다중 상관성 변수에 대한 추정 계수는 큰 변동성을 가지며 이를 큰 표준 오차라고도 합니다.⁵

통계 교과서나 논문에서는 극단적인 다중 상관성과 완전한 다중 상관성을 구분하는 경우가 있습니다. 완전한 다중 공선성은 하나의 독립 변수가 하나 이상의 독립 변수와 완벽한 선형 상관관계를 가지는 것입니다. 극단적인 다중 상관성은 하나의 예측 변수가 하나 이상의 추가 독립 변수와 높은 상관관계를 가지는 경우입니다.⁶ 다중 상관성의 정도는 이렇게 두 가지로 구분됩니다.

다중 상관성에는 다양한 잠재적 원인만큼이나 다양한 형태가 존재합니다. 고려 중인 데이터의 특성에서 잘못 설계된 실험에 이르기까지 다양한 원인으로 인해 이러한 결과가 발생할 수 있습니다. 몇 가지 일반적인 원인은 다음과 같습니다.

- 데이터 수집 해당 데이터에서 대표성이 없는 하위 공간을 샘플링하는 경우 이 데이터 기반 다중 상관성이 발생할 수 있습니다. 예를 들어, Montgomery et al.은 주문 거리와 크기가 예측 모델의 독립 변수인 공급망 배송 데이터 세트를 예로 듭니다. 이 데이터에서 주문 재고 크기는 배송 거리에 따라 증가하는 것으로 보입니다. 이 상관관계에 대한 해결책은 간단합니다. 재고가 큰 단거리 배송 주문 데이터 샘플 또는 그 반대의 경우를 수집하여 포함하는 것입니다.⁷

- 모델 제약 이는 데이터 수집 원인과 유사하지만 동일하지는 않습니다. 다중 상관성은 해당 데이터의 특성과 예측 모델 변수로 인해 발생할 수 있습니다. 주당 근무 시간과 보고된 스트레스를 여러 예측 변수 중 두 가지로 사용하여 직장에서의 직원 만족도를 측정하는 예측 모델을 만든다고 가정해 보겠습니다. 데이터의 특성으로 인해 이러한 예측 변수 간에 상관관계가 있을 수 있습니다. 일을 더 많이 하는 사람이 스트레스가 더 높다고 보고할 가능성이 높습니다. 학력과 급여가 모델 예측 변수인 경우에도 비슷한 상황이 발생할 수 있습니다. 학력이 높은 직원이 급여를 더 많이 받을 가능성이 높습니다. 이러한 경우에는 데이터 자체에 다중 상관성이 내재되어 있으므로 데이터를 더 많이 수집해도 문제가 완화되지 않을 수 있습니다.

- 과잉 정의된 모델 다중 상관성은 데이터 관찰 포인트보다 모델 예측 변수가 더 많을 때 발생할 수 있습니다. 특히 생물통계학 또는 기타 생물학 연구에서 이러한 문제가 발생할 수 있습니다. 과잉 정의된 모델을 해결하려면 모델에서 일부 예측 변수를 모두 제거해야 합니다. 하지만 어떤 모델을 제거할지 결정하는 방법은 무엇일까요? 회귀 변수의 하위 집합(예: 예측 변수)을 사용하여 여러 가지 예비 연구를 수행하거나 주성분 분석(PCA)을 활용하여 다중 상관 변수를 결합할 수 있습니다.⁸

특히 일부 데이터 유형은 다중 상관성을 유발할 수 있습니다. 시계열 데이터가 가장 두드러지는 예입니다. 특히 경제학에서 성장과 추세 요인은 시간이 지남에 따라 같은 방향으로 움직이는 경우가 많아 다중 상관성을 쉽게 만들어냅니다. 또한, 사회과학에서의 관찰 연구는 많은 사회 경제적 변수(예:소득, 교육, 정치적 성향 등)와 상호 연관되어 있으며 연구자가 통제할 수 없는 경우가 많습니다.⁹

다중 상관성은 예측 변수의 조작으로 인해 발생할 수도 있습니다. 경우에 따라 독립 변수의 제곱 또는 지연값을 새 모델의 예측 변수로 사용할 수 있습니다. 물론 이러한 새로운 예측 변수는 도출된 독립 변수와 높은 상관관계를 공유합니다.¹⁰ 이를 구조적 다중 상관성이라고 합니다.

큰 추정 계수는 다중 상관성의 존재를 나타내는 잠재적인 신호이며, 모델에서 단일 예측 변수(또는 데이터 포인트)가 추가되거나 제거될 때 추정 계수가 큰 변화가 있을 수 있습니다. 신뢰 구간이 큰 계수도 다중 상관성을 나타냅니다. 때때로 예비 데이터 분석에서 도출된 예상과 반대되는 부호 또는 크기를 갖는 계수는 다중 상관성을 나타낼 수 있습니다. 물론 이러한 방법 중 어느 것도 다중 상관성을 확실하게 확인하거나 정량적으로 측정하지는 못합니다.¹¹ 그러나 다중 상관성을 확인할 수 있는 몇 가지 진단 방법이 있습니다.

다중 상관성을 측정하는 비교적 간단한 두 가지 도구는 산점도와 독립 변수의 상관 행렬입니다. 산점도를 사용할 때는 각 데이터 요소에 대한 독립 변수 값을 서로 비교하여 플롯합니다. 산점도에서 선택한 변수 간에 선형 상관관계가 나타나면 어느 정도의 다중 상관성이 존재할 수 있습니다. 이 그림은 Montgomery et al.의 배송 데이터 세트 예를 사용한 산점도의 다중 상관성 데이터를 보여줍니다.

또 다른 진단 방법은 모든 독립 변수에 대한 상관 행렬을 계산하는 것입니다. 행렬의 요소는 모델에 있는 각 예측 변수 간의 상관 계수입니다. 상관 계수는 두 예측 변수 간의 상관 정도를 측정하는 -1에서 1 사이의 값입니다. 각 변수는 서로 완벽한 상관관계를 갖기 때문에 행렬에 대각선 1이 포함된다는 점에 유의하세요. 주어진 행렬 요소가 높을수록 두 요소 간의 상관관계가 커집니다.¹²

분산 인플레이션 계수(VIF)는 선형 회귀 모델에서 다중 상관성 정도를 결정하는 가장 일반적인 방법입니다. 각 모델 예측 변수에는 해당 예측 변수의 분산이 모델의 다른 예측 변수에 의해 얼마나 부풀려지는지를 측정하는 VIF 값이 있습니다.

VIF 알고리즘에는 여러 단계가 있습니다. 그러나 이 알고리즘에 대한 자세한 설명은 이 문서의 범위를 벗어납니다. VIF는 모델의 다른 독립 변수에 의해 결정된 분산에 대한 선택된 변수의 비율을 측정합니다. VIF를 나타내는 방정식은 다음과 같습니다.

R 제곱(R²)은 한 독립 변수를 다른 모든 변수에 대해 회귀시켜 얻은 다중 결정 계수를 의미합니다.¹³ VIF 방정식의 하단 항은 허용 오차로, 허용 오차 구간과는 다른 개념입니다. 허용 오차는 VIF의 역수입니다. 문헌에서 훨씬 덜 논의되기는 하지만, 그럼에도 불구하고 다중공선성을 계산하는 또 다른 실행 가능한 수단입니다.¹⁴

VIF 값이 높을수록 다중 상관성 정도가 높습니다. '나쁜' 모델 또는 '좋은' 모델을 결정하는 VIF 컷오프 값은 없습니다. 그렇지만 널리 알려진 경험 법칙에 의하면, VIF 값이 10보다 크거나 같으면 심각한 다중 상관성이 존재하는 것입니다.¹⁵

Python과 R에는 VIF를 계산하는 함수가 포함되어 있습니다. R의 car 패키지에 있는 vif() 함수와 Python의 statsmodels.stats 모듈에 있는 variance_inflation_factor() 함수는 각각 지정된 모델에 대한 VIF를 계산할 수 있습니다.¹⁶

앞서 언급했듯이 다중 상관성을 간단히 해결하는 방법은 학습 데이터의 샘플 크기를 다양화하거나 확대하는 것부터 매개변수를 아예 제거하는 것까지 다양합니다. 몇 가지 정규화 기법도 다중 상관성 문제를 해결하는 데 도움이 됩니다. 널리 권장되는 방법 중 하나인 릿지 회귀는 높은 값의 계수에 불이익을 주어 다중 선형 예측 변수가 모델의 아웃풋에 미치는 영향을 줄이는 것입니다. 마찬가지로 라소 회귀도 높은 값의 계수에 불이익을 줍니다. 이 둘의 주요 차이점은 릿지는 계수 값을 0에 가깝게 줄이는 데 그치는 반면, 라소는 계수를 0으로 줄여 모델에서 독립 변수를 효과적으로 제거한다는 점입니다.