차원 축소란 무엇인가요?

차원 축소는 소스 데이터의 의미 있는 속성을 그대로 캡처하면서 더 적은 수의 특징(즉,차원)을 사용하여 주어진 데이터 세트를 표현하는 방법입니다.¹ 이는 더 적은 수의 변수를 갖는 모델을 생성하기 위해 무관하거나 중복된 특징, 또는 단순히 노이즈가 있는 데이터를 제거하는 것을 의미합니다. 차원 축소는 전처리 과정에서 사용되는 다양한 특징 선택 및 데이터 압축 방법을 포괄합니다. 차원 축소 방법은 작동 방식이 다르지만 모두 변수 추출 또는 조합을 통해 고차원 공간을 저차원 공간으로 변환합니다.

머신 러닝에서 차원(또는 특징)은 모델의 아웃풋을 결정하는 예측 변수입니다. 입력 변수라고도 합니다. 고차원 데이터는 많은 수의 예측 변수가 포함된 모든 데이터 세트를 의미합니다. 이러한 데이터 세트는 데이터 포인트(즉,관찰 결과)의 수가 예측 변수의 수보다 많은 생물통계학 및 사회과학 관찰 연구에서 자주 나타날 수 있습니다.

고차원 데이터 세트는 계산 시간 증가, 빅 데이터 저장 공간 등 머신 러닝 알고리즘에 여러 가지 실질적인 문제를 제기합니다. 하지만 가장 큰 문제는 아마도 예측 모델의 정확도 감소일 것입니다. 고차원 데이터 세트로 학습된 통계 및 머신 러닝 모델은 일반화가 제대로 이루어지지 않는 경우가 많습니다.

'차원의 저주'란 모델 차원의 증가와 일반화 가능성 감소 사이의 반비례 관계를 말합니다. 모델 입력 변수의 수가 증가하면 모델의 공간도 증가합니다. 그러나 데이터 포인트의 수가 동일하게 유지되면 데이터가 희소해집니다. 즉, 모델의 특징 공간 대부분이 비어 있는 상태, 즉 관찰 가능한 데이터 포인트가 없는 상태를 의미합니다. 데이터 희소성이 증가함에 따라 데이터 포인트의 유사성이 너무 저하되어 예측 모델이 설명 패턴을 식별하는 데 효과적이기 못하게 됩니다.²

희소 데이터의 패턴을 적절하게 설명하기 위해 모델이 학습 데이터에 과적합될 수 있습니다. 이러한 방식으로 차원이 증가하면 일반화 가능성이 떨어질 수 있습니다. 고차원성은 다중 상관성을 유발하여 모델 해석 가능성을 더욱 저해할 수 있습니다. 모형 변수의 양이 증가함에 따라 일부 변수가 중복되거나 상관될 가능성도 증가합니다.

데이터를 더 많이 수집해 데이터 희소성을 줄이면 차원의 저주를 풀 수 있습니다. 그러나 모델의 차원 수가 증가함에 따라 차원의 저주를 푸는 데는 데 필요한 데이터 포인트의 수가 기하급수적으로 증가합니다.³ 더구나 충분한 데이터를 수집하는 것이 항상 가능한 일은 아닙니다. 그래서 데이터 분석을 개선하기 위해 차원 축소가 필요합니다.

차원 축소 기술은 일반적으로 모델의 특징을 추출하거나 결합하여 모델을 더 낮은 차원의 공간으로 축소합니다. 그러나 이러한 기본적인 유사성을 넘어서면 차원 축소 알고리즘은 매우 다양합니다.

가장 일반적인 차원 축소 방법은 아마도 주성분 분석(PCA)일 것입니다. 데이터 세트의 원래 특징을 결합하고 변환하여 주성분이라고 하는 새로운 특징을 생성하는 특징 추출의 한 형태입니다. 기본적으로 PCA는 모델에서 원래 변수 집합에 존재하는 분산의 대부분 또는 전부를 구성하는 변수의 하위 집합을 선택합니다. 그런 다음 PCA는 이 변수 부분 집합으로 정의된 새 공간에 데이터를 프로젝션합니다.¹⁰

예를 들어, 뱀에 관한 데이터 세트에 몸 길이(X₁), 가장 넓은 지점의 몸 직경(X₂), 송곳니 길이(X₃), 무게(X₄), 나이(X₅)의 5개 변수가 포함되어 있다고 생각해보겠습니다. 물론 이 다섯 가지 특징 중 몸 길이, 지름, 무게 등은 서로 연관이 있을 수 있습니다. 이러한 특징 중복은 데이터 희소화와 과적합으로 이어질 수 있으며, 이러한 데이터에서 생성된 모델의 분산(또는 일반화성)을 감소시킬 수 있습니다. PCA는 이 데이터에서 두 개 이상의 변수를 결합하고 데이터 분산을 최대화하는 새로운 변수(_PC1)를 계산합니다. PCA는 중복 가능성이 있는 변수를 결합하여 초기 모델보다 변수가 적은 모델을 생성하기도 합니다. 따라서, 이 예시의 데이터 세트는 5개의 변수로 시작했기 때문에(5차원) 축소 모델은 1~4개의 변수(1차원에서 4차원까지)를 가질 수 있습니다. 그런 다음 데이터가 이 새 모델에 매핑됩니다.⁵

이 새로운 변수는 원래의 다섯 가지 변수가 아니라 소스 데이터의 공분산 행렬을 선형 변환하여 계산한 결합된 특징입니다. 구체적으로, 결합된 주성분은 공분산 행렬에서 가장 큰 고유값에 해당하는 고유 벡터입니다. 다른 변수를 결합해 추가적인 주성분을 생성할 수도 있습니다. 두 번째 주성분은 두 번째로 큰 고유값의 고유벡터입니다.⁶

선형 판별 분석(LDA)은 데이터를 더 낮은 차원의 새로운 공간에 프로젝션한다는 점에서 PCA와 유사하며, 이 차원은 초기 모델에서 파생됩니다. LDA는 데이터 세트에 분류 레이블을 유지한다는 점에서 PCA와 다릅니다. PCA는 데이터 분산을 최대화하기 위한 새로운 구성 변수를 생성하는 반면, LDA는 데이터의 클래스 차이를 최대화하는 구성 변수를 생성합니다.⁷

LDA 구현 단계는 PCA 구현 단계와 유사합니다. 가장 큰 차이점은 전자는 분산 행렬을 사용하는 반면, 후자는 공분산 행렬을 사용한다는 점입니다. 그렇지 않으면 PCA에서와 마찬가지로 LDA는 분산 행렬에서 가장 큰 고유값에 해당하는 데이터의 원래 특징을 선형적으로 조합합니다. LDA의 목표 중 하나는 클래스 내 차이를 최소화하면서 클래스 간 차이를 최대화하는 것입니다.⁸

LDA와 PCA는 선형 차원 축소 알고리즘의 유형입니다. 그러나 T-분산 확률적 이웃 임베딩(t-SNE)은 비선형 차원 축소(또는 매니폴드 학습)의 한 형태입니다. 모델 분산 보존을 목표로 하는 LDA와 PCA는 저차원 표현에서 서로 다른 데이터 포인트 간의 거리를 유지하는 데 중점을 둡니다. 반면, t-SNE는 모델 차원을 줄이면서 로컬 데이터 구조를 보존하는 것을 목표로 합니다. 또한 LDA 및 PCA는 생성된 모델의 차원이 원래 데이터보다 적으면 3차원 이상의 모델을 생성할 수 있다는 점에서도 t-SNE와 다릅니다. t-SNE는 모든 데이터 세트를 3차원 또는 2차원으로 시각화합니다.

비선형 변환 방법인 t-SNE는 데이터 행렬을 사용하지 않습니다. 대신 가우스 커널을 사용하여 데이터 포인트의 쌍별 유사성을 계산합니다. 소스 데이터 세트에서 서로 가까운 점은 멀리 있는 점보다 서로 가까이 있을 확률이 더 높습니다. 그런 다음 t-SNE는 모든 데이터 포인트를 3차원 또는 2차원 공간에 매핑하면서 데이터 쌍을 보존하려고 시도합니다.⁹

다른 차원 축소 방법으로는 커널 PCA, 요인 분석, 랜덤 포레스트, 특이값 분해(SVD) 등이 있습니다. 가장 널리 사용되고 논의되는 것은 PCA, LDA, t-SNE입니다. 사이킷 학습 등 여러 패키지와 라이브러리에는 이러한 기술을 구현하는 데 필요한 기능이 미리 로드되어 있습니다.

차원 축소는 종종 데이터 시각화를 위해 사용되었습니다.