특징 추출이란 무엇인가요?

인공 지능(AI) 모델의 성능은 학습 데이터의 품질에 달려 있습니다. 머신 러닝 모델은 전처리를 거쳐 데이터가 효율적인 모델 학습 및 성능에 적합한 형식인지 확인합니다. 특징 추출은 워크플로의 중요한 부분입니다.

추출 프로세스 중 비정형 데이터는 데이터 품질과 모델 해석 가능성을 향상시키기 위해 더욱 구조화되고 사용 가능한 형식으로 변환됩니다. 특징 추출은 특징 엔지니어링의 하위 집합으로, 모델의 성능을 최적화하기 위해 원시 데이터 내에서 특징을 생성, 수정 및 선택하는 더 광범위한 프로세스입니다.  

패턴 인식에 대한 초기 연구 이후, AI를 사용하여 데이터 세트에서 가장 관련성이 높은 특징을 추출하는 휴리스틱 방법을 사용하는 새로운 방법과 기술이 연구되었습니다.¹ 연구가 진행됨에 따라 오토인코더는 전통적으로 특징 학습의 차원 축소에 사용되었습니다.²

특징 또는 공분산의 수가 독립 데이터 포인트의 수를 초과하는 경우 데이터를 다루기 어렵습니다. 이러한 유형의 데이터는 고차원 데이터로 간주됩니다.³ 특징 추출은 차원 축소 기법으로 간주될 수 있습니다.⁴

이는 대규모 데이터 세트 또는 여러 모달의 데이터 세트로 작업할 때 매우 중요합니다. 모델이 관리해야 하는 추출된 기능이 많을수록 숙련도와 성능이 떨어집니다.⁵ 효율적인 특징 추출에 의존하는 일반적인 작업에는 이미지 처리, 자연어 처리(NLP) 및 신호 처리가 포함됩니다. 

차원 축소는 머신 러닝의 전처리 단계에서 사용되는 데이터 과학 기술입니다.⁶ 이 과정에서는 원본 데이터 세트의 관련 정보를 유지하면서 관련성이 없고 중복된 데이터는 제거됩니다.

특징은 데이터 개체의 속성으로 생각할 수 있습니다. 예를 들어 데이터 세트에서는 일부 수치 특징(나이, 키, 체중)과 범주형 특징(색상, 종, 품종)이 예상됩니다. 신경망 추출은 CNN(합성곱 신경망)과 같은 모델의 신경망 아키텍처의 일부입니다.

먼저 모델이 입력 데이터를 가져오고, 그 다음으로 특징 추출기가 특징 추출을 위한 차원 축소 방법을 계산하는 데 사용할 수 있는 수치 표현으로 데이터를 변환합니다. 이러한 표현은 모델이 데이터 축소를 위한 알고리즘을 수행할 수 있도록 특징 벡터에 저장됩니다. 

추출 후, 특히 변수의 크기와 규모에 민감한 특정 알고리즘(그라데이션 기반 하강 알고리즘, k-평균 클러스터링)을 사용할 때 특징 정규화를 사용하여 데이터를 표준화해야 하는 경우가 있습니다.

작업에 따라 특정 결과를 얻기 위해 다양한 방법을 따를 수 있습니다. 모든 방법은 가장 중요한 정보를 보존하면서 데이터를 단순화하려고 합니다.

대부분의 현대적인 AI 모델은 자동 특징 추출을 수행하지만, 이를 처리하는 다양한 방법을 이해하는 것은 여전히 유용합니다. 다음은 차원에 사용되는 몇 가지 일반적인 특징 추출 방법입니다.

주성분 분석(PCA): 이 기법은 대규모 데이터 세트의 특징 수를 모델의 분류기가 특정 작업에 사용할 주성분 또는 새로운 특징으로 줄입니다.

PCA는 상관관계가 없는 원본 데이터를 생성할 수 있는 기능(즉 PCA가 생성하는 새로운 차원이 서로 독립적) 때문에 널리 사용됩니다.⁷ 따라서 PCA는 모든 기능이 고유하기 때문에 데이터 중복성이 부족하여 과적합을 위한 효율적인 솔루션이 됩니다.   
 
선형 판별 분석(LDA): 이 기법은 일반적으로 지도 머신 러닝에서 분류 문제를 해결하기 위해 여러 클래스와 기능을 분리하는 데 사용됩니다.

이 기술은 일반적으로 머신 러닝 모델을 최적화하는 데 사용됩니다. 새 데이터 포인트는 베이지안 통계를 사용하여 분류되어 각 클래스에 대한 데이터 분포를 모델링합니다. 

T-분산 확률적 이웃 임베딩(t-SNE): 이 머신 러닝 기법은 일반적으로 딥 러닝의 특징 시각화와 같은 작업에 적용됩니다.⁸ 이는 작업이 2D 또는 3D로 고차원 데이터의 시각화를 렌더링하는 경우에 특히 유용합니다.

이 방법은 일반적으로 데이터 과학에서 패턴과 관계를 분석하는 데 사용됩니다. 비선형 특성으로 인해 t-SNE는 많은 계산 비용이 소요되며, 일반적으로 시각화 작업에만 사용됩니다.

용어 빈도-역 문서 빈도(TF-IDF): 이 통계적 방법은 단어가 얼마나 자주 나타나는지에 따라 단어의 중요성을 평가합니다. 컬렉션 또는 말뭉치 내의 모든 문서에서 나타나는 빈도에 따라 특정 문서의 용어 빈도에 가중치가 부여됩니다.⁹ 

이 기법은 분류, 클러스터 및 정보 검색을 위해 NLP에서 일반적으로 사용됩니다. Bag of words(BoW)는 비슷한 기법이지만, 용어의 관련성을 고려하는 대신 모든 단어를 효과적으로 동등하게 처리합니다. 

이미지 처리 및 컴퓨팅 비전: 특징 추출 프로세스는 이미지와 비디오에서 주요 특징을 식별하고 추출합니다. 원시 이미지 데이터(픽셀)는 기계가 알고리즘을 적용하여 새로운 기능 집합을 추출하고 분류할 수 있는 기능으로 변환됩니다. 예를 들어, HOG(방향성 그라데이션 히스토그램)는 객체 감지에 사용되는 특징 추출 알고리즘입니다.

자연어 처리: 특징 추출이 원시 텍스트 데이터를 머신 러닝 모델이 처리할 수 있는 형식 구조로 변환합니다. 이는 분류, 감정 분석 또는 NER(Named Entity Recognition)과 같은 작업에 유용합니다. 이 기법은 산업 전반에 걸쳐 적용 가능하며, 채팅 인터페이스는 물론 행동 건강에도 사용할 수 있습니다. 이 연구는 특징 추출이 환자의 행동 상황을 모니터링하기 위한 다중 모드 감정 인식에 도움이 된다는 점을 시사합니다.¹⁰

신호 처리: 이 기법은 원시 신호 데이터(오디오, 이미지 또는 시계열 데이터)에서 의미 있는 정보를 분석하고 추출하여 분류, 감지 또는 예측과 같은 작업을 용이하게 하는 데 사용됩니다. 신호 처리는 전통적으로 음성 인식, 오디오 처리 및 이미지 분석과 같은 영역과 관련이 있지만, 다른 많은 영역에도 적용될 수 있습니다. 예를 들어, 의학적 맥락에서는 추세를 감지하기 위해 ECG 판독값과 같은 심리적 신호가 사용됩니다.¹¹