이상 현상 감지란 무엇인가요?

이상 현상 감지는 분석가와 과학자가 차트를 연구하여 비정상적으로 보이는 모든 요소를 찾는 통계 분야에서 오랜 역사를 지니고 있습니다. 오늘날 이상 현상 감지는 인공 지능(AI)과 머신 러닝(ML)을 활용하여 데이터 세트의 정상 동작에서 예기치 않은 변화를 자동으로 식별합니다.

비정상적인 데이터는 인프라 장애, 업스트림 소스의 호환성이 손상되는 변경 사항 또는 보안 위협과 같이 잘 보이지 않는 심각한 인시던트를 알릴 수 있습니다. 이상 현상은 아키텍처를 최적화하거나 마케팅 전략을 개선할 기회를 포착할 수도 있습니다.

이상 현상 감지는 여러 산업 분야에 걸쳐 다양한 사용 사례를 보유하고 있습니다. 예를 들어, 금융 분야에서는 사기 탐지를 위해, 제조 분야에서는 결함이나 장비 오작동을 식별하기 위해, 사이버 보안 분야에서는 비정상적인 네트워크 활동을 탐지하기 위해, 의료 분야에서는 비정상적인 환자 상태를 식별하기 위해 사용됩니다.

이상값 탐지는 이상 현상이 드문 경우가 많은데다 정상적인 동작의 특성 자체가 복잡하고 동적일 수 있기 때문에 어려울 수 있습니다. 비즈니스 관점에서는 오탐이나 데이터 노이즈가 아닌 실제 이상 현상을 식별하는 것이 필수적입니다.

데이터 이상 현상은 데이터 과학 분야에서 중대한 영향을 미쳐 부정확하거나 오해의 소지가 있는 결론으로 이어질 수 있습니다. 예를 들어, 단일 이상값으로 인해 데이터 세트의 평균이 크게 왜곡되어 데이터가 부정확하게 표현될 수 있습니다. 또한 데이터 이상 현상은 머신 러닝 알고리즘의 성능에 영향을 미칠 수 있는데, 이는 모델이 데이터 내의 기본 패턴이 아닌 노이즈에 맞춰지도록 만들 수 있기 때문입니다.

데이터 이상 현상을 식별하고 처리하는 것이 중요한 몇 가지 이유:

데이터 품질 개선: 데이터 이상 현상을 식별하고 처리하면 데이터 품질을 크게 향상시킬 수 있으며, 이는 정확하고 신뢰할 수 있는 데이터 분석에 필수적입니다. 분석가는 데이터 이상 현상을 해결함으로써 데이터 세트의 노이즈와 오류를 줄여 데이터가 실제 기본 패턴을 더 잘 나타낼 수 있도록 보장할 수 있습니다.

의사 결정 향상: 데이터 기반 의사 결정은 정확하고 신뢰할 수 있는 데이터 분석에 의존하여 의사 결정을 내립니다. 분석가는 데이터 이상 현상을 식별하고 처리함으로써 발견한 조사 결과를 더욱 신뢰할 수 있게 되어, 더 나은 정보에 기반한 의사 결정과 더 나은 결과로 이어질 수 있습니다.

머신 러닝 성능 최적화: 데이터 이상 현상은 머신 러닝 알고리즘의 성능에 큰 영향을 미칠 수 있는데, 이는 모델이 데이터 내의 기본 패턴이 아닌 노이즈에 맞춰지도록 만들 수 있기 때문입니다. 분석가는 데이터 이상을 식별하고 처리함으로써 머신 러닝 모델의 성능을 최적화하여 정확하고 신뢰할 수 있는 예측을 제공하도록 보장할 수 있습니다.

이상 탐지 시스템은 비의도적 이상 현상과 의도적 이상 현상이라는 두 가지의 일반적인 이상 유형을 발견할 수 있습니다.

비의도적 이상 현상은 데이터 수집 과정에서의 오류나 노이즈로 인해 표준에서 벗어난 데이터 포인트를 말합니다. 이러한 오류는 센서 결함이나 데이터 입력 중 인적 오류와 같은 문제에서 비롯되며, 체계적일 수도 무작위적일 수도 있습니다. 비의도적 이상 현상은 데이터 세트를 왜곡하여 정확한 인사이트를 도출하기 어렵게 만들 수 있습니다.

의도적 이상 현상은 특정 작업이나 이벤트로 인해 표준에서 벗어난 데이터 포인트입니다. 이러한 이상 현상은 특이한 발생 사례나 추세를 부각시킬 수 있으므로 데이터 세트에 대한 귀중한 인사이트를 제공할 수 있습니다. 예를 들어 연휴 시즌에 갑자기 매출이 급증하는 것은 일반적인 매출 패턴과는 다르지만 실생활의 이벤트로 인해 예상되는 것이기 때문에 의도적 이상 현상으로 간주할 수 있습니다.

비즈니스 데이터의 경우 세 가지 주요 시계열 데이터 이상 현상, 즉 포인트 이상 현상, 맥락적 이상 현상, 집단 이상 현상이 존재합니다.

포인트 이상 현상은 글로벌 이상값이라고도 하며, 나머지 데이터 세트에서 멀리 떨어진 외부에 존재하는 개별 데이터 포인트입니다. 이는 의도적일 수도 비의도적일 수도 있으며 오류, 노이즈 또는 특이한 발생 사례로 인해 발생할 수 있습니다. 포인트 이상 현상의 예로는 사용자의 모든 이전 인출액보다 훨씬 큰 금액이 은행 계좌에서 인출된 경우를 들 수 있습니다.

맥락적 이상 현상은 특정 맥락 내에서 표준에서 벗어난 데이터 포인트를 말합니다. 이러한 이상 현상은 개별적으로 고려할 때는 꼭 이상값이라 할 수는 없지만 특정 맥락 내에서 보면 이상값이 됩니다.

예를 들어, 가정 내 에너지 사용량을 생각해 보시길 바랍니다. 일반적으로 집에 가족 구성원이 없는 정오에 에너지 소비가 갑자기 증가하는 경우, 해당 이상 현상은 맥락적 이상 현상이 될 것입니다. 이 데이터 포인트는 아침이나 저녁(사람들이 주로 집에 있는 시간대)의 에너지 사용량과 비교하면 이상값이 아닐 수도 있지만, 하루 중 이 현상이 발생하는 시간대라는 맥락에서 보면 비정상적인 수치입니다.

집단 이상 현상은 개별 인스턴스가 정상으로 보일지라도, 총체적으로 보면 표준에서 벗어난 데이터 인스턴스 세트를 포함합니다. 이러한 유형의 이상 현상의 예로는 동시에 여러 IP 주소에서 트래픽이 갑자기 급증하는 현상을 보이는 네트워크 트래픽 데이터 세트가 있습니다.

이상 현상 감지 시스템을 사용하여 데이터 이상 현상을 감지하는 것은 데이터 분석의 매우 중요한 측면이며, 이를 통해 정확하고 신뢰할 수 있는 조사 결과를 확보할 수 있습니다. 이상 현상 감지 시스템을 구축하는 데에는 다양한 이상 현상 감지 방법을 사용할 수 있습니다.

시각화는 데이터 과학자가 데이터에서 잠재적인 이상값과 패턴을 신속하게 식별할 수 있도록 해주기 때문에 데이터 이상 현상을 감지하는 데 있어 강력한 도구입니다. 분석가는 차트와 그래프를 사용하여 데이터를 플로팅함으로써 데이터 세트에서 비정상적인 데이터 포인트나 추세가 있는지 시각적으로 검사할 수 있습니다.

통계 검정은 데이터 과학자가 관찰된 데이터를 예상 분포 또는 패턴과 비교함으로써 데이터 이상 현상을 감지하는 데 사용할 수 있습니다.

예를 들어, 그럽스 검정(Grubbs test)는 각 데이터 포인트를 데이터의 평균 및 표준 편차와 비교하여 데이터 세트에서 이상값을 식별하는 데 사용할 수 있습니다. 마찬가지로 콜모고로프 스미르노프 검정은 데이터 세트가 정규 분포와 같은 특정 분포를 따르는지 여부를 확인하는 데 사용할 수 있습니다.

머신 러닝 알고리즘은 데이터의 기본 패턴을 학습한 다음 해당 패턴에서 벗어난 부분을 식별하여 데이터 이상 현상을 감지하는 데 사용할 수 있습니다. 가장 일반적인 ML 이상 현상 감지 알고리즘 몇 가지는 다음과 같습니다.

• 의사결정트리: 의사 결정 트리의 한 유형인 격리의 숲(Isolation Forest)은 특징을 무작위로 선택한 다음 선택한 특징의 최댓값과 최솟값 사이의 분할 값을 무작위로 선택하여 이상 현상을 격리하는 앙상블 학습 방법입니다.
  
  
• 원 클래스 서포트 벡터 머신(SVM): 원 클래스 SVM은 "정상" 인스턴스에 대해서만 학습된 분류 알고리즘 방식으로, 정상 데이터를 포괄하는 경계를 생성하는 것을 목표로 합니다. 이 경계를 벗어나는 인스턴스는 이상 현상으로 간주됩니다.
  
  
• k-최근접 이웃(k-NN): k-NN은 가장 가까운 이웃 k개의 다수 클래스를 기준으로 데이터 포인트를 분류하는 간단한 알고리즘입니다. 동일한 클래스의 이웃이 현저히 적은 인스턴스는 이상 현상으로 간주될 수 있습니다.
  
  
• 나이브 베이지안: 이 방법은 기여 요인의 존재 여부에 따라 이벤트가 발생할 확률을 정의하고 동일한 근본 원인과의 관계를 감지하는 방식으로 작동합니다.
  
  
• 오토인코더: 타임스탬프가 찍힌 데이터를 사용하여 데이터 패턴을 예측하고 과거 데이터와 일치하지 않는 이상 현상을 식별하는 신경망의 일종입니다. 
  
  
• LOF(Local Outlier Factor): LOF는 이웃에 대한 데이터 포인트의 로컬 밀도 편차를 측정하는 밀도 기반 알고리즘입니다. 이웃에 비해 밀도가 현저히 낮은 포인트는 이상값으로 간주됩니다.
  
  
• k-평균 클러스터링: k-평균은 레이블이 지정되지 않은 데이터 포인트의 평균 거리를 분석한 다음 이를 특정 그룹으로 클러스터링하는 데 도움이 되는 클러스터링 기법입니다.

이상 현상 감지 알고리즘은 다양한 머신 러닝 학습 기법을 사용하여 패턴을 식별하고 비정상적인 데이터를 감지하는 방법을 학습할 수 있습니다. 데이터 팀의 학습 데이터 세트 내의 레이블이 지정된 데이터의 양(있는 경우)에 따라 비지도, 지도, 반지도 중 어느 주요 이상 현상 감지 기법을 사용할지 결정됩니다.

비지도 이상 현상 감지 기술을 통해 데이터 엔지니어는 모델이 자체적으로 패턴이나 이상을 발견하는 데 사용하는, 레이블이 지정되지 않은 데이터 세트를 모델에게 제공하여 학습시킵니다. 이러한 기술들은 보다 광범위하고 적절하게 적용되기 때문에 단연코 가장 대표적으로 사용되지만 대규모 데이터 세트와 컴퓨팅 성능이 필요합니다. 비지도 머신 러닝은 인공 신경망에 의존하는 딥 러닝 시나리오에서 가장 흔히 볼 수 있습니다.

지도 이상 현상 감지 기술은 정상 인스턴스와 비정상 인스턴스를 모두 포함하는, 레이블이 지정된 데이터 세트에 대해 학습된 알고리즘을 사용합니다. 일반적으로 레이블이 지정된 학습 데이터를 사용할 수 없는 점과 클래스의 본질적인 불균형 특성으로 인해 이러한 이상 현상 감지 기술은 거의 사용되지 않습니다. 

반지도 기술은 비지도 이상 현상 감지와 감지 이상 현상 감지 모두의 긍정적인 특성을 최대한으로 활용합니다. 알고리즘에 레이블이 지정된 데이터의 일부를 제공하면 알고리즘을 부분적으로 학습시킬 수 있습니다. 그런 다음 데이터 엔지니어는 부분적으로 학습된 알고리즘을 사용하여 더 큰 데이터 세트에 자율적으로 레이블을 지정하는데, 이를 “의사 라벨링”이라고 합니다. 신뢰할 수 있다고 판명되면 새로 레이블이 지정된 데이터 포인트가 원래 데이터 세트와 결합되어 알고리즘을 미세 조정합니다.

지도 및 비지도 머신 러닝의 올바른 조합을 찾는 것은 머신 러닝 자동화에 필수적입니다. 이상적으로는, 데이터 분류는 대부분 비지도 방식으로 사람의 개입 없이 수행되는 편이 좋습니다. 그럼에도, 데이터 엔지니어는 평소와 같은 비즈니스의 기준선을 만드는 데 도움이 되는 학습 데이터를 알고리즘에 제공할 수 있어야 합니다. 반지도 접근 방식을 사용하면 특정 이상 현상에 관한 수동 규칙을 만들 수 있는 유연성을 통해 이상 현상 감지를 확장할 수 있습니다.