조직이 비즈니스 활동에 대한 잠재적인 통찰력을 가진 대규모 데이터 세트를 수집함에 따라, 이러한 데이터 세트에서 비정상적인 데이터나 이상값을 감지하는 것은 비효율성, 희귀 사건, 문제의 근본 원인 또는 운영 개선 기회를 발견하는 데 필수입니다. 하지만 이상 현상이란 무엇이고, 이를 감지하는 것이 중요한 이유는 무엇인가요?
이상 현상의 유형은 기업 및 비즈니스 기능에 따라 다릅니다. 이상 현상 감지는 비즈니스 기능과 목표에 따라 "정상" 패턴과 메트릭을 정의하고 운영의 정상적인 동작 범위를 벗어나는 데이터 포인트를 식별하는 것을 의미합니다. 예를 들어 특정 기간 동안 웹 사이트 또는 애플리케이션의 트래픽이 평균보다 높으면 사이버 보안 위협이 발생했음을 시사할 수 있습니다. 이 경우 사기 탐지 알림을 자동으로 트리거할 수 있는 시스템이 필요합니다. 또한 특정 마케팅 이니셔티브가 효과가 있다는 신호일 수도 있습니다. 이상 현상이 본질적으로 나쁜 것은 아니지만, 이를 인식하고 데이터를 통해 상황을 파악하는 것은 비즈니스를 이해하고 보호하는 데 필수입니다.
데이터 과학 분야에서 일하는 IT 부서의 과제는 날로 늘어나고 끊임없이 변화하는 데이터 포인트를 이해하는 것입니다. 이 블로그에서는 인공 지능에 기반 머신 러닝 기술을 활용하여 세 가지 다른 이상 현상 감지 방법(지도 이상 현상 감지, 비지도 이상 현상 감지, 준지도 이상 현상 감지)을 통해 이상 현상을 탐지하는 방법을 살펴보겠습니다.
지도 학습 기법은 실제 입력 및 출력 데이터를 사용하여 이상 현상을 감지합니다. 이러한 유형의 이상 현상 감지 시스템에서는 데이터 분석가가 데이터 포인트를 정상 또는 비정상으로 라벨링하여 훈련 데이터로 사용할 수 있습니다. 라벨링된 데이터로 훈련된 머신 러닝 모델은 제공된 예제를 기반으로 이상값을 감지할 수 있습니다. 이러한 유형의 머신 러닝은 알려진 이상값 감지에는 유용하지만, 알려지지 않은 이상 현상을 발견하거나 미래의 문제를 예측하는 데는 한계가 있습니다.
지도 학습을 위한 일반적인 머신 러닝 알고리즘은 다음과 같습니다.
비지도 학습 기법은 라벨링된 데이터가 필요하지 않으며 더 복잡한 데이터 세트를 처리할 수 있습니다. 비지도 학습은 딥 러닝 과 생물학적 뉴런이 서로 신호를 보내는 방식을 모방하는 신경망 또는 자동 인코더를 기반으로 합니다. 이러한 강력한 도구는 입력 데이터에서 패턴을 찾고 어떤 데이터가 정상으로 인식되는지에 대한 가정을 생성할 수 있습니다.
이러한 기술은 알려지지 않은 이상 징후를 발견하고, 대규모 데이터 세트를 수동으로 분석하는 작업을 줄이는 데 큰 도움이 될 수 있습니다. 그러나 비지도 학습을 통해 수집한 결과는 데이터 과학자가 모니터링해야 합니다. 이러한 기술은 입력되는 데이터에 대해 가정하기 때문에 이상 징후에 잘못된 레이블을 붙일 수 있습니다.
비정형 데이터에 대한 머신 러닝 알고리즘은 다음과 같습니다.
K-평균: 이 알고리즘은 유사한 데이터 포인트를 클러스터링하기 위해 데이터 포인트를 수학 방정식을 통해 처리하는 데이터 시각화 기술입니다. "평균" 또는 평균 데이터는 다른 모든 데이터와 관련된 클러스터 중심에 있는 포인트를 나타냅니다. 데이터 분석을 통해 이러한 클러스터를 활용한 패턴을 찾고 비정상적인 것으로 확인된 데이터에 대한 추론을 할 수 있습니다.
격리 포리스트: 이 유형의 이상 현상 감지 알고리즘은 비지도 데이터를 사용합니다. 라벨링된 정상 데이터 포인트에서 작동하는 지도 이상 현상 감지 기술과 달리, 이 기법은 이상 현상을 첫 번째 단계로 격리하려고 시도합니다. "랜덤 포레스트"와 비슷하게 데이터 포인트를 매핑하고 분석할 영역을 무작위로 선택하는 "Decision Trees"를 생성합니다. 이 프로세스가 반복되며, 각 포인트는 다른 포인트와의 위치를 기준으로 0에서 1 사이의 이상 점수를 받습니다. 일반적으로 0.5 이하의 값은 정상으로 간주되는 반면, 해당 임계값을 초과하는 값은 이상치일 가능성이 더 높습니다. 격리 포리스트 모델은 Python 무료 머신 러닝 라이브러리인 scikit-learn에서 찾을 수 있습니다(ibm.com 외부 링크).
단일 클래스 지원 벡터 머신(SVM): 이 이상 현상 감지 기술은 훈련 데이터를 사용하여 정상으로 간주되는 범위를 설정합니다. 설정된 경계 내에 있는 클러스터링된 포인트는 정상으로 간주되며, 경계를 벗어난 포인트는 이상치로 라벨링됩니다.
준지도 이상 현상 감지 방법은 이전 두 가지 방법의 이점이 결합되어 있습니다. 엔지니어는 비지도 학습 방법을 적용하여 기능 학습을 자동화하고 비정형 데이터로 작업할 수 있습니다. 그러나 인간 감독과 결합한 방식으로 모델이 학습하는 패턴의 종류를 모니터링하고 제어할 기회를 갖게 됩니다. 이는 일반적으로 모델 예측의 정확성을 높이는 데 도움이 됩니다.
선형 회귀: 이 예측 머신 러닝 도구는 종속 변수와 독립 변수를 모두 사용합니다. 독립 변수는 일련의 통계 방정식을 통해 종속 변수의 값을 결정하기 위한 기반으로 사용됩니다. 이 방정식은 일부 정보만 알려진 미래의 결과를 예측하기 위해 레이블이 지정된 데이터와 레이블이 지정되지 않은 데이터를 사용합니다.
이상 징후 탐지는 여러 산업 분야에서 비즈니스 기능을 유지하기 위한 중요한 도구로 사용됩니다. 수집하는 데이터 유형과 해결하려는 운영 문제에 따라 지도, 비지도 및 준지도 학습 알고리즘 중 무엇을 사용할 것인지가 결정됩니다. 이상 탐지 사용 사례의 예는 다음과 같습니다.
전년도 매출 합계에서 레이블이 지정된 데이터를 사용하면 향후 매출 목표를 예측하는 데 도움이 될 수 있습니다. 또한 과거 성과와 전반적인 회사 요구 사항을 바탕으로 특정 영업 직원에 대한 벤치마크를 설정하는 데 활용할 수도 있습니다. 모든 판매 데이터를 알고 있으므로 패턴을 분석하여 제품, 마케팅 및 계절성에 대한 인사이트를 얻을 수 있습니다.
지도 학습 알고리즘은 과거 데이터를 사용하여 날씨 패턴을 예측하는 데 도움이 될 수 있습니다. 기압, 온도, 풍속 관련 최신 데이터를 분석하면 기상학자들은 변화하는 조건을 고려하여 보다 정확한 예측을 할 수 있습니다.
이러한 유형의 시스템은 소프트웨어 또는 하드웨어 형태로 제공되며, 네트워크 트래픽을 모니터링하여 보안 위반이나 악의적인 활동의 징후가 있는지 확인합니다. 네트워크에 대한 잠재적 공격을 실시간으로 탐지하도록 머신 러닝 알고리즘을 학습시켜 사용자 정보와 시스템 기능을 보호할 수 있습니다.
이러한 알고리즘은 장기간에 걸쳐 설정된 간격으로 데이터 포인트를 분석하는 시계열 데이터를 기반으로 정상적인 성능에 대한 시각화를 만들 수 있습니다. 네트워크 트래픽 급증이나 예상치 못한 패턴이 발생하는 경우 잠재적인 보안 침해로 플래그가 지정되고 검사될 수 있습니다.
기계가 제대로 작동하는지 확인하는 것은 제품 제조, 품질 보증 최적화, 공급망 유지에 매우 중요합니다. 비지도 학습 알고리즘은 장비에 부착된 센서에서 라벨링되지 않은 데이터를 가져와 잠재적인 고장 또는 오작동에 대해 예측함으로써 예측 유지 보수에 사용할 수 있습니다. 이를 통해 기업은 심각한 고장이 발생하기 전에 수리할 수 있어 기계의 가동 중단 시간을 줄일 수 있습니다.
의료 전문가는 머신 러닝 알고리즘을 사용하여 알려진 질병이나 장애가 포함된 이미지를 라벨링할 수 있습니다. 그러나 이미지가 개인마다 다르기 때문에 잠재적 우려 원인을 모두 표시하는 것은 불가능합니다. 훈련이 완료되면 이러한 알고리즘은 환자 정보를 처리하고 라벨링되지 않은 이미지에서 추론하여 잠재적인 우려 사유를 표시할 수 있습니다.
예측 알고리즘은 레이블이 지정된 데이터와 레이블이 지정되지 않은 데이터가 모두 필요한 준지도 학습을 사용해 사기를 탐지할 수 있습니다. 사용자의 신용카드 활동에는 레이블이 지정되므로 비정상적인 지출 패턴을 감지하는 데 사용할 수 있습니다.
그러나 사기 탐지 솔루션은 이전에 사기로 라벨링된 거래에만 전적으로 의존하지 않습니다. 또한 현재 위치, 로그인 기기, 라벨링되지 않은 데이터가 필요한 기타 요인을 포함한 사용자 행동을 기반으로 가정할 수 있습니다.
이상 현상 감지는 성능 데이터에 대한 가시성을 높여주는 솔루션과 도구를 통해 이루어집니다. 이러한 도구를 사용하면 이상 현상을 신속하게 파악하여 문제를 예방하고 해결할 수 있습니다. IBM® Instana™ Observability는 인공 지능과 머신 러닝을 활용하여 모든 팀원에게 성능 데이터에 대한 상세하고 상황에 맞는 그림을 제공함으로써 오류를 정확하게 예측하고 문제를 사전에 해결할 수 있도록 지원합니다.
IBM watsonx.ai는 대규모 데이터 세트를 분석하여 의미 있는 인사이트를 추출할 수 있는 강력한 생성형 AI 도구를 제공합니다. IBM watson.ai는 빠르고 포괄적인 분석을 통해 패턴과 추세를 식별할 수 있으며, 이를 사용하여 현재의 이상 징후를 감지하고 미래의 이상 징후를 예측할 수 있습니다. Watson.AI는 여러 산업 분야에서 다양한 비즈니스 요구에 맞게 사용할 수 있습니다.