KDD(knowledge discovery in data)라고도 알려진 데이터 마이닝은 대량의 데이터 세트에서 패턴과 기타 가치 있는 정보를 발견하는 프로세스입니다.  데이터 웨어하우징 기술의 진화와 빅데이터의 성장과 함께 데이터 마이닝 기술의 채택이 지난 20년 동안 급속도로 가속화되었습니다. 데이터 마이닝 기술은 기업들이 원시 데이터를 유용한 지식으로 전환하도록 지원합니다. 그러나 이 기술이 계속해서 진화하며 대규모로 데이터를 처리하고 있지만, 리더들은 여전이 확장성 및 자동화 관련 문제를 겪고 있습니다.

데이터 마이닝은 통찰력 있는 데이터 분석을 통해 조직의 의사 결정 능력을 향상했습니다. 이러한 분석을 뒷받침하는 데이터 마이닝 기법은 두 가지 주요 목적으로 나뉩니다. 그 두 가지 목적은  머신 러닝 알고리즘을 사용하여 데이터 세트를 설명하거나 결과를 예측하는 것입니다. 이러한 방법은 데이터를 정리 및 필터링하여 사기 탐지부터 사용자 행동, 병목 현상 그리고 심지어 보안 침해까지 여러 대상에서 가장 흥미 있는 정보를 드러내는 데 사용됩니다.

 Apache Spark와 같은 데이터 분석 및 시각화 툴을 함께 사용하면 데이터 마이닝의 세계를 쉽게 심층적으로 탐구하고 관련 인사이트를 매우 빨리 추출할 수 있습니다.  인공지능의 발전은 여러 산업에서 계속 데이터 마이닝의 채택을 가속화하고 있습니다. 

데이터 마이닝 프로세스는 데이터 수집부터 시각화까지 여러 단계에 걸쳐 대량의 데이터 세트로부터 가치 있는 정보를 추출합니다. 위에서 언급한 대로, 데이터 마이닝 기법은 대상 데이터 세트를 설명하고 이에 대한 예측을 수행하는 데 사용됩니다. 데이터 과학자는 패턴, 연관성 및 상관관계를 관찰하여 데이터를 설명합니다. 또한, 분류 및 회귀 방법을 활용하여 데이터를 분류 및 군집화하고, 스팸 탐지와 같은 사용 사례에서 이상값을 찾아냅니다.

데이터 마이닝은 일반적으로 네 개의 주요 단계로 구성됩니다. 바로, 목표 설정, 데이터 수집 및 준비, 데이터 마이닝 알고리즘 적용 및 결과 평가가 네 가지 주요 단계입니다.

1. 비즈니스 목표 설정: 이 단계는 데이터 마이닝 프로세스에서 가장 어려운 부분이며 많은 조직이 이 중요한 단계에 너무 적은 시간을 사용합니다. 데이터 과학자와 비즈니스 이해 관계자는 비즈니스 문제를 정의하기 위해 협력해야 합니다. 이는 특정 프로젝트의 데이터 관련 질문과 매개변수를 제시하는 데 도움이 됩니다. 또한 분석가는 비즈니스 컨텍스트를 적절하게 이해하기 위해 추가 연구를 수행해야 할 수도 있습니다.

2. 데이터 준비: 문제의 범위가 정의되면 데이터 과학자가 비즈니스에 관련된 문제에 답하는 데 도움을 줄 데이터 세트를 결정하기가 더 쉽습니다. 관련 데이터를 수집한 후에는 데이터 정리를 통해 중복 데이터, 누락 값 및 이상값과 같은 노이즈를 제거합니다. 데이터 세트에 따라 차원의 수를 줄이기 위한 추가 단계가 필요할 수 있습니다. 특성이 너무 많으면 이후 수행될 계산이 느려질 수 있기 때문입니다. 데이터 과학자는 모델 내에서 최적의 정확성을 구현하기 위해 가장 중요한 예측 지표를 확보하려고 할 것입니다.

3. 모델 구축 및 패턴 마이닝: 분석 유형에 따라 데이터 과학자는 순차적 패턴, 연관 규칙 또는 상관관계 등 흥미로운 데이터 간의 관계를 조사할 수 있습니다. 빈도가 높은 패턴은 폭넓은 응용 분야에 사용되지만, 데이터 내의 이탈은 사기의 가능성이 있는 분야를 보여주므로 때때로 더 흥미로울 수 있습니다.

딥 러닝 알고리즘은 또한 가용 데이터에 따라 데이터 세트를 분류하거나 군집화하는 데 적용될 수 있습니다. 입력 데이터가 레이블링되면(즉, 지도형 학습), 분류 모델이 데이터를 분류하는 데 사용될 수 있습니다. 또는, 회귀가 특정 할당의 가능성을 예측하는 데 적용될 수 있습니다. 데이터 세트가 레이블링되지 않을 경우(즉, 비지도형 학습), 기저의 유사성을 발견하기 위해 훈련 세트의 개별 데이터 포인트가 다른 데이터 포인트와 비교되며, 이러한 특징을 기반으로 군집화됩니다다.

4. 결과 평가 및 지식 활용: 데이터가 집계되면 결과를 평가하고 해석해야 합니다. 마무리 작업을 할 때는 유효하고 참신하며 유용하고 이해 가능한 결과를 제시해야 합니다. 이 기준이 충족되면 조직은 이 지식을 활용하여 새로운 전략을 구현하고 의도한 목표를 달성할 수 있습니다.

데이터 마이닝은 대량의 데이터를 유용한 정보로 변환하기 위해 다양한 알고리즘과 기법을 사용합니다. 가장 흔히 사용되는 알고리즘과 기법 몇 가지는 아래와 같습니다.

연관 규칙: 연관 규칙은 데이터 세트의 변수 간 관계를 찾기 위한 규칙 기반 방법입니다. 이 방법은 장바구니 분석에 자주 사용되며, 이를 통해 기업들은 다양한 제품 간의 관계를 더 잘 이해할 수 있습니다. 소비자의 소비 습관을 이해하면 기업은 더 나은 교차 판매 전략과 추천 엔진을 개발할 수 있습니다.

신경망:  주로 딥러닝 알고리즘에 활용되는  신경망은 노드의 계층을 통해 인간 두뇌의 상호연결성을 모방함으로써 훈련 데이터를 처리합니다. 각각의 노드는 입력, 가중치, 편향(또는 임계값) 및 출력으로 구성되어 있습니다. 해당 출력 값이 주어진 임계값을 초과하면, 이는 노드를 "실행"하거나 활성화하여 데이터를 네트워크의 다음 계층으로 전달합니다. 신경망은 지도형 학습을 통해 이러한 맵핑 기능을 학습하며, 기울기 하강 프로세스를 통한 손실 함수를 기반으로 조정을 수행합니다. 비용 함수가 0이거나 또는 거의 0이면, 올바른 답을 내놓을 만큼 모델의 정확도가 높다고 확신할 수 있습니다.

결정 트리 : 이 데이터 마이닝 기법은 분류 또는 회귀 방법을 사용하여 결정 세트를 기반으로 잠재적 결과를 분류 또는 예측합니다. 이 이름에서 알 수 있듯이, 결정 트리는 이러한 결정의 잠재적 결과를 표현하기 위해 나무와 같은 시각화를 활용합니다.

K-최근접 이웃(K-nearest neighbor): KNN 알고리즘으로도 알려진 K-최근접 이웃은 다른 가용 데이터와의 근접성과 연관성을 기반으로 데이터 포인트를 분류하는 비매개변수형 알고리즘입니다. 이 알고리즘은 가까운 곳에서 유사한 데이터 포인트를 찾을 수 있다고 가정합니다. 그러므로 이 알고리즘은 주로 유클리드 거리를 통해 데이터 포인트 간의 거리를 계산하려고 합니다. 그 다음, 가장 빈도가 높은 범주 또는 평균을 기반으로 범주를 할당합니다.

데이터 마이닝 기법은 비즈니스 인텔리전스 및 데이터 분석 팀 사이에서 널리 채택되었으며, 이러한 팀이 조직과 산업을 위해 지식을 추출하도록 돕습니다. 데이터 마이닝의 사용 사례 몇 가지는 아래와 같습니다.

영업 및 마케팅
 

기업들은 고객과 잠재 고객에 대한 방대한 양의 데이터를 수집합니다. 이들은 소비자 인구통계 정보와 온라인 사용자 행동을 관찰하여 시장 캠페인을 최적화하고, 세분화를 향상하고, 오퍼링을 교차 판매하고, 고객 충성도 프로그램을 수행하고 마케팅 노력의 ROI를 높이는 데 데이터를 사용할 수 있습니다. 또한, 예측 분석은 팀이 이해 관계자와 기대치를 설정하여 마케팅 투자가 증가 또는 감소하는 경우의 수익 추정치를 제공하는 데 도움을 줄 수 있습니다.

교육
 

교육 기관들은 학생과 학생의 성공에 도움이 되는 환경을 이해하기 위해 데이터를 수집하기 시작했습니다. 교육 과정이 계속 온라인 플랫폼으로 이동하면서 교육 기관들은 키 스트로크, 학생 프로필, 수업, 대학, 사용 시간 등 다양한 차원 및 지표를 활용하여 성과를 관찰하고 평가할 수 있습니다.

운영 최적화
 

프로세스 마이닝은 조직이 더 효율적으로 운영될 수 있도록 운영 부서 전반의 비용을 낮추기 위해 데이터 마이닝 기법을 활용합니다. 이러한 프랙티스는 비용이 많이 초래되는 병목 지점을 찾아내고 비즈니스 리더의 의사 결정 능력을 향상하는 데 도움을 주었습니다.

사기 감지
 

자주 등장하는 데이터의 패턴은 가치 있는 인사이트를 제공하며, 데이터의 이상값을 관찰하는 것도 기업들이 사기를 탐지하는 데 도움이 되므로 유용합니다. 이것은 은행 및 기타 금융 기관 내에서 잘 알려진 사용 사례이지만, SaaS 기반 기업들도 데이터 세트에서 거짓 사용자 계정을 없애기 위해 이러한 프랙티스를 따르기 시작했습니다.