지도 학습이란 무엇인가요?

레이블이 지정된 데이터는 올바른 아웃풋 또는 답변 및 예제 데이터 포인트로 구성됩니다. 입력 데이터가 머신 러닝 알고리즘에 입력되면 데이터는 모델이 적절하게 맞춰질 때까지 가중치를 조정합니다. 레이블이 지정된 학습 데이터는 특징과 데이터 레이블 간의 관계를 식별하도록 모델을 명시적으로 학습시킵니다.  

지도형은 조직이 스팸 분류 또는 주가 예측과 같은 다양한 실제 문제를 대규모로 해결하는 데 도움이 됩니다. 매우 정확한 머신 러닝 모델을 구축하는 데 사용될 수 있습니다. 

지도 학습은 레이블이 지정된 데이터 세트를 사용하여 입력 데이터와 아웃풋 간의 관계를 이해합니다. 데이터 과학자는 입력 데이터와 해당 레이블이 포함된 학습 데이터 세트를 수동으로 만듭니다. 지도 학습은 실제 사용 사례에서 새로운 입력 데이터에 올바른 아웃풋을 적용하도록 모델을 학습시킵니다. 

학습 중 모델의 알고리즘은 대규모 데이터 세트를 처리하여 입력과 아웃풋 간의 잠재적 상관 관계를 탐색합니다. 그런 다음 테스트 데이터로 모델 성능을 평가하여 성공적으로 학습되었는지 여부를 확인합니다. 교차 검증은 데이터 세트의 다른 부분을 사용하여 모델을 테스트하는 프로세스입니다. 

확률적 경사 하강법(SGD)을 포함한 경사 하강법 알고리즘군은 신경망 및 기타 머신 러닝 모델을 훈련할 때 가장 일반적으로 사용되는 최적화 알고리즘 또는 학습 알고리즘입니다. 모델의 최적화 알고리즘은 모델의 예측과 실제 값 간 차이를 측정하는 방정식인 손실 함수를 통해 정확도를 평가합니다. 

손실 함수의 기울기 또는 경사는 주된 모델 성능 지표입니다. 최적화 알고리즘은 기울기를 낮춰 값을 최소화합니다. 학습 전반에 걸쳐 최적화 알고리즘은 모델을 최적화하기 위해 모델의 매개변수(운영 규칙 또는 "설정")를 업데이트합니다.

일반적인 지도 학습 프로세스는 다음과 같습니다. 

1. 모델 학습에 사용할 학습 데이터 유형을 식별합니다. 이 데이터는 사용할 준비가 되었을 때 모델이 처리할 의도된 입력 데이터와 유사해야 합니다.
2. 훈련 데이터를 조합하고 레이블을 지정하여 레이블이 지정된 훈련 데이터 세트를 생성합니다. 이로 인한 알고리즘 편향 및 기타 성능 결함을 피하려면 훈련 데이터에 데이터 편향이 없어야 합니다. 
3. 훈련 데이터, 검증 데이터 및 테스트 데이터의 세 가지 데이터 그룹을 생성합니다. 검증은 추가 튜닝 및 조정을 위해 훈련 프로세스를 평가하며, 테스트는 최종 모델을 평가합니다. 
4. 모델을 생성하는 데 사용할 머신 러닝 알고리즘을 선택합니다. 
5. 훈련 데이터 세트를 선택한 알고리즘에 공급합니다. 
6. 그에 따라 모델을 검증하고 테스트합니다. 
7. 모델 성능에 유의하고, 정기적인 업데이트를 통해 정확도를 유지하세요.

지도 학습의 예로는 차량의 이미지를 인식하고 차량 유형을 파악하기 위해 생성된 이미지 분류 모델이 있습니다. 이러한 모델은 많은 웹사이트가 스팸 봇을 탐지하는 데 사용하는 CAPTCHA 테스트를 지원할 수 있습니다. 

이 모델을 훈련하기 위해 데이터 과학자는 수많은 차량 예시와 해당 차량 유형(자동차, 오토바이, 트럭, 자전거 등)을 포함하는 레이블이 지정된 학습 데이터 세트를 준비합니다. 모델의 알고리즘은 입력(차량 이미지)이 지정된 아웃풋(차량 유형)을 수신하도록 하는 훈련 데이터의 패턴을 식별하려고 시도합니다. 

모델의 추측을 테스트 세트의 실제 데이터 값과 비교하여 정확한 예측을 했는지 확인합니다. 그렇지 않은 경우, 모델의 성능이 만족스러운 수준의 정확도에 도달할 때까지 학습 주기가 지속됩니다. 일반화 원칙은 모델이 학습 데이터와 동일한 분포의 새로운 데이터에 대해 적절한 예측을 할 수 있는 능력을 의미합니다.

지도 학습 과제는 대체로 분류 문제와 회귀 문제로 나뉩니다. 

• 머신 러닝에서 분류 는 알고리즘을 사용하여 데이터를 카테고리로 분류합니다. 데이터 세트 내의 특정 엔터티를 인식하고 해당 엔터티에 레이블을 지정하거나 정의하는 방법을 파악하려고 시도합니다. 일반적인 분류 알고리즘으로는 선형 분류기, 지원 벡터 머신(SVM), 의사 결정 트리, K-최근접 이웃, 랜덤 포레스트 등이 있습니다.

  신경망은 복잡한 분류 문제를 처리하는 데 매우 뛰어납니다. 신경망은 인간의 뇌를 모방한 노드 레이어를 사용하여 훈련 데이터를 처리하는 딥 러닝 아키텍처입니다. 각 노드는 입력, 가중치, 편향(임곗값) 및 출력으로 구성됩니다. 출력값이 지정된 임곗값을 초과하면 노드가 '실행'되거나 활성화되어 데이터를 네트워크의 다음 레이어로 전달합니다. 

• 회귀 분석은 종속변수와 독립변수 간의 관계를 이해하는 데 사용됩니다. 회귀 문제에서 아웃풋은 연속값이며, 모델은 목표 아웃풋 예측을 시도합니다. 회귀 작업은 판매 수익 또는 재무 계획에 대한 예측 등을 포함됩니다. 선형 회귀, 로지스틱 회귀 및 다항식 회귀는 회귀 알고리즘의 세 가지 예입니다.

  대규모 데이터 세트에는 일반적으로 많은 특징이 포함되므로 데이터 과학자는 차원 축소를 통해 이러한 복잡성을 단순화할 수 있습니다. 이 데이터 과학 기술은 데이터 레이블을 예측하는 데 가장 중요한 특징의 수를 줄여 정확도를 유지하면서 효율성을 높입니다.

경사 하강과 같은 최적화 알고리즘은 지도 학습 작업에 탁월한 다양한 머신 러닝 알고리즘을 훈련합니다. 

• 나이브 베이즈: 나이브 베이즈는 베이즈 정리의 클래스 조건부 독립성 원칙을 채택합니다. 즉, 한 특징의 존재가 주어진 결과의 확률에 다른 특징의 존재에 영향을 미치지 않으며, 각 예측 변수는 해당 결과에 동일한 영향을 미칩니다.

  나이브 베이즈 분류기에는 다항식 나이브 베이즈, 베르누이 나이브 베이즈, 가우시안 나이브 베이즈가 있습니다. 이 기술은 텍스트 분류, 스팸 식별 및 추천 시스템에 자주 사용됩니다. 

• 선형 회귀: 선형 회귀 모델은 연속 종속 변수와 하나 이상의 독립 변수 간의 관계를 식별하는 데 사용되며 일반적으로 미래 결과를 예측하는 데 활용됩니다.

  선형 회귀는 변수 간의 관계를 직선으로 표현합니다. 독립변수와 종속변수가 하나 있는 경우를 단순 선형 회귀라고 합니다. 독립 변수의 수가 많아질 때는 이 기법을 다중 선형 회귀라고 합니다.. 

• 비선형 회귀: 때로는 선형 입력에서 아웃풋을 재현할 수 없습니다. 이러한 경우 아웃풋은 비선형 함수로 모델링해야 합니다. 비선형 회귀는 비선형 선 또는 곡선을 통해 변수 간의 관계를 표현합니다. 비선형 모델은 많은 매개변수가 있는 복잡한 관계를 처리할 수 있습니다. 

• 로지스틱 회귀:  로지스틱 회귀는 참 또는 거짓 , 양수 또는 음수와 같은 아웃풋이 있는 경우 카테고리형 종속 변수를 처리합니다. 선형 회귀 모델과 로지스틱 회귀 모델 모두 데이터 입력 간의 관계를 이해하려고 하지만, 로지스틱 회귀는 주로 스팸 식별과 같은 이진 분류 문제를 해결합니다. 

• 다항식 회귀: 다른 회귀 모델과 마찬가지로 다항식 회귀는 그래프에서 변수 간 관계를 모델링합니다. 다항식 회귀에 사용되는 함수는 지수도를 통해 이 관계를 표현합니다. 다항식 회귀는 비선형 회귀의 하위 집합입니다. 

• 지원 벡터 머신(SVM):  지원 벡터 머신은 데이터 분류와 회귀 모두에 사용되며, 일반적으로 분류 문제를 처리합니다. 여기서 SVM은 결정 경계 또는 초평면을 사용하여 데이터 포인트 클래스를 구분합니다. SVM 알고리즘의 목표는 데이터 포인트 그룹 간의 거리를 최대화하는 초평면을 플롯팅하는 것입니다. 

• K-최근접 이웃: K-최근접 이웃(KNN)은 데이터 포인트의 근접성 및 사용 가능한 다른 데이터와의 연관성을 기반으로 데이터 포인트를 분류하는 비모수 알고리즘입니다. 이 알고리즘은 수학적으로 플롯팅 시 유사한 데이터 포인트가 서로 근처에서 발견될 수 있다고 가정합니다.

  사용이 간편하고 계산 시간이 짧아 추천 엔진 및 이미지 인식에 사용할 때 효율적이지만, 테스트 데이터 세트가 커질수록 처리 시간이 길어지므로 분류 작업에는 적합하지 않습니다. 

• 랜덤 포레스트: 랜덤 포레스트는 분류와 회귀 목적 모두에 사용되는 유연한 지도 머신 러닝 알고리즘입니다. '포레스트'는 상관 관계가 없는 의사 결정 트리의 컬렉션을 참조하며, 이러한 트리는 분산을 줄이고 정확도를 높이기 위해 함께 병합됩니다.

지도 학습이 머신 러닝 모델을 훈련시키는 유일한 학습 방법은 아닙니다. 다음과 같은 다른 유형의 머신 러닝도 있습니다. 

• 비지도 학습

• 준지도 학습 

• 자기 지도 학습 

• 강화 학습

지도 학습과 비지도 학습의 차이점은 비지도 머신 러닝 은 레이블이 지정되지 않은 데이터를 사용한다는 것입니다. 모델은 데이터의 패턴과 관계를 자체적으로 발견합니다. 많은 생성형 AI 모델이 처음에는 비지도 학습으로 훈련된 후 도메인 전문성을 높이기 위해 지도 학습으로 훈련됩니다. 

비지도 학습은 데이터 세트 내 공통 속성이 불확실한 클러스터링 또는 연관 문제를 해결하는 데 도움이 될 수 있습니다. 일반적인 클러스터링 알고리즘은 계층적, k-평균, 가우스 혼합 모델입니다.

준지도 학습은 입력 데이터의 일부에 레이블을 지정합니다. 도메인 전문성에 의존하여 지도 학습에 적합한 데이터 레이블을 지정하면 시간과 비용이 많이 들 수 있으므로 준지도 학습이 매력적인 대안이 될 수 있습니다.

자기 지도 학습(SSL)은 레이블이 지정되지 않은 데이터를 사용하여 지도 학습을 모방합니다. 지도 학습 데이터 세트의 수동으로 만든 레이블을 사용하는 대신 SSL 과제는 모델이 비정형 데이터에서 암시적 레이블을 생성할 수 있도록 구성됩니다. 그런 다음 모델의 손실 함수는 이렇게 생성된 레이블을 실제 레이블 대신 사용하여 모델의 성능을 평가합니다. 

자기 감독 학습은 레이블을 지정하는 데 엄청난 비용과 시간이 소요되는 대규모 데이터 세트를 필요로 하는 컴퓨팅 비전 및 자연어 처리(NLP) 작업에서 널리 사용됩니다.

강화 학습은 로봇과 자율주행 자동차와 같은 자율주행 에이전트가 환경 상호 작용을 통해 결정을 내리도록 훈련합니다. 강화 학습은 레이블이 지정된 데이터를 사용하지 않으며, 데이터 세트 내 기본 패턴을 식별하는 것이 아니라 시행착오와 보상을 통해 가르친다는 점에서 비지도 학습과 다릅니다.

지도 학습 모델은 다음과 같은 비즈니스 애플리케이션을 구축하고 발전시킬 수 있습니다. 

• 이미지 및 객체 인식: 지도 학습 알고리즘은 동영상이나 이미지에서 객체를 찾고, 분리하고, 분류하는 데 사용할 수 있어 다양한 컴퓨팅 비전 기술과 이미지 분석 과제에 적용할 때 유용합니다.

• 예측 분석:  지도 학습 모델은 예측 분석 시스템을 만들어 인사이트를 제공합니다. 이를 통해 기업은 아웃풋 변수를 기반으로 특정 결과를 예측하고 데이터 기반의 의사 결정을 내릴 수 있으므로 비즈니스 리더가 의사 결정을 정당화하거나 조직의 이익을 위해 방향을 전환하는 데 도움이 됩니다.

  또한 의료 서비스 제공자는 회귀를 통해 환자 기준과 역사적 데이터를 기반으로 결과를 예측할 수 있습니다. 예측 모델은 환자의 생물학적 데이터 및 생활 방식 데이터를 기반으로 환자가 특정 질병 또는 상태를 겪을 위험을 평가할 수 있습니다. 

• 고객 감정 분석: 조직은 사람의 개입이 거의 없이도 대량의 데이터에서 컨텍스트, 감정, 의도를 비롯한 중요한 정보를 추출하고 분류할 수 있습니다. 감정 분석은 고객 상호 작용을 더 잘 이해하고 브랜드 참여 노력을 개선하는 데 유용하게 활용될 수 있습니다. 

• 고객 세분화: 회귀 모델은 다양한 특성과 과거 추세를 기반으로 고객 행동을 예측할 수 있습니다. 기업은 예측 모델을 사용하여 고객 기반을 세분화하고 구매자 페르소나를 만들어 마케팅 활동과 제품 개발을 개선할 수 있습니다. 

• 스팸 감지: 지도 학습 모델의 또 다른 예는 스팸 감지입니다. 조직은 지도 분류 알고리즘을 사용하여 새로운 데이터의 패턴이나 이상 징후를 인식하도록 데이터베이스를 학습시켜 스팸 및 비스팸 관련 메일을 효과적으로 구분할 수 있습니다. 

• Forecasting: 회귀 모델은 과거 추세에 기반한 예측에 데 탁월하므로 금융 산업에서 사용하기에 적합합니다. 또한 기업은 회귀를 사용하여 재고 수요를 예측하고, 직원 급여를 산정하고, 잠재적인 공급망 장애를 방지할 수 있습니다. 

• 추천 엔진: 콘텐츠 제공업체와 온라인 마켓플레이스는 지도 학습 모델을 활용하여 고객의 선택, 선호도 및 구매를 분석하고 전환 가능성이 더 높은 맞춤형 추천을 제공하는 추천 엔진을 구축할 수 있습니다.

지도 학습은 심층적인 데이터 인사이트와 향상된 자동화 등의 이점을 비즈니스에 제공할 수 있지만, 일부 상황에는 최적의 선택이 아닐 수 잇습니다. 

• 인력 제약: 지도 학습 모델을 정확하게 구성하려면 특정 수준의 전문 지식이 필요할 수 있습니다. 

• 인간의 참여: 지도 학습 모델은 자기 학습이 불가능합니다. 데이터 과학자는 모델의 성능 아웃풋을 검증해야 합니다. 

• 시간 요구 사항: 데이터 세트가 크고 수동으로 레이블을 지정해야 하므로 지도 학습 프로세스에 시간이 많이 걸립니다. 

• 유연성 부족: 지도 학습 모델은 데이터 세트의 범위를 벗어난 데이터에 레이블을 지정하는 데 어려움을 겪습니다. 비지도 학습 모델은 새 데이터를 더 잘 처리할 수 있습니다. 

• 편향: 데이터 세트가 사람의 실수와 편향을 포함할 가능성이 높기 때문에 알고리즘이 잘못 학습될 수 있습니다.

• 과적합: 지도 학습은 간혹 과적합(모델이 데이터 세트에 지나치게 맞춤화되는 경우)을 초래할 수 있습니다. 훈련의 정확도가 높다는 것은 일반적으로 강력한 성능과 달리 과적합을 나타낼 수 있습니다. 과적합을 방지하려면 학습 데이터와 다른 데이터로 모델을 테스트해야 합니다.