워싱턴 대학교의 티안치 첸(Tianqi Chen)이 개발한 XGBoost는 동일한 일반 프레임워크를 사용하여 그레이디언트 부스팅을 고급으로 구현한 것입니다. 즉, 잔차를 더하여 약한 학습기 트리를 강한 학습기로 결합합니다. 이 라이브러리는 C++, Python, R, Java, Scala 및 Julia에서 사용할 수 있습니다.¹

Decision Trees는 머신 러닝에서 분류 또는 회귀 작업에 사용됩니다. 내부 노드는 기능을, 분기는 의사 결정 규칙을, 각 리프 노드는 데이터 세트의 결과를 나타내는 계층적 트리 구조를 사용합니다.

Decision Trees는 과적합되기 쉽기 때문에 부스팅과 같은 앙상블 방법을 사용하여 더 견고한 모델을 만들 수 있습니다. 부스팅은 여러 개의 개별 약한 트리, 즉 무작위 확률보다 약간 더 나은 성능을 보이는 모델을 결합하여 강한 학습기를 형성합니다. 각 약한 학습기는 이전 모델에서 발생한 오류를 수정하기 위해 순차적으로 학습합니다. 수백 번의 반복 후 약한 학습기는 강한 학습기로 변환됩니다.

랜덤 포레스트와 부스팅 알고리즘은 모두 개별 학습기 트리를 사용하여 예측 성능을 향상하는 인기 있는 앙상블 학습 기법입니다. 랜덤 포레스트는 배깅(부트스트랩 집계) 개념을 기반으로 하며 각 트리를 독립적으로 학습시켜 예측을 결합하지만, 부스팅 알고리즘은 약한 학습기가 순차적으로 학습되어 이전 모델의 실수를 수정하는 가산적 접근 방식을 사용합니다.

그레이디언트 부스트 decision trees는 경사하강법을 활용하는 부스팅 알고리즘의 한 유형입니다. 다른 부스팅 방법론과 마찬가지로 그레이디언트 부스팅은 약한 학습기로 예측을 시작합니다. 그레이디언트 부스팅의 첫 번째 Decision Trees를 기본 학습기라고 합니다. 그다음, 기본 학습기의 실수를 기반으로 새로운 트리가 추가 방식으로 생성됩니다. 그런 다음 알고리즘은 각 트리의 예측에 대한 잔차를 계산하여 모델의 예측이 실제와 얼마나 차이가 나는지 확인합니다. 잔차는 모델의 예측값과 실제 값의 차이입니다. 그런 다음 잔차를 집계하여 손실 함수를 사용하여 모델에 점수를 매깁니다.

머신 러닝에서 손실 함수는 모델의 성능을 측정하는 데 사용됩니다. 그레이디언트 부스트 Decision Trees의 그레이디언트는 경사하강법을 의미합니다. 경사하강법은 새 모델을 학습할 때 손실을 최소화하는 데(즉, 모델의 성능을 향상하는 데) 사용됩니다. 경사하강법은 머신 러닝 문제에서 손실 함수를 최소화하는 데 널리 사용되는 최적화 알고리즘입니다. 손실 함수의 예로는 회귀 문제에 대한 평균 제곱 오차 또는 평균 절대 오차, 분류 문제에 대한 교차 엔트로피 손실 또는 특정 사용 사례 및 데이터 세트에 대한 사용자 지정 손실 함수가 있습니다.

데이터에 대한 탐색적 데이터 분석을 이미 수행했다고 가정하고, 학습 데이터 세트와 테스트 데이터 세트 간에 데이터를 계속 나눕니다. 그런 다음, 데이터를 XGBoost가 예상하는 DMatrix 형식으로 변환합니다³. DMatrix는 메모리 효율성과 학습 속도에 최적화된 XGBoost의 내부 데이터 구조입니다⁴.

그런 다음 XGBoost 모델을 인스턴스화하고 사용 사례에 따라 'object' 초매개변수를 통해 사용할 목적 함수를 선택합니다. 예를 들어 다중 클래스 분류 작업이 있는 경우 목적을 "multi:softmax"로 설정해야 합니다⁵. 또는 이진 분류 문제가 있는 경우 로지스틱 회귀 목적 "binary:logistic"을 사용할 수 있습니다. 이제 학습 집합을 사용하여 모델을 학습시키고 테스트 세트와 별도로 데이터 세트에 대한 분류를 예측할 수 있습니다. 예측된 값과 테스트 세트의 실제 값을 비교하여 모델의 성능을 평가합니다. 정확도, 정밀도, 재현률 또는 f-1 점수와 같은 메트릭을 사용하여 모델을 평가할 수 있습니다. 혼동 행렬을 사용하여 참 양성, 참 음성, 거짓 양성 및 거짓 음성을 시각화할 수도 있습니다.

다음으로 초매개변수 조합을 반복하여 모델의 성능을 향상할 수 있습니다. 초매개변수 튜닝은 머신 러닝 알고리즘의 초매개변수를 최적화하는 프로세스입니다. 최상의 초매개변수는 그리드 검색 및 교차 검증 방법을 사용하여 찾을 수 있으며, 이는 가능한 초매개변수 조합의 사전을 통해 반복합니다.

다음은 XGBoost에서 그레이디언트 부스트 트리를 조정하는 데 사용할 수 있는 일부 초매개변수에 대한 설명입니다.

• learing rate ('단계 크기' 또는 '축소'라고도 함)는 가장 중요한 그레이디언트 부스팅 초매개변수입니다. XGBoost 라이브러리에서는 'eta'라고 하며 0에서 1 사이의 숫자여야 하며 기본값은 0.3입니다⁶. learning rate는 부스팅 알고리즘이 각 반복에서 학습하는 속도를 결정합니다. eta 값이 낮을수록 앙상블에서 각 트리의 기여도를 축소하므로 학습 속도가 느려져 과적합을 방지하는 데 도움이 됩니다. 반대로 eta 값이 클수록 학습 속도는 빨라지지만 신중하게 조정하지 않으면 과적합으로 이어질 수 있습니다.
• n_estimators 초매개변수는 앙상블에 구축할 트리의 수를 지정합니다. 각 부스팅 라운드는 앙상블에 새 트리를 추가하고 모델은 이전 트리에서 만든 오류를 수정하는 방법을 천천히 학습합니다. n_estimators는 모델의 복잡성을 결정하고, 학습 시간과 모델이 보이지 않는 데이터에 대해 일반화하는 능력에 영향을 미칩니다. n_estimators 값을 늘리면 일반적으로 모델이 데이터에서 더 복잡한 패턴을 캡처할 수 있으므로 모델의 복잡성이 증가합니다. 그러나 트리를 너무 많이 추가하면 과적합이 발생할 수 있습니다. 일반적으로 n_estimators가 증가함에 따라 learning rate는 감소해야 합니다.
• gamma (라그랑주 승수 또는 최소 손실 감소 매개변수라고도 함)는 트리의 리프 노드에서 추가 분할을 하는 데 필요한 최소 손실 감소량을 제어합니다. 값이 작을수록 XGBoost가 더 일찍 멈추지만 최적의 솔루션을 찾지 못할 수 있고, 값이 클수록 더 오래 학습하여 더 나은 솔루션을 찾을 수 있지만 과적합의 위험이 더 커질 수 있습니다. gamma에는 상한이 없습니다. XGBoost의 기본값은 0이며 10을 초과하면 큰 것으로 간주됩니다.
• max_depth는 부스팅 프로세스에서 각 트리가 학습 중에 얼마나 깊게 성장할 수 있는지를 나타냅니다. 트리의 깊이는 루트 노드에서 리프 노드까지의 레벨 또는 스플릿 수를 나타냅니다. 이 값을 높이면 모델이 더 복잡해지고 과적합할 가능성이 높아집니다. XGBoost에서 기본 max_depth는 6이며, 이는 모델의 각 트리가 최대 6레벨까지 성장할 수 있음을 의미합니다.