Scikit-Learn 和 Caret 中的梯度提升分类器

install.packages('gbm')
install.packages('caret')
install.packages('palmerpenguins')

library(gbm)
library(caret)  
library(palmerpenguins)

head(penguins) # head() returns the top 6 rows of the dataframe
summary(penguins) # prints a statistical summary of the data columns

使用 caret 包的 createDataPartition 函数将原始数据集分割为训练集和测试集，按 70% 训练和 30% 测试划分。

dim(penguins)

# get rid of any NA

penguins <- na.omit(penguins)
parts = caret::createDataPartition(penguins$species, p = 0.7, list = F)

train = penguins[parts, ]
test = penguins[-parts, ]

现在准备进行训练与测试。

Caret 库中的训练方法使用 R 公式，其因变量（通常也称为目标变量）位于波浪符“~”的左侧。独立变量（通常也称为特征变量）位于“~”的右侧。例如：

height ~ age

此步骤根据年龄预测身高。要训练 caret，您需要传入公式、训练数据及所用方法。Caret 库提供了许多不同类型训练的方法，因此将方法设置为“gbm”就是指定使用梯度提升。下一个参数用于配置训练过程。“repeatedcv”方法对训练集数据点的子样本执行 X 折交叉验证。此处，您可以通过为每个交叉验证使用一组不同的折叠集来指定 5 折交叉验证的 3 次重复。

model_gbm <- caret::train("species ~ .",
                          data = train,
                          method = "gbm", # gbm for gradient boosting machine
                          trControl = trainControl(method = "repeatedcv", 
                                                   number = 5, 
                                                   repeats = 3, 
                                                   verboseIter = FALSE),
                          verbose = 0)

现在您可以使用预测模型对测试数据进行预测：

pred_test = caret::confusionMatrix(
  data = predict(model_gbm, test),
  reference = test$species
)

print(pred_test)

此步骤输出：

Confusion Matrix and Statistics
           Reference
Prediction  Adelie Chinstrap Gentoo
  Adelie        42         0      0
  Chinstrap      0        20      0
  Gentoo         1         0     35

Overall Statistics
                                          
               Accuracy : 0.9898          
                 95% CI : (0.9445, 0.9997)
    No Information Rate : 0.4388          
    P-Value [Acc > NIR] : < 2.2e-16       
                  Kappa : 0.984           

 Mcnemar's Test P-Value : NA              

Statistics by Class:
                     Class: Adelie Class: Chinstrap Class: Gentoo
Sensitivity                 0.9767           1.0000        1.0000
Specificity                 1.0000           1.0000        0.9841
Pos Pred Value              1.0000           1.0000        0.9722
Neg Pred Value              0.9821           1.0000        1.0000
Prevalence                  0.4388           0.2041        0.3571
Detection Rate              0.4286           0.2041        0.3571
Detection Prevalence        0.4286           0.2041        0.3673
Balanced Accuracy           0.9884           1.0000        0.9921

由于交叉验证的折间特性，每个类别的敏感性和特异性可能与此处观测值略有差异，但准确率保持一致。即使仅占训练数据集 20% 的 Chinstrap 企鹅类别，模型准确率也相当理想。

本步骤安装用于训练和测试梯度提升分类器的库。训练本身通过 scikit-learn 完成的，数据来自 palmerpenguins 库。

!pip install seaborn pandas scikit-learn palmerpenguins

现在将库安装到笔记本环境：

import pandas as pd
import seaborn as sns
from sklearn.compose import ColumnTransformer
from sklearn.ensemble import GradientBoostingClassifier
from sklearn.metrics import classification_report
from sklearn.model_selection import cross_val_score, train_test_split
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import OneHotEncoder, StandardScaler
from palmerpenguins import load_penguins

与 R 代码一样，企鹅数据集中有一些 NA 需要删除。此代码段加载数据集，删除所有 NA 行，然后将数据拆分为特征和目标。

# Load the penguins
penguins = load_penguins() #initialize the dataset
penguins = penguins.dropna()
X = penguins.drop("species", axis=1)
y = penguins["species"]

现在将数据集分为训练和测试两部分，其中 70% 的数据用于训练，30% 的数据用于测试。

X_train, X_test, y_train, y_test = train_test_split(
   X, y, test_size=0.3, random_state=42
)

接下来，您将收集两个列名列表，一个用于 X 的分类特征，另一个用于 X 的数字特征，例如float64 或 int64。然后，使用 scikit-learn 中的 columnTransformer 对不同的列类型应用不同的预处理。对分类特征应用 OneHotEncoder，将其转换为二元向量。对数值特征应用 StandardScaler 将其标准化为均值 f0、方差 1。

# Define categorical and numerical features
categorical_features = X.select_dtypes(
   include=["object"]
).columns.tolist()

numerical_features = X.select_dtypes(
   include=["float64", "int64"]
).columns.tolist()

preprocessor = ColumnTransformer(
   transformers=[
       ("cat", OneHotEncoder(), categorical_features),
       ("num", StandardScaler(), numerical_features),
   ]
)

完成特征集和预处理器创建后，可构建训练模型的管道了。该管道先对输入数据执行预处理，然后传递给梯度提升算法构建分类器。对于更大型或更复杂的数据集，您可能还需要配置其他训练参数。例如，max_features 可以设置寻找最佳分割时要考虑的特征数量，而 max_depth 可以限制树中的节点数量。此代码片段设置条件参数，用于衡量训练拆分的质量。在这种情况下，我们使用 [Jerry Friedman] (https://jerryfriedman.su.domains/ftp/trebst.pdf)（位于 IBM 外部）改进的均方误差。

pipeline = Pipeline([
       ("preprocessor", preprocessor),
       ("classifier", GradientBoostingClassifier(random_state=42, 
         criterion='friedman_mse', max_features=2)),
   ])

接下来执行交叉验证以评估机器学习管道在训练数据上的表现。调用所创建管道的拟合方法对模型进行训练。损失函数默认使用均方误差（或 MSE）。

# Perform 5-fold cross-validation
cv_scores = cross_val_score(pipeline, X_train, y_train, cv=5)

# Fit the model on the training data
pipeline.fit(X_train, y_train)

现在模型已训练，对测试集进行预测并检验性能：

# Predict on the test set
y_pred = pipeline.predict(X_test)

# Generate classification report
report = classification_report(y_test, y_pred)

输出结果：

print(f"Mean Cross-Validation Accuracy: {cv_scores.mean():.4f}")
print("\nClassification Report:")
print(report)

本步骤输出以下结果：

Mean Cross-Validation Accuracy: 0.9775
Classification Report:
              precision    recall  f1-score   support
      Adelie       1.00      1.00      1.00        31
   Chinstrap       1.00      1.00      1.00        18
      Gentoo       1.00      1.00      1.00        18
    accuracy                           1.00        67
   macro avg       1.00      1.00      1.00        67
weighted avg       1.00      1.00      1.00        67

这些结果与本教程第一部分 R 方法报告的准确率高度接近。