识别重要的超参数

尽管梯度提升框架提供了许多可配置参数 (parameter)，但并非所有超参数 (hyperparameter)对模型性能都有相同的影响。将您的调优工作集中在影响最大的参数上对于高效优化必不可少。XGBoost、LightGBM和CatBoost中主要的参数被识别，并解释它们的作用和相互关系。理解这些参数是系统地改进模型（从默认设置开始）的第一步。

核心提升参数 (parameter)

这些参数控制着基本的提升过程，并且在大多数实现中都存在（可能名称略有不同）。

1. 提升轮数（n_estimators，num_boost_round，iterations） 这个参数决定了要构建的顺序树（基础学习器）的总数。增加树的数量通常会增加模型复杂度。树太少会导致欠拟合 (underfitting)，而树太多则会导致训练数据过拟合 (overfitting)。尽管这是一个可调参数，但通常最好通过使用早停间接管理。您可以设置一个较大的潜在轮数，并在验证集上的性能不再提高时让算法自动停止。

2. 学习率（learning_rate，eta） 学习率缩放了添加到集成中的每棵新树的贡献。较小的学习率需要更多的提升轮数（n_estimators）才能达到相同的训练误差减少水平，但通常会带来更好的泛化能力。它通过在每次迭代中缩小函数空间中的步长，充当一种正则化 (regularization)形式。典型值范围从0.01到0.3。存在一个直接的权衡：降低学习率通常需要增加提升轮数。

   • 作用： 控制收敛速度和正则化。较低的值可以降低过拟合的风险，但会增加计算时间。
   • 相互关系： 与n_estimators有很强的相互关系。

树结构参数 (parameter)

这些超参数 (hyperparameter)控制着用作基础学习器的单个决策树的复杂度。

1. 最大树深度（max_depth） 这个参数限制了每棵树的最大允许深度。更深的树可以捕捉到特征之间更复杂的相互关系，但更容易过拟合 (overfitting)特定的训练样本。浅层树（例如，深度4-8）通常能提供一个好的平衡。LightGBM的叶子生长策略（稍后讨论）有时会使num_leaves成为比max_depth更直接的控制方式。

   • 作用： 直接控制模型复杂度和特征相互关系。
   • 典型范围： 通常在3到10之间，但很大程度上取决于数据。

2. 最小子节点权重 (weight)（min_child_weight [XGBoost]，min_sum_hessian_in_leaf [LightGBM]）/ 每叶最小样本数（min_data_in_leaf [LightGBM]，min_samples_leaf [Scikit-learn GBM]，min_data_in_leaf [CatBoost]） 这些参数为实例权重之和（XGBoost/LightGBM为Hessian）或叶节点所需的样本数量设置了一个最小阈值。它们防止树创建分离出非常小的样本组的分割，从而充当一种正则化 (regularization)机制，防止数据中的噪声过拟合。较大的值会产生更保守的树。

   • 作用： 通过控制叶节点大小/权重来正则化树结构。
   • 相互关系： 与max_depth有相互关系。

3. 最小分割增益（gamma [XGBoost]，min_gain_to_split [LightGBM]，min_impurity_decrease [Scikit-learn GBM]） 这个参数指定了进行分割所需的损失函数 (loss function)中的最小减少量。任何未能至少减少此量的分割都将被剪枝。它充当对分割过程本身的直接正则化参数。较大的值使算法更保守。

   • 作用： 通过设置分割效用的阈值来正则化树的生长。

子采样参数 (parameter)

这些参数在训练过程中引入随机性，这通常可以提高泛化能力并加快训练速度。

1. 行子采样（subsample [XGBoost, LightGBM, CatBoost]，bagging_fraction [LightGBM 别名]） 这个参数决定了为构建每棵树而随机选择（不放回）的训练样本的比例。小于1.0的值会引入随机性，减少方差并有助于防止过拟合 (overfitting)。典型值范围从0.5到1.0。

   • 作用： 正则化 (regularization)（减少方差），可能加快训练速度。

2. 列子采样（colsample_bytree，colsample_bylevel，colsample_bynode [XGBoost, LightGBM]，feature_fraction [LightGBM 别名]） 这些参数控制了在构建每棵树（colsample_bytree）、每个级别（colsample_bylevel）或每次分割（colsample_bynode或feature_fraction）时考虑的特征比例。这在处理包含许多特征的数据集时特别有用，因为它防止模型过度依赖一小部分可能占主导地位的特征。

   • 作用： 正则化（特别是对于高维数据），加快计算速度。
   • 典型范围： 通常在0.5到1.0之间。

算法特定的重要参数 (parameter)

尽管上述参数很常见，但每个库都有独特而重要的设置：

• XGBoost：
  • reg_alpha (L1 正则化 (regularization))：在叶子权重 (weight)上添加L1惩罚。可能导致稀疏权重（尽管对树结构的影响小于特征选择）。
  • reg_lambda (L2 正则化)：在叶子权重上添加L2惩罚。默认通常为1，提供一些正则化。对于树模型，这通常认为它比reg_alpha更有影响。
• LightGBM：
  • num_leaves：一棵树中的最大叶子数。由于LightGBM的叶子生长策略（生长损失减少最大的叶子），这是控制复杂度的主要参数。它通常是代替max_depth进行调优。请注意，高值很容易导致过拟合 (overfitting)。一个常见约束是num_leaves <= 2^max_depth。
  • boosting_type：允许选择gbdt（传统提升）、dart（添加dropout）和goss（基于梯度的单侧采样）。gbdt是标准方法，而dart有时可以以调优更多参数为代价提高性能，goss是LightGBM效率机制的一部分。
• CatBoost：
  • cat_features：明确识别分类特征，使CatBoost能够进行特殊处理（如有序TS）。这对于在包含分类数据的数据上有效使用CatBoost是必需的。
  • l2_leaf_reg：类似于XGBoost的reg_lambda，控制叶子值上的L2正则化。
  • border_count：控制用于数值特征离散化（直方图构建）的bin数量。影响训练速度和内存使用。
  • one_hot_max_size：对于基数较低的分类特征，CatBoost可以使用独热编码，直到达到此指定大小。

调优优先级

同时调优所有参数 (parameter)在计算上是不可行的。一个实用的方法是根据影响进行优先级排序：

这是调优梯度提升超参数 (hyperparameter)的建议优先级。参数之间存在相互关系，因此在调优后面参数后，重新审视前面参数有时能带来进一步的改进。

1. 核心学习参数： 首先找到learning_rate和n_estimators的良好组合（使用早停）。
2. 树复杂度： 调优max_depth（对于LightGBM是num_leaves）和min_child_weight / min_data_in_leaf。
3. 子采样： 优化subsample和colsample_by*参数。
4. 显式正则化 (regularization)： 微调 (fine-tuning)gamma、reg_alpha、reg_lambda或l2_leaf_reg等参数。
5. 算法特定参数： 如果需要，调整所选库特有的参数。

请记住，这些参数相互影响。改变一个参数可能会影响其他参数的最佳设置。因此，调优通常是一个迭代过程。在识别出这些重要参数后，接下来的章节将介绍网格搜索、随机搜索和贝叶斯优化等方法，以系统地查找它们的合适值，并找到能为您的特定任务产生最佳性能的组合。