梯度提升中的主要超参数

梯度提升模型功能强大，但其性能对超参数 (parameter) (hyperparameter)的选择非常敏感。尽管现代库包含几十个可配置的设置，但其中一小部分决定了模型的大部分行为。理解这些主要超参数是实现有效优化的第一步。

这些参数可分为三大类：控制整个集成的参数、管理单个树复杂度的参数，以及引入正则化 (regularization)以提升泛化能力的参数。

控制集成的参数 (parameter)

这些超参数 (hyperparameter)定义了提升过程的高层结构，具体是构建多少棵树以及每棵树对最终预测的贡献程度。

树的数量：n_estimators

这是最直接的参数之一。它设置了要构建的顺序树的总数。每棵树都经过训练，以修正前面树的误差，因此添加更多树通常会提高模型在训练数据上的性能。

然而，存在一个收益递减点。在达到一定数量的树之后，模型可能会开始过拟合 (overfitting)训练数据，捕获噪声而不是底层信号。这会导致在未见数据上性能不佳。此外，更多树直接增加了训练时间和内存消耗。一个常见做法是设置相对较多的估计器数量，并在训练期间使用提前停止来找到最佳数量。

学习率：learning_rate (或 eta)

学习率，通常用希腊字母eta ($η$) 表示，它调整了每棵树对最终集成的贡献程度。它的取值在0到1之间。较小的学习率意味着每棵树对整体模型的贡献较小，需要更多的 n_estimators 来构建有效模型。

learning_rate 和 n_estimators 之间的关系代表了梯度提升中一个根本的权衡：

• 低 learning_rate (例如，0.01 - 0.1): 模型学习缓慢。这种方法对过拟合更稳定，但需要更高的 n_estimators 来获得良好性能，这会增加计算时间。
• 高 learning_rate (例如，0.3 - 1.0): 模型学习快。如果 n_estimators 过高，这可能导致过拟合，因为每棵新树都可能做出剧烈的修正，这可能泛化效果不佳。

一个好的策略是从一个小的学习率和足够多的估计器数量开始，然后再进行调整。例如，如果你将 learning_rate 减半，你应该大致将 n_estimators 翻倍以达到相似的性能水平。

控制树复杂度的参数 (parameter)

这些设置限制了单个弱学习器（决策树）的结构，这是控制模型整体复杂度并防止过拟合 (overfitting)的主要方法。

最大树深度：max_depth

此参数设置了一棵树从根到其最远叶子的最大层数。它直接控制了每棵树的复杂度以及模型可以捕获的特征交互程度。

• 低 max_depth (例如，3-5) 会产生更简单的树，这些树不太可能过拟合。这通常在预测能力和泛化能力之间提供了良好平衡。
• 高 max_depth (例如，8-15) 允许模型学习训练数据中高度特定和复杂的模式。虽然这可以提高训练集上的准确性，但它显著增加了过拟合的风险。

调整 max_depth 是管理梯度提升模型中偏差-方差权衡最有效的方法之一。

叶子中的最小样本数：min_child_weight 或 min_samples_leaf

这些参数（在不同库中有不同的名称）控制叶节点必须包含的最小数据点数量（或XGBoost中hessian权重 (weight)的总和）。如果一个提议的拆分会导致叶子中的样本数少于此阈值，则不执行该拆分。

这作为一种正则化 (regularization)形式。通过设置更高的值，可以防止模型创建高度特定于一小部分可能包含噪声的训练实例的叶子。这鼓励模型学习数据中更大部分存在的模式，从而提升其泛化能力。

通过子采样进行正则化 (regularization)的参数 (parameter)

随机梯度提升通过对数据进行子采样，在训练过程中引入随机性，这是一种降低方差和防止过拟合 (overfitting)的有效技术。

行子采样：subsample

此参数指定了在构建每棵树之前要随机采样（无放回）的训练数据比例。例如，subsample 值为0.8意味着每棵树都在随机的80%训练数据上进行训练。

这种技术有助于降低集成中树之间的相关性。由于每棵树都看到略微不同的数据子集，它们不太可能犯相同的错误。这种多样化通常会带来更好的模型，对新数据有更好的泛化能力。

列子采样：colsample_bytree

类似于行子采样，列子采样控制了在构建每棵树时要随机采样的特征（列）比例。如果你有100个特征并将 colsample_bytree 设置为0.7，则每棵新树都将使用70个特征的随机子集构建。

这对具有大量特征的数据集特别有用，其中一些特征可能冗余或不相关。它防止模型过于依赖少数主导特征，并鼓励模型从更广泛的输入中寻找贡献。像XGBoost和LightGBM这样的高级库提供了更细粒度的控制，例如 colsample_bylevel（在每个新深度级别进行采样）和 colsample_by_node（在每个拆分处进行采样）。

一张图表，将梯度提升中的主要超参数 (hyperparameter)及其对模型的主要影响进行了分类。

掌握这些参数为模型调优提供了坚实的基础。虽然还存在其他设置，例如叶子权重 (weight)上的L1 (reg_alpha) 和L2 (reg_lambda) 正则化，但这里讨论的参数通常能带来最显著的性能提升。以下部分将指导你完成一个结构化的过程，以找到这些超参数的最佳值。