ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

精通梯度提升算法
章节 1: 梯度提升算法核心原理回顾
集成方法:回顾
决策树作为基学习器
加法模型框架
梯度下降基本原理
介绍梯度提升机 (GBM)
章节 2: 梯度提升算法详解
函数梯度下降
推导通用GBM算法
回归中常见的损失函数
分类任务的常用损失函数
收缩(学习率)的作用
抽样方法 (随机梯度提升)
使用 Scikit-learn 实现 GBM
实践:构建基础GBM模型
章节 3: 梯度提升中的正则化
提升算法中的过拟合问题
树结构限制:深度、节点和分裂
收缩作为隐式正则化
数据抽样 (随机梯度提升)
正则化目标函数 (L1/L2)
早停策略
动手实践:应用正则化
章节 4: XGBoost:极限梯度提升
GBM 的原理及优化
正则化学习目标
分裂查找算法:精确贪心
分割查找算法:近似贪婪算法
稀疏感知分裂查找
系统优化:缓存感知与并行处理
XGBoost API: 参数与配置
实践操作:实现XGBoost
章节 5: LightGBM:轻量级梯度提升机
动机:应对XGBoost的局限性
基于梯度的单侧采样 (GOSS)
独占特征捆绑 (EFB)
基于直方图的分裂点查找
逐叶式树生长
优化的类别特征处理
LightGBM API:参数与配置
动手实践:实现 LightGBM
章节 6: CatBoost:梯度提升决策树
动机:分类数据面临的难题
有序目标统计 (Ordered TS)
处理预测偏差:有序提升
处理特征组合
遗忘树
GPU训练加速
CatBoost API: 参数与配置
动手实践:实现 CatBoost
章节 7: 高级主题与定制
使用SHAP理解模型可解释性
梯度提升模型的TreeSHAP
全局解释与局部解释
分类的概率校准
实现自定义损失函数
实现自定义评估指标
使用提升算法处理不平衡数据集
实践:自定义目标与 SHAP
章节 8: 超参数优化策略
超参数调优的重要性
识别重要的超参数
系统化调优:网格搜索与随机搜索
高级调优:贝叶斯优化
超参数优化框架 (Optuna, Hyperopt)
调优策略:从粗到细
调优的交叉验证策略
动手实践:使用 Optuna 进行进阶调优
章节 9: 梯度提升处理特定任务
使用梯度提升的排序学习
排序损失函数(成对、列表)
梯度提升在生存分析中的应用
生存分析目标函数 (Cox 比例风险模型)
使用梯度提升进行分位数回归
分位数损失函数实现
多输出梯度提升
实践:使用XGBoost实现排序

提升算法中的过拟合问题

梯度提升算法按顺序构建模型,其中每个新的基本学习器(通常是决策树)试图修正之前学习器集成所犯的错误。这种迭代改进过程,侧重于当前预测的损失函数 (loss function)的伪残差或梯度,赋予了梯度提升算法强大的预测能力。然而,正是这种机制使其特别容易过拟合 (overfitting)。

主要问题源于算法不断努力最小化训练数据上的损失。在初始阶段,新树对主要模式进行建模,并显著减少预测误差。随着过程持续多轮迭代,剩余残差逐渐不仅代表了潜在的精细结构,还代表了训练样本中固有的随机噪声。如果基本学习器足够复杂(例如,深度决策树)且提升过程不中断,算法就会开始精细地拟合这些噪声。模型本质上开始记忆训练数据,包括其特殊性。

从偏差-方差角度来看,梯度提升算法通过构建一个复杂的加性函数来积极减少偏差。没有限制的话,这个过程可能导致极高的方差。模型变得对训练数据过度拟合,但未能推广到新的、未见过的数据点,因为其在后期学到的“模式”仅仅是噪声伪影。这表现为训练集和独立验证集上性能指标的典型分歧。随着提升轮次的增加,训练误差可能持续稳定下降,而验证误差达到最小值后开始上升,因为模型出现了过拟合。

训练误差通常会随着迭代次数的增加而持续下降,而验证误差通常在开始时下降,但随后随着模型开始过拟合而上升。

基本学习器的复杂度扮演着重要角色。决策树,尤其是允许其生长得很深时,可以创建分割点,从而隔离极少量的训练实例,甚至可能是单个数据点。在拟合残差时,这类复杂树可以轻易找到完美解释这些少量实例相关噪声的分割点,从而导致高度特异性且不具备泛化能力的规则。

这种行为与随机森林(基于装袋法)等方法形成对比,随机森林通过平均多个独立训练的深层树的预测来帮助减少总体方差。提升算法的顺序特性(每棵树都依赖于之前的树)缺乏通过简单平均来减少方差的固有机制,反而需要明确的正则化 (regularization)来防止方差过度增加。

了解这些过拟合机制非常重要。认识到无约束的提升算法几乎不可避免地会使训练数据过拟合,这强调了本章其余部分讨论的正则化技术的重要性。这些方法提供了必要的控制,以在使用提升算法能力的同时,确保所得模型能很好地应对新的问题。

  • Greedy Function Approximation: A Gradient Boosting Machine, Jerome H. Friedman, 2001 The Annals of Statistics, Vol. 29 (Institute of Mathematical Statistics) DOI: 10.2307/2699986 - 介绍了梯度提升机器算法,这是理解其迭代性质和过拟合倾向的基础。
  • The Elements of Statistical Learning: Data Mining, Inference, and Prediction, Trevor Hastie, Robert Tibshirani, and Jerome Friedman, 2009 (Springer) - 提供了梯度提升的统计学阐述,详细分析了偏差-方差权衡和导致过拟合的机制。
  • Ensemble Methods: Foundations and Algorithms, Zhi-Hua Zhou, 2012 (Chapman and Hall/CRC) DOI: 10.1201/b12207 - 一本专门介绍集成学习的综合教材,提供了对提升算法行为、其优势以及未受适当控制时固有过拟合挑战的见解。

© 2026 ApX Machine Learning