ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

精通梯度提升算法
章节 1: 梯度提升算法核心原理回顾
集成方法:回顾
决策树作为基学习器
加法模型框架
梯度下降基本原理
介绍梯度提升机 (GBM)
章节 2: 梯度提升算法详解
函数梯度下降
推导通用GBM算法
回归中常见的损失函数
分类任务的常用损失函数
收缩(学习率)的作用
抽样方法 (随机梯度提升)
使用 Scikit-learn 实现 GBM
实践:构建基础GBM模型
章节 3: 梯度提升中的正则化
提升算法中的过拟合问题
树结构限制:深度、节点和分裂
收缩作为隐式正则化
数据抽样 (随机梯度提升)
正则化目标函数 (L1/L2)
早停策略
动手实践:应用正则化
章节 4: XGBoost:极限梯度提升
GBM 的原理及优化
正则化学习目标
分裂查找算法:精确贪心
分割查找算法:近似贪婪算法
稀疏感知分裂查找
系统优化:缓存感知与并行处理
XGBoost API: 参数与配置
实践操作:实现XGBoost
章节 5: LightGBM:轻量级梯度提升机
动机:应对XGBoost的局限性
基于梯度的单侧采样 (GOSS)
独占特征捆绑 (EFB)
基于直方图的分裂点查找
逐叶式树生长
优化的类别特征处理
LightGBM API:参数与配置
动手实践:实现 LightGBM
章节 6: CatBoost:梯度提升决策树
动机:分类数据面临的难题
有序目标统计 (Ordered TS)
处理预测偏差:有序提升
处理特征组合
遗忘树
GPU训练加速
CatBoost API: 参数与配置
动手实践:实现 CatBoost
章节 7: 高级主题与定制
使用SHAP理解模型可解释性
梯度提升模型的TreeSHAP
全局解释与局部解释
分类的概率校准
实现自定义损失函数
实现自定义评估指标
使用提升算法处理不平衡数据集
实践:自定义目标与 SHAP
章节 8: 超参数优化策略
超参数调优的重要性
识别重要的超参数
系统化调优:网格搜索与随机搜索
高级调优:贝叶斯优化
超参数优化框架 (Optuna, Hyperopt)
调优策略:从粗到细
调优的交叉验证策略
动手实践:使用 Optuna 进行进阶调优
章节 9: 梯度提升处理特定任务
使用梯度提升的排序学习
排序损失函数(成对、列表)
梯度提升在生存分析中的应用
生存分析目标函数 (Cox 比例风险模型)
使用梯度提升进行分位数回归
分位数损失函数实现
多输出梯度提升
实践:使用XGBoost实现排序

章节 3: 梯度提升中的正则化

梯度提升机(GBM)是高效的学习器,能够对数据中的复杂关联进行建模。然而,这种灵活性伴随一个缺点:GBM容易过拟合 (overfitting)训练数据,捕捉到噪声,导致在新的、未见过的数据上泛化能力不足。本章专注于专门设计用于应对提升(boosting)框架内这种倾向的方法。

我们将考察适用于GBM的多种正则化 (regularization)策略。你将学习如何通过最大深度或叶节点最小样本数等约束来控制单个决策树(基本学习器)的复杂度,从而有助于防止过拟合。我们将重新审视收缩,也就是学习率(η\etaη),分析其作为隐式正则器的作用。此外,我们将介绍子采样技术(行采样和特征采样),这些技术常被称为随机梯度提升,它们引入随机性以提高模型的稳定性。我们还将研究如何向目标函数添加显式惩罚项,例如L1L_1L1​和L2L_2L2​范数,可以直接对模型进行正则化,这种技术在XGBoost中突出体现。最后,我们将讨论诸如使用验证集进行提前停止等实用策略,以确定最佳提升迭代次数。

通过学习本章,你将对如何诊断梯度提升模型中可能出现的过拟合以及如何应用适当的正则化技术来构建在未见过数据上表现可靠的模型,获得实践性的理解。

课程章节

  • 3.1 提升算法中的过拟合问题

  • 3.2 树结构限制:深度、节点和分裂

  • 3.3 收缩作为隐式正则化

  • 3.4 数据抽样 (随机梯度提升)

  • 3.5 正则化目标函数 (L1/L2)

  • 3.6 早停策略

  • 3.7 动手实践:应用正则化

© 2026 ApX Machine Learning