趋近智

所有课程

精通梯度提升算法

章节 1: 梯度提升算法核心原理回顾

集成方法：回顾

决策树作为基学习器

加法模型框架

梯度下降基本原理

介绍梯度提升机 (GBM)

章节 2: 梯度提升算法详解

函数梯度下降

推导通用GBM算法

回归中常见的损失函数

分类任务的常用损失函数

收缩（学习率）的作用

抽样方法 (随机梯度提升)

使用 Scikit-learn 实现 GBM

实践：构建基础GBM模型

章节 3: 梯度提升中的正则化

提升算法中的过拟合问题

树结构限制：深度、节点和分裂

收缩作为隐式正则化

数据抽样 (随机梯度提升)

正则化目标函数 (L1/L2)

动手实践：应用正则化

章节 4: XGBoost：极限梯度提升

GBM 的原理及优化

正则化学习目标

分裂查找算法：精确贪心

分割查找算法：近似贪婪算法

稀疏感知分裂查找

系统优化：缓存感知与并行处理

XGBoost API: 参数与配置

实践操作：实现XGBoost

章节 5: LightGBM：轻量级梯度提升机

动机：应对XGBoost的局限性

基于梯度的单侧采样 (GOSS)

独占特征捆绑 (EFB)

基于直方图的分裂点查找

逐叶式树生长

优化的类别特征处理

LightGBM API：参数与配置

动手实践：实现 LightGBM

章节 6: CatBoost：梯度提升决策树

动机：分类数据面临的难题

有序目标统计 (Ordered TS)

处理预测偏差：有序提升

处理特征组合

GPU训练加速

CatBoost API: 参数与配置

动手实践：实现 CatBoost

章节 7: 高级主题与定制

使用SHAP理解模型可解释性

梯度提升模型的TreeSHAP

全局解释与局部解释

分类的概率校准

实现自定义损失函数

实现自定义评估指标

使用提升算法处理不平衡数据集

实践：自定义目标与 SHAP

章节 8: 超参数优化策略

超参数调优的重要性

识别重要的超参数

系统化调优：网格搜索与随机搜索

高级调优：贝叶斯优化

超参数优化框架 (Optuna, Hyperopt)

调优策略：从粗到细

调优的交叉验证策略

动手实践：使用 Optuna 进行进阶调优

章节 9: 梯度提升处理特定任务

使用梯度提升的排序学习

排序损失函数（成对、列表）

梯度提升在生存分析中的应用

生存分析目标函数 (Cox 比例风险模型)

使用梯度提升进行分位数回归

分位数损失函数实现

多输出梯度提升

实践：使用XGBoost实现排序

章节 2: 梯度提升算法详解

课程章节

2.1 函数梯度下降
2.2 推导通用GBM算法
2.3 回归中常见的损失函数
2.4 分类任务的常用损失函数
2.5 收缩（学习率）的作用
2.6 抽样方法 (随机梯度提升)
2.7 使用 Scikit-learn 实现 GBM
2.8 实践：构建基础GBM模型

© 2025 ApX Machine Learning