趋近智
精通梯度提升算法
章节 1: 梯度提升算法核心原理回顾
集成方法：回顾
决策树作为基学习器
加法模型框架
梯度下降基本原理
介绍梯度提升机 (GBM)
章节 2: 梯度提升算法详解
函数梯度下降
推导通用GBM算法
回归中常见的损失函数
分类任务的常用损失函数
收缩（学习率）的作用
抽样方法 (随机梯度提升)
使用 Scikit-learn 实现 GBM
实践：构建基础GBM模型
章节 3: 梯度提升中的正则化
提升算法中的过拟合问题
树结构限制：深度、节点和分裂
收缩作为隐式正则化
数据抽样 (随机梯度提升)
正则化目标函数 (L1/L2)
早停策略
动手实践：应用正则化
章节 4: XGBoost：极限梯度提升
GBM 的原理及优化
正则化学习目标
分裂查找算法：精确贪心
分割查找算法：近似贪婪算法
稀疏感知分裂查找
系统优化：缓存感知与并行处理
XGBoost API: 参数与配置
实践操作：实现XGBoost
章节 5: LightGBM：轻量级梯度提升机
动机：应对XGBoost的局限性
基于梯度的单侧采样 (GOSS)
独占特征捆绑 (EFB)
基于直方图的分裂点查找
逐叶式树生长
优化的类别特征处理
LightGBM API：参数与配置
动手实践：实现 LightGBM
章节 6: CatBoost：梯度提升决策树
动机：分类数据面临的难题
有序目标统计 (Ordered TS)
处理预测偏差：有序提升
处理特征组合
遗忘树
GPU训练加速
CatBoost API: 参数与配置
动手实践：实现 CatBoost
章节 7: 高级主题与定制
使用SHAP理解模型可解释性
梯度提升模型的TreeSHAP
全局解释与局部解释
分类的概率校准
实现自定义损失函数
实现自定义评估指标
使用提升算法处理不平衡数据集
实践：自定义目标与 SHAP
章节 8: 超参数优化策略
超参数调优的重要性
识别重要的超参数
系统化调优：网格搜索与随机搜索
高级调优：贝叶斯优化
超参数优化框架 (Optuna, Hyperopt)
调优策略：从粗到细
调优的交叉验证策略
动手实践：使用 Optuna 进行进阶调优
章节 9: 梯度提升处理特定任务
使用梯度提升的排序学习
排序损失函数（成对、列表）
梯度提升在生存分析中的应用
生存分析目标函数 (Cox 比例风险模型)
使用梯度提升进行分位数回归
分位数损失函数实现
多输出梯度提升
实践：使用XGBoost实现排序
排序损失函数（成对、列表）
这部分内容有帮助吗？
- Learning to Rank using Gradient Descent, Christopher J. C. Burges, Tal Shaked, Erin Renshaw, Ari Lazier, Matt Deeds, Nicole Hamilton, Gregory N. Hullender, 2005 Proceedings of the 22nd International Conference on Machine Learning (ACM) DOI: 10.1145/1102351.1102363 - 本文介绍了RankNet，它构成了成对排序的基础以及lambda梯度的概念，对后续发展具有基础性意义。
- From RankNet to LambdaRank to LambdaMART: An Overview, Chris J.C. Burges, 2010 Microsoft Research Technical Report MSR-TR-2010-82 (Microsoft Research) - 全面概述了LambdaRank和LambdaMART的演变及基本原理，对于理解其机制至关重要。
- Learning to Rank for Information Retrieval, Tie-Yan Liu, 2009 Foundations and Trends in Information Retrieval, Vol. 3 (Now Publishers) DOI: 10.1561/1500000016 - 一项基础性综述，为排序学习提供了广泛的背景，包括各种成对和列表式方法及其理论依据。
- Greedy Function Approximation: A Gradient Boosting Machine, Jerome H. Friedman, 2001 Ann. Statist., Vol. 29 DOI: 10.1214/aos/1013203451 - 介绍了梯度提升机（GBM）算法，提供了LambdaMART及其他梯度提升方法所使用的核心提升框架。