趋近智
精通梯度提升算法
章节 1: 梯度提升算法核心原理回顾
集成方法：回顾
决策树作为基学习器
加法模型框架
梯度下降基本原理
介绍梯度提升机 (GBM)
章节 2: 梯度提升算法详解
函数梯度下降
推导通用GBM算法
回归中常见的损失函数
分类任务的常用损失函数
收缩（学习率）的作用
抽样方法 (随机梯度提升)
使用 Scikit-learn 实现 GBM
实践：构建基础GBM模型
章节 3: 梯度提升中的正则化
提升算法中的过拟合问题
树结构限制：深度、节点和分裂
收缩作为隐式正则化
数据抽样 (随机梯度提升)
正则化目标函数 (L1/L2)
早停策略
动手实践：应用正则化
章节 4: XGBoost：极限梯度提升
GBM 的原理及优化
正则化学习目标
分裂查找算法：精确贪心
分割查找算法：近似贪婪算法
稀疏感知分裂查找
系统优化：缓存感知与并行处理
XGBoost API: 参数与配置
实践操作：实现XGBoost
章节 5: LightGBM：轻量级梯度提升机
动机：应对XGBoost的局限性
基于梯度的单侧采样 (GOSS)
独占特征捆绑 (EFB)
基于直方图的分裂点查找
逐叶式树生长
优化的类别特征处理
LightGBM API：参数与配置
动手实践：实现 LightGBM
章节 6: CatBoost：梯度提升决策树
动机：分类数据面临的难题
有序目标统计 (Ordered TS)
处理预测偏差：有序提升
处理特征组合
遗忘树
GPU训练加速
CatBoost API: 参数与配置
动手实践：实现 CatBoost
章节 7: 高级主题与定制
使用SHAP理解模型可解释性
梯度提升模型的TreeSHAP
全局解释与局部解释
分类的概率校准
实现自定义损失函数
实现自定义评估指标
使用提升算法处理不平衡数据集
实践：自定义目标与 SHAP
章节 8: 超参数优化策略
超参数调优的重要性
识别重要的超参数
系统化调优：网格搜索与随机搜索
高级调优：贝叶斯优化
超参数优化框架 (Optuna, Hyperopt)
调优策略：从粗到细
调优的交叉验证策略
动手实践：使用 Optuna 进行进阶调优
章节 9: 梯度提升处理特定任务
使用梯度提升的排序学习
排序损失函数（成对、列表）
梯度提升在生存分析中的应用
生存分析目标函数 (Cox 比例风险模型)
使用梯度提升进行分位数回归
分位数损失函数实现
多输出梯度提升
实践：使用XGBoost实现排序
系统优化：缓存感知与并行处理
这部分内容有帮助吗？
- XGBoost: A Scalable Tree Boosting System, Tianqi Chen and Carlos Guestrin, 2016 Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD '16) (Association for Computing Machinery) DOI: 10.1145/2939672.2939785 - XGBoost 的原始论文，详细介绍了其可扩展的系统设计，包括并行性、缓存感知和列块结构。
- Scalable Tree Boosting. XGBoost Documentation., XGBoost Contributors, 2024 (XGBoost) - 官方文档描述了 XGBoost 的系统优化，例如并行分割查找、缓存感知数据访问和核外计算。
- Computer Architecture: A Quantitative Approach, John L. Hennessy and David A. Patterson, 2017 (Morgan Kaufmann) - 一本基础教科书，详细解释了计算机硬件，包括 CPU 缓存、内存层次结构及其对程序性能的影响。
- Introduction to Parallel Computing, Ananth Grama, Anshul Gupta, George Karypis, and Vipin Kumar, 2003 (Addison-Wesley) - 一本关于并行计算的基本概念、算法和架构的综合性教科书，有助于理解 XGBoost 的并行处理。