趋近智
梯度提升算法入门
章节 1: 集成学习与提升的基本原理
什么是集成方法？
Bagging 与 Boosting
提升（Boosting）原理介绍
AdaBoost算法：梯度提升算法的前身
了解弱学习器
集成学习中的偏差-方差权衡
章节 2: 梯度提升机 (GBM)
从提升到梯度提升
梯度与残差的作用
梯度提升机算法分步详解
回归任务的损失函数
分类任务的损失函数
动手实践：使用 Python 构建 GBM
章节 3: 使用 Scikit-Learn 实现梯度提升
Scikit-Learn的GradientBoostingClassifier
Scikit-Learn 的 GradientBoostingRegressor
梯度提升模型的拟合与预测
解读模型参数
GBM中的特征贡献度
偏依赖图用于模型解释
实战演练：构建预测模型
章节 4: 梯度提升进阶：XGBoost
为何选择XGBoost？速度与性能
相较于标准GBM的架构改进
XGBoost 中的正则化 (L1 和 L2)
自动处理缺失值
安装与设置XGBoost
XGBoost API：使用指南
动手实践：训练XGBoost模型
章节 5: 高级梯度提升：LightGBM与CatBoost
LightGBM 介绍：基于梯度的单边采样
LightGBM 的独占特征捆绑
CatBoost 简介：处理类别特征
CatBoost的有序提升和对称树
性能比较：XGBoost、LightGBM 与 CatBoost
动手实践：实现 LightGBM 和 CatBoost
章节 6: 超参数调整与模型优化
超参数调优的意义
梯度提升中的主要超参数
调整估计器数量和学习率
控制树的复杂度
正则化的抽样参数
调优的结构化方法
网格搜索与随机搜索的使用
动手实践：优化梯度提升模型
性能比较：XGBoost、LightGBM 与 CatBoost
这部分内容有帮助吗？
- XGBoost: A Scalable Tree Boosting System, Tianqi Chen and Carlos Guestrin, 2016 Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD '16) (Association for Computing Machinery (ACM)) DOI: 10.1145/2939672.2939785 - 介绍XGBoost的开创性论文，详细阐述了其并行和分布式训练、缓存感知访问以及树提升算法。
- LightGBM: A Highly Efficient Gradient Boosting Decision Tree, Guolin Ke, Qi Meng, Thomas Finley, Taifeng Wang, Wei Chen, Weidong Ma, Qiwei Ye, and Tie-Yan Liu, 2017 Advances in Neural Information Processing Systems 30 (NeurIPS 2017) (Curran Associates, Inc.) DOI: 10.5555/3295222.3295232 - 介绍了LightGBM，阐述了其梯度单边采样（GOSS）和互斥特征捆绑（EFB）技术，以实现更快的训练速度和叶子生长策略。
- CatBoost: Gradient Boosting with Decision Trees, Anna Veronika Dorogush, Andrey Gulin, Gleb Gusev, Neliya Kazimov, and Liudmila Prokhorenkova, 2020 Journal of Machine Learning Research, Vol. 21 - 描述了CatBoost算法，重点介绍了其用于处理分类特征的有序提升机制和对称（无偏）树构建。
- XGBoost Documentation, XGBoost Contributors, 2024 - 官方文档，提供了XGBoost的实用指南、API详情和教程。