趋近智
梯度提升算法入门
章节 1: 集成学习与提升的基本原理
什么是集成方法？
Bagging 与 Boosting
提升（Boosting）原理介绍
AdaBoost算法：梯度提升算法的前身
了解弱学习器
集成学习中的偏差-方差权衡
章节 2: 梯度提升机 (GBM)
从提升到梯度提升
梯度与残差的作用
梯度提升机算法分步详解
回归任务的损失函数
分类任务的损失函数
动手实践：使用 Python 构建 GBM
章节 3: 使用 Scikit-Learn 实现梯度提升
Scikit-Learn的GradientBoostingClassifier
Scikit-Learn 的 GradientBoostingRegressor
梯度提升模型的拟合与预测
解读模型参数
GBM中的特征贡献度
偏依赖图用于模型解释
实战演练：构建预测模型
章节 4: 梯度提升进阶：XGBoost
为何选择XGBoost？速度与性能
相较于标准GBM的架构改进
XGBoost 中的正则化 (L1 和 L2)
自动处理缺失值
安装与设置XGBoost
XGBoost API：使用指南
动手实践：训练XGBoost模型
章节 5: 高级梯度提升：LightGBM与CatBoost
LightGBM 介绍：基于梯度的单边采样
LightGBM 的独占特征捆绑
CatBoost 简介：处理类别特征
CatBoost的有序提升和对称树
性能比较：XGBoost、LightGBM 与 CatBoost
动手实践：实现 LightGBM 和 CatBoost
章节 6: 超参数调整与模型优化
超参数调优的意义
梯度提升中的主要超参数
调整估计器数量和学习率
控制树的复杂度
正则化的抽样参数
调优的结构化方法
网格搜索与随机搜索的使用
动手实践：优化梯度提升模型
网格搜索与随机搜索的使用
这部分内容有帮助吗？
- Tuning the hyper-parameters of an estimator, scikit-learn developers, 2024 (scikit-learn) - Scikit-Learn
GridSearchCV和RandomizedSearchCV的官方文档，详细说明了其在超参数优化中的实现和用法。 - Random Search for Hyper-Parameter Optimization, James Bergstra and Yoshua Bengio, 2012 Journal of Machine Learning Research, Vol. 13(10) DOI: 10.5555/2188385.2188417 - 介绍了随机搜索作为网格搜索在超参数优化方面的一种高效替代方法，并为其有效性提供了理论和经验依据。
- The Elements of Statistical Learning: Data Mining, Inference, and Prediction, Trevor Hastie, Robert Tibshirani, and Jerome Friedman, 2009 (Springer) - 一本涵盖统计学习方法的奠基性教科书，包括对超参数选择、交叉验证和模型评估技术的全面讨论。
- XGBoost: A Scalable Tree Boosting System, Tianqi Chen and Carlos Guestrin, 2016 Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (ACM) DOI: 10.1145/2939672.2939785 - 介绍 XGBoost 的原始论文，阐述了其并行处理能力、树增强算法和正则化技术。