趋近智
精通梯度提升算法
章节 1: 梯度提升算法核心原理回顾
集成方法：回顾
决策树作为基学习器
加法模型框架
梯度下降基本原理
介绍梯度提升机 (GBM)
章节 2: 梯度提升算法详解
函数梯度下降
推导通用GBM算法
回归中常见的损失函数
分类任务的常用损失函数
收缩（学习率）的作用
抽样方法 (随机梯度提升)
使用 Scikit-learn 实现 GBM
实践：构建基础GBM模型
章节 3: 梯度提升中的正则化
提升算法中的过拟合问题
树结构限制：深度、节点和分裂
收缩作为隐式正则化
数据抽样 (随机梯度提升)
正则化目标函数 (L1/L2)
早停策略
动手实践：应用正则化
章节 4: XGBoost：极限梯度提升
GBM 的原理及优化
正则化学习目标
分裂查找算法：精确贪心
分割查找算法：近似贪婪算法
稀疏感知分裂查找
系统优化：缓存感知与并行处理
XGBoost API: 参数与配置
实践操作：实现XGBoost
章节 5: LightGBM：轻量级梯度提升机
动机：应对XGBoost的局限性
基于梯度的单侧采样 (GOSS)
独占特征捆绑 (EFB)
基于直方图的分裂点查找
逐叶式树生长
优化的类别特征处理
LightGBM API：参数与配置
动手实践：实现 LightGBM
章节 6: CatBoost：梯度提升决策树
动机：分类数据面临的难题
有序目标统计 (Ordered TS)
处理预测偏差：有序提升
处理特征组合
遗忘树
GPU训练加速
CatBoost API: 参数与配置
动手实践：实现 CatBoost
章节 7: 高级主题与定制
使用SHAP理解模型可解释性
梯度提升模型的TreeSHAP
全局解释与局部解释
分类的概率校准
实现自定义损失函数
实现自定义评估指标
使用提升算法处理不平衡数据集
实践：自定义目标与 SHAP
章节 8: 超参数优化策略
超参数调优的重要性
识别重要的超参数
系统化调优：网格搜索与随机搜索
高级调优：贝叶斯优化
超参数优化框架 (Optuna, Hyperopt)
调优策略：从粗到细
调优的交叉验证策略
动手实践：使用 Optuna 进行进阶调优
章节 9: 梯度提升处理特定任务
使用梯度提升的排序学习
排序损失函数（成对、列表）
梯度提升在生存分析中的应用
生存分析目标函数 (Cox 比例风险模型)
使用梯度提升进行分位数回归
分位数损失函数实现
多输出梯度提升
实践：使用XGBoost实现排序
使用提升算法处理不平衡数据集
这部分内容有帮助吗？
- Focal Loss for Dense Object Detection, Tsung-Yi Lin, Priyadarshini Krishnan, Dhruv Batra, Anitha Hariharan, Serge Belongie, 2017 Proceedings of the IEEE International Conference on Computer Vision (ICCV) (IEEE) DOI: 10.1109/ICCV.2017.324 - 提出了Focal Loss，一种通过降低分类良好样本的权重来解决类别不平衡问题的专用损失函数。
- Parameters for Tree Booster, XGBoost Contributors, 2024 - XGBoost官方文档，说明了用于处理不平衡数据集的
scale_pos_weight参数。 - Parameters - LightGBM documentation, LightGBM Contributors, 2024 - LightGBM官方文档，描述了用于LightGBM中不平衡学习的
is_unbalance和scale_pos_weight等参数。 - SMOTE: Synthetic Minority Over-sampling Technique, Nitesh V. Chawla, Kevin W. Bowyer, Lawrence O. Hall, W. Philip Kegelmeyer, 2002 Journal of Artificial Intelligence Research, Vol. 16 (AI Access Foundation) DOI: 10.1613/jair.953 - 介绍了SMOTE，一种广泛使用的过采样方法，用于生成合成少数类样本以解决类别不平衡问题。
- Learning from imbalanced data: Current methods and future directions, L. M. S. Batista, L. M. G. Silva, R. C. M. Prata, 2019 Journal of Systems and Software, Vol. 157 (Elsevier) DOI: 10.1016/j.jss.2019.104388 - 一项调查，概述了不平衡学习的方法，包括多种策略和评估指标。