趋近智
在了解了集成方法和加法模型的基本原理后,本章将着重讲解标准梯度提升机 (GBM) 算法的运作机制。我们将从一般思路出发,循序渐进地理解这些模型是如何构建的。
您将学会从优化角度看待提升过程,特别是在函数空间中进行的梯度下降 (gradient descent)。我们将正式推导通用GBM算法,阐明残差或伪残差如何指导每个顺序基学习器(通常是决策树)的训练。
涵盖的主要方面包括:
GradientBoostingRegressor和GradientBoostingClassifier进行实际实现。学完本章,您将对经典的GBM算法有一个详细的操作理解,为您后续讨论的更高级实现做好准备。一个实践环节将指导您使用Python构建您的第一个GBM模型。
2.1 函数梯度下降
2.2 推导通用GBM算法
2.3 回归中常见的损失函数
2.4 分类任务的常用损失函数
2.5 收缩(学习率)的作用
2.6 抽样方法 (随机梯度提升)
2.7 使用 Scikit-learn 实现 GBM
2.8 实践:构建基础GBM模型