ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

精通梯度提升算法
章节 1: 梯度提升算法核心原理回顾
集成方法:回顾
决策树作为基学习器
加法模型框架
梯度下降基本原理
介绍梯度提升机 (GBM)
章节 2: 梯度提升算法详解
函数梯度下降
推导通用GBM算法
回归中常见的损失函数
分类任务的常用损失函数
收缩(学习率)的作用
抽样方法 (随机梯度提升)
使用 Scikit-learn 实现 GBM
实践:构建基础GBM模型
章节 3: 梯度提升中的正则化
提升算法中的过拟合问题
树结构限制:深度、节点和分裂
收缩作为隐式正则化
数据抽样 (随机梯度提升)
正则化目标函数 (L1/L2)
早停策略
动手实践:应用正则化
章节 4: XGBoost:极限梯度提升
GBM 的原理及优化
正则化学习目标
分裂查找算法:精确贪心
分割查找算法:近似贪婪算法
稀疏感知分裂查找
系统优化:缓存感知与并行处理
XGBoost API: 参数与配置
实践操作:实现XGBoost
章节 5: LightGBM:轻量级梯度提升机
动机:应对XGBoost的局限性
基于梯度的单侧采样 (GOSS)
独占特征捆绑 (EFB)
基于直方图的分裂点查找
逐叶式树生长
优化的类别特征处理
LightGBM API:参数与配置
动手实践:实现 LightGBM
章节 6: CatBoost:梯度提升决策树
动机:分类数据面临的难题
有序目标统计 (Ordered TS)
处理预测偏差:有序提升
处理特征组合
遗忘树
GPU训练加速
CatBoost API: 参数与配置
动手实践:实现 CatBoost
章节 7: 高级主题与定制
使用SHAP理解模型可解释性
梯度提升模型的TreeSHAP
全局解释与局部解释
分类的概率校准
实现自定义损失函数
实现自定义评估指标
使用提升算法处理不平衡数据集
实践:自定义目标与 SHAP
章节 8: 超参数优化策略
超参数调优的重要性
识别重要的超参数
系统化调优:网格搜索与随机搜索
高级调优:贝叶斯优化
超参数优化框架 (Optuna, Hyperopt)
调优策略:从粗到细
调优的交叉验证策略
动手实践:使用 Optuna 进行进阶调优
章节 9: 梯度提升处理特定任务
使用梯度提升的排序学习
排序损失函数(成对、列表)
梯度提升在生存分析中的应用
生存分析目标函数 (Cox 比例风险模型)
使用梯度提升进行分位数回归
分位数损失函数实现
多输出梯度提升
实践:使用XGBoost实现排序

稀疏感知分裂查找

数据集经常包含缺失值,这给许多机器学习 (machine learning)算法带来难题。标准决策树的实现常需要预处理步骤,例如填充(补全缺失值),或者以基本方式处理缺失数据,这可能丢弃有用的信息或引入偏差。XGBoost 包含一种巧妙而表现良好的内置机制,称为稀疏感知分裂查找,用于在树构建时直接处理这些情况。

主要思想出乎意料地简单:在树节点中的每个可能分裂点,XGBoost 会为那些缺少待分裂特征值的实例学习一个 默认方向。XGBoost 不要求填充或简单地忽略缺失值,而是明确考虑这些实例应该去哪里(左子节点或右子节点),以获得最大的增益,并将此决策直接纳入分裂查找过程。

机制:学习默认方向

回想上一节(“分裂查找算法:精确贪心”)中提到的,XGBoost 通过计算在当前节点中依据特征 jjj 和分裂值 vvv 划分实例 (III) 所带来的增益来衡量可能的分裂。增益的计算用到节点中实例损失函数 (loss function)的一阶和二阶梯度统计量 (gig_igi​ 和 hih_ihi​)。

在衡量分裂候选 (j,v)(j, v)(j,v) 时,稀疏感知算法按以下步骤进行:

  1. 初步划分: 只列举当前节点中特征 jjj 的值 非缺失 的实例。将这些实例划分为两个集合:IL={i∈I∣xij<v}I_L = \{i \in I | x_{ij} < v\}IL​={i∈I∣xij​<v} 和 IR={i∈I∣xij≥v}I_R = \{i \in I | x_{ij} \ge v\}IR​={i∈I∣xij​≥v}。仅根据非缺失实例,计算这两个集合的梯度和 (GL=∑i∈ILgiG_L = \sum_{i \in I_L} g_iGL​=∑i∈IL​​gi​, GR=∑i∈IRgiG_R = \sum_{i \in I_R} g_iGR​=∑i∈IR​​gi​) 和 Hessian 和 (HL=∑i∈ILhiH_L = \sum_{i \in I_L} h_iHL​=∑i∈IL​​hi​, HR=∑i∈IRhiH_R = \sum_{i \in I_R} h_iHR​=∑i∈IR​​hi​)
  2. 识别缺失实例: 令 Imissing={i∈I∣xij 缺失}I_{missing} = \{i \in I | x_{ij} \text{ 缺失}\}Imissing​={i∈I∣xij​ 缺失}。计算这些实例的梯度和 Gmissing=∑i∈ImissinggiG_{missing} = \sum_{i \in I_{missing}} g_iGmissing​=∑i∈Imissing​​gi​ 和 Hessian 和 Hmissing=∑i∈ImissinghiH_{missing} = \sum_{i \in I_{missing}} h_iHmissing​=∑i∈Imissing​​hi​。
  3. 衡量默认左方向: 计算如果 ImissingI_{missing}Imissing​ 中所有实例都发送到 左 子节点时的潜在增益。在这种情况下,左右子节点的总梯度和 Hessian 分别为 (GL+Gmissing,HL+Hmissing)(G_L + G_{missing}, H_L + H_{missing})(GL​+Gmissing​,HL​+Hmissing​) 和 (GR,HR)(G_R, H_R)(GR​,HR​)。使用常用增益公式(包含正则化 (regularization)项 λ\lambdaλ 和 γ\gammaγ)计算增益: 增益默认左=12[(GL+Gmissing)2HL+Hmissing+λ+GR2HR+λ−(GL+GR+Gmissing)2HL+HR+Hmissing+λ]−γ\text{增益}_{\text{默认左}} = \frac{1}{2} \left[ \frac{(G_L + G_{missing})^2}{H_L + H_{missing} + \lambda} + \frac{G_R^2}{H_R + \lambda} - \frac{(G_L + G_R + G_{missing})^2}{H_L + H_R + H_{missing} + \lambda} \right] - \gamma增益默认左​=21​[HL​+Hmissing​+λ(GL​+Gmissing​)2​+HR​+λGR2​​−HL​+HR​+Hmissing​+λ(GL​+GR​+Gmissing​)2​]−γ
  4. 衡量默认右方向: 计算如果 ImissingI_{missing}Imissing​ 中所有实例都发送到 右 子节点时的潜在增益。总梯度和 Hessian 将分别为 (GL,HL)(G_L, H_L)(GL​,HL​) 和 (GR+Gmissing,HR+Hmissing)(G_R + G_{missing}, H_R + H_{missing})(GR​+Gmissing​,HR​+Hmissing​)。计算增益: 增益默认右=12[GL2HL+λ+(GR+Gmissing)2HR+Hmissing+λ−(GL+GR+Gmissing)2HL+HR+Hmissing+λ]−γ\text{增益}_{\text{默认右}} = \frac{1}{2} \left[ \frac{G_L^2}{H_L + \lambda} + \frac{(G_R + G_{missing})^2}{H_R + H_{missing} + \lambda} - \frac{(G_L + G_R + G_{missing})^2}{H_L + H_R + H_{missing} + \lambda} \right] - \gamma增益默认右​=21​[HL​+λGL2​​+HR​+Hmissing​+λ(GR​+Gmissing​)2​−HL​+HR​+Hmissing​+λ(GL​+GR​+Gmissing​)2​]−γ
  5. 选取最佳方向和增益: 比较 增益默认左\text{增益}_{\text{默认左}}增益默认左​ 和 增益默认右\text{增益}_{\text{默认右}}增益默认右​。产生更高增益的方向,即成为此节点缺失值的学习默认方向,适用于当前分裂候选 (j,v)(j, v)(j,v)。这两个增益的最大结果被视为此分裂候选所实现的目标函数减少量(增益)。

XGBoost 对所有特征的每个潜在分裂点都进行此默认方向衡量。在节点中,选定能带来整体最大化增益的分裂(特征 jjj、值 vvv 以及为缺失值确定的默认方向)。

稀疏感知处理的优点

这种集成方法提供了一些显著优点:

  • 无需预先填充: 避免了训练前可能繁琐且包含假设的数据填充步骤。
  • 数据驱动的处理方式: 模型直接依据使损失函数 (loss function)达到最优,学习每种分裂处理缺失值的最佳方式,而不是采用均值/中位数填充等启发式方法。
  • 高效: 该算法设计高效。它通过先处理非缺失值,然后将缺失值的两个潜在方向作为一个整体进行衡量,从而减少了冗余计算。这通常比遍历所有可能的缺失数据点赋值要快得多。
  • 应对不同的稀疏模式: 它自然匹配特征间不同的缺失模式。

缺失值预测

在预测时,当一个实例遇到分裂节点,且其分裂特征的值缺失时,它只需遵从在训练期间为该节点学习并存储的默认方向(左或右)。

稀疏感知分裂查找是一种计算上有效率且统计学上合理的方法,它对 XGBoost 的性能和稳固性有很大助益,特别是在缺失值普遍存在的数据集上,例如来源于调查、传感器读数或某些类型的特征工程的数据集。它是让 XGBoost 与常规梯度提升算法与众不同的优化之一。

  • XGBoost: A Scalable Tree Boosting System, Tianqi Chen and Carlos Guestrin, 2016 Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD '16) (Association for Computing Machinery) DOI: 10.1145/2939672.2939785 - 这篇基础论文介绍了XGBoost算法,详细阐述了稀疏感知分裂查找机制作为处理缺失数据的一项核心优化。
  • Handling Missing Values, XGBoost Contributors, 2023 - 官方文档提供了XGBoost如何实现稀疏感知分裂查找和处理缺失值的实用细节和最新说明。
  • Classification and Regression Trees, Leo Breiman, Jerome Friedman, Richard Olshen, and Charles Stone, 1984 (Chapman and Hall/CRC) DOI: 10.1201/9781315139470 - 这本基础著作介绍了CART算法,其中包括决策树中处理缺失值的早期方法(如替代分裂),为理解XGBoost的独特方法提供了背景。

© 2026 ApX Machine Learning