ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

机器学习的数据结构与算法
章节 1: 入门:机器学习中的数据结构与算法
数据结构对机器学习性能为何重要
机器学习实践者的复杂性分析
Python的内置结构在机器学习工作流中的应用
NumPy 数组:机器学习数值处理的根本
Pandas DataFrame 用于数据准备
机器学习问题与数据结构的对应
实践:分析基本数据操作
第 1 章测验
章节 2: 树结构:搜索、索引与建模
树结构的基本知识
用于高效查找的二叉搜索树
平衡树的重要性
决策树:结构与算法
树集成方法:随机森林与梯度提升
树遍历技术
动手实践:实现树操作
第 2 章测验
章节 3: 散列在特征工程和相似搜索中的应用
哈希函数与哈希表
处理哈希冲突
特征哈希用于降维
局部敏感哈希(LSH)介绍
在 Python 中实现基于哈希的数据结构
散列的性能权衡
实践:哈希技术的实现
第 3 章测验
章节 4: 图:关系数据与网络模型
图的表示方法:邻接列表与邻接矩阵
图遍历:广度优先搜索(BFS)
图遍历:深度优先搜索(DFS)
最短路径算法概述
图嵌入用于节点表示
推荐系统和自然语言处理中的应用
动手实践:图表示与遍历
第 4 章测验
章节 5: 优化任务中的优先队列与堆
堆数据结构属性
堆的核心操作
使用堆实现优先级队列
在选择问题中的应用
复杂算法的支持作用
Python 的 heapq 模块
实践:使用堆进行选择
第 5 章测验
章节 6: 机器学习中的核心算法策略
分治法
动态规划原理
优化中的贪心算法
提升鲁棒性的随机算法
迭代优化算法
算法策略与机器学习模型实现的关联
实践:识别机器学习库中的策略
第 6 章测验

树集成方法:随机森林与梯度提升

虽然单个决策树(正如我们在上一节看到的那样)通过划分特征空间提供了一种可解释的数据建模方式,但它们有其局限。它们容易出现过拟合 (overfitting),这意味着它们对训练数据(包括其中的噪声)学习得过于充分,而在未见过的数据上表现不佳。它们也可能不稳定;训练数据中的微小变化会导致树结构明显不同。

为解决这些问题,集成方法结合多个决策树以生成更准确的模型。两种突出且广泛使用的树集成技术是随机森林和梯度提升。两者都使用基本的树结构,但以不同的方式构建和组合它们。

随机森林:对多个不同树的预测取平均

随机森林基于创建大量决策树并汇总其输出的原理运作。其核心思想是,通过平均许多不同、单独不完善的树的预测结果,整体预测会变得更准确,且对训练数据的具体情况不那么敏感。随机森林中的“随机性”来自两个主要方面:

  1. 数据随机性(自助聚合): 森林中的每棵树都使用原始训练数据的不同随机子集进行训练,这些子集是有放回地选取的。这个过程被称为自助聚合,或称bagging。这表示一些数据点可能在子集中出现多次,而另一些则可能根本不被包括。这确保了每棵树看到的数据版本略有不同,从而带来多样性。
  2. 特征随机性: 在树的每个节点决定最佳划分时,算法不考虑所有可用特征,而是只考虑特征的一个随机子集。这进一步促进了树之间的多样性,阻止少数主导特征控制所有树的结构。

随机森林过程示意图:数据通过自助采样生成多个样本,每个样本用于训练一个决策树,并在划分时考虑随机特征子集。预测结果被聚合。

为了对新的数据点进行预测,随机森林会将输入通过森林中的每棵树。对于分类任务,最终预测通常是个别树获得最多票数的类别。对于回归任务,最终预测通常是所有树的预测结果的平均值。

这种方法明显降低了方差,与单个决策树相比,而不会大幅增加偏差。随机森林以其在默认设置下的良好表现、对过拟合 (overfitting)的抵抗力以及在预测中评估不同特征重要性的能力而闻名。从结构上看,随机森林只是树对象的一个集合(例如,列表或数组)。

梯度提升:顺序误差校正

梯度提升机(GBM),尤其是那些使用树作为基础学习器(梯度提升树)的,采用不同方法。与随机森林并行构建独立树不同,梯度提升是顺序构建树。每棵新树都试图纠正到目前为止所构建的树集成模型产生的误差。

该过程通常按以下方式进行:

  1. 初始化: 从一个简单的初始模型开始。对于回归任务,这可以只是目标变量的平均值。
  2. 迭代: 重复指定数量的树:
    • 计算残差: 计算当前集成模型在训练数据上产生的误差(残差)。残差是实际目标值与预测值之间的差异。
    • 拟合新树: 训练一棵新的决策树(通常深度受限)来预测这些残差。这棵树会学习误差中的模式。
    • 更新集成模型: 将新训练的树添加到集成模型中。它的贡献通常会乘以一个称为“学习率”(eta, η\etaη)的小因子。这种缩放通过进行更小的校正步长来防止过拟合 (overfitting)。集成模型的预测更新为: Fm(x)=Fm−1(x)+η⋅hm(x)F_{m}(x) = F_{m-1}(x) + \eta \cdot h_m(x)Fm​(x)=Fm−1​(x)+η⋅hm​(x) 其中 Fm(x)F_m(x)Fm​(x) 是 mmm 棵树后的集成预测,Fm−1(x)F_{m-1}(x)Fm−1​(x) 是前一个集成模型的预测,hm(x)h_m(x)hm​(x) 是新树的预测(预测残差),且 η\etaη 是学习率。

显示梯度提升顺序性质的图示。每棵新树都在当前集成模型的残差(误差)上进行训练,逐步提升整体预测性能。

梯度提升通常能得到预测准确度很高的模型。然而,与随机森林相比,它需要更仔细地调整超参数 (parameter) (hyperparameter)(如树的数量、树深度和学习率)。如果控制不当,梯度提升模型也可能过拟合。顺序性质表示训练不如随机森林那样容易并行化。

数据结构与性能

随机森林和梯度提升都基本依赖决策树数据结构。集成模型本身通常存储为这些树结构的一个集合(例如,列表或数组)。对于梯度提升,还可能存储学习率或与每棵树相关的特定权重 (weight)等附加信息。

  • 训练: 构建集成模型可能需要大量计算。随机森林得益于并行化,因为树可以独立构建。梯度提升本质上是顺序的,限制了跨树的并行化(尽管在单棵树的构建中可以并行化)。
  • 预测: 进行预测通常很快。对于随机森林,输入独立地遍历所有树,结果被聚合。对于梯度提升,输入顺序地遍历树(尽管在许多实现中,其结构允许高效的组合评估)。复杂度大致与集成模型中树的数量呈线性关系。

理解这些集成方法显示了如何以巧妙的方式结合简单的树结构,产生强大且广泛使用的机器学习 (machine learning)模型。它们有效减轻了单个决策树的缺点,为各种分类和回归任务提高了准确性和稳定性。

  • Random Forests, Leo Breiman, 2001 Machine Learning, Vol. 45 DOI: 10.1023/A:1010933404324 - 这篇基础性论文介绍了随机森林算法,详细阐述了其使用bagging和随机特征选择的构建方式。
  • Greedy Function Approximation: A Gradient Boosting Machine, Jerome H. Friedman, 2001 The Annals of Statistics, Vol. 29 DOI: 10.1214/aos/1013203451 - 这篇开创性论文介绍了梯度提升机,为基于树的提升方法奠定了理论和算法基础。
  • The Elements of Statistical Learning: Data Mining, Inference, and Prediction, Trevor Hastie, Robert Tibshirani, and Jerome Friedman, 2009 (Springer) DOI: 10.1007/978-0-387-84858-7 - 一本经典教材,全面地提供了多种机器学习方法的统计学和算法处理,包括关于bagging、随机森林和梯度提升的详细章节。
  • 1.11. Ensemble methods, scikit-learn developers, 2023 (scikit-learn project) - 提供了scikit-learn库中随机森林、梯度提升和其他集成方法的实际细节和概念性解释。

© 2026 ApX Machine Learning