什么是集成方法？

任何单个机器学习 (machine learning)模型，无论调整得多么好，都有其局限性。一个决策树可能对训练数据过拟合 (overfitting)，捕获的是噪声而非实际信号。一个线性模型可能过于简单，无法处理复杂模式。集成方法的主要思路是，通过结合多个独立模型的预测，而不是只依赖一个模型，可以获得更好的性能。

这种做法常与“群体智慧”相提并论。如果你向一个人询问估算，他们的答案可能与真实值相去甚远。但如果你向一个庞大而多样化的群体询问并平均他们的答案，结果通常会很准确。在机器学习中，集成方法是一种创建并结合多个模型（称为基学习器）以生成单一、统一预测的技术。由此产生的集成模型常常比其任何单个组成部分都更准确。

集成方法的一般结构，其中来自多个基模型的预测被结合起来，形成一个最终的、更可靠的预测。

构成集成模型的模型被称为基学习器或基估计器。虽然理论上可以使用任何类型的模型，但一种常见做法，也是我们将关注的，是使用决策树。这些基学习器通常被限制为简单或“弱”的，例如，通过限制它们的深度。这些弱学习器的集合随后可以组合成一个强大的集成模型。

集成模型为何有效？

集成方法的有效性在于它们能提升模型的泛化能力。它们主要通过减少预测误差来做到这一点，这可以分解为三个主要优点。

准确性提升

通过结合多个模型的“投票”或预测，集成模型可以平滑掉任何单个模型所做的错误预测。对于分类任务，这可能涉及多数投票：如果五个模型中有三个预测“类别 A”，两个预测“类别 B”，则集成模型的最终预测是“类别 A”。对于回归，预测通常取平均值。这种聚合过程有助于抵消随机误差，从而得到更准确的最终结果。

鲁棒性增加

集成模型对训练数据的具体特点敏感度较低。如果你稍微改变训练集，单个决策树可能会发生显著变化。然而，集成模型往往更稳定。由于它依赖于许多不同模型的共识，数据中的微小变化不太可能显著改变最终预测。这使得模型在应用于新的、未见过的数据时更加可靠。

更好地管理偏差-方差权衡

集成模型的强大之处在于它们能有效地管理偏差-方差权衡。不同的集成策略以不同方式处理这种权衡：

• 方差降低： 有些方法在数据的不同子集上训练多个独立模型并平均它们的预测。这种平均过程降低了模型的方差，使其更不容易过拟合 (overfitting)。
• 偏差降低： 其他方法则按顺序构建模型，其中每个新模型都经过训练以纠正前一个模型的误差。这个过程系统地降低了整体模型的偏差。

集成模型主要通过两种策略构建：Bagging 和 Boosting。Bagging 是降低方差的一个典型示例，而 Boosting 擅长降低偏差。理解这两种策略之间的区别，对于为特定问题选择和构建合适的集成模型是重要的。