小批量梯度下降的权衡

随机梯度下降（SGD）是一种通过在每一步仅使用小部分数据样本来近似真实梯度，从而解决大型数据集计算负担的技术。最常见的形式并非纯粹的SGD（使用单个数据点），而是小批量梯度下降（MBGD）。MBGD不是使用一个样本或整个数据集，而是使用一个固定大小的数据子集（称为小批量）来计算梯度估计。

尽管MBGD是大规模机器学习的主力方法，但选择小批量大小需要权衡一系列复杂因素。这不只是简单选择一个数字；它显著影响训练过程的行为、计算效率，甚至最终模型性能。

主要问题：计算与梯度质量的平衡

本质上，小批量大小$B$的选择需要在两个主要因素之间找到平衡：

1. 计算效率： 我们能多快处理数据并进行更新？
2. 梯度估计质量： 小批量梯度$\nabla L_B(w)$在多大程度上准确反映了整个数据集上的真实梯度$\nabla L(w)$？

接下来，我们具体分析批量大小如何影响这些及其他相关方面。

计算时间和硬件利用率

• 较小批量（$B$较小）：
  • 优点： 每次梯度计算和参数更新的计算成本低且速度快。更新发生更频繁（每个周期步数更多）。
  • 缺点： 可能未能充分利用并行处理能力（如GPU）。针对许多小批量启动计算和传输数据的额外开销可能变得明显。由于这种开销和硬件使用效率较低，每个周期的总训练时间可能增加。
• 较大批量（$B$较大）：
  • 优点： 更好地利用硬件并行性（GPU上的向量化、矩阵运算）。批内计算效率很高。每个周期更新次数较少，意味着更新步骤的开销更低，且在分布式环境中可能减少通信。
  • 缺点： 每一步计算所需时间更长。如果批量大小超出可用内存（特别是GPU内存），则根本不可行。

适用于计算吞吐量的最佳批量大小通常很大程度上取决于特定的硬件架构。例如，现代GPU擅长处理大型、可并行操作。

梯度方差与收敛稳定性

随机方法的显著特点是梯度估计中的噪声或方差。小批量大小直接影响此方差。

• 较小批量（$B$较小）：
  • 梯度估计$\nabla L_B(w)$的方差更大。每一步可能指向与真实梯度$\nabla L(w)$有很大不同的方向。
  • 影响： 这种噪声有时可以帮助跳出尖锐的局部最小值或鞍点。然而，它通常需要较小的学习率($\eta$)来防止优化路径大幅偏离。收敛可能缓慢且震荡，尤其是在最小值附近。
• 较大批量（$B$较大）：
  • 梯度估计$\nabla L_B(w)$的方差更小。随着$B$接近整个数据集大小$N$，小批量梯度接近真实梯度。
  • 影响： 更新更稳定，能更好反映整体梯度。这通常允许使用更大的学习率，可能导致更快的初始收敛。然而，非常大的批量可能收敛到更尖锐的最小值（见下文泛化部分），并且在超过某个点后，方差减少会呈现收益递减。

前面讨论的技术，如SAG和SVRG，明确旨在减少这种方差，同时仍利用较小批量处理的计算优势。

这张示意图展示了增加批量大小通常会降低梯度方差（接近真实梯度），但在最初利用硬件并行性后，减少每个周期计算时间的效果会呈现收益递减。最佳点在于平衡这些因素。

内存限制

这通常是一个严格的约束。训练深度神经网络需要存储激活以进行反向传播。所需的内存与批量大小成正比。

• 较大批量需要显著更多的RAM或GPU内存。 如果所选批量大小超出可用内存（特别是GPU内存），训练将失败。这通常为$B$设定了实际的上限，特别是对于非常深或宽的模型。

对泛化能力的影响

一个有趣且积极研究的方面是批量大小与最终模型泛化性能（模型在未见数据上的表现）之间的关系。

• 较小批量： 梯度中固有的噪声起到一种正则化作用。它可能阻止优化器陷入非常尖锐的最小值，这些最小值有时对应于对训练数据过拟合的解决方案。较小批量倾向于有利于更平坦的最小值，这些最小值通常与更好的泛化能力相关。
• 较大批量： 噪声更少，优化器可能更容易收敛到最近的最小值，这可能是一个尖锐的最小值。虽然大批量在实际运行时间或周期数方面可以更快收敛（特别是使用调整后的学习率），但得到的模型可能泛化能力没有那么好。

这种现象有时被称为“泛化差距”。缩小这个差距，使大批量能达到与小批量相同的泛化能力，是涉及学习率调度和优化器修改的持续进行的研究方面。

实用指南与经验法则

选择最佳小批量大小通常是凭经验的，但这里有一些常见做法和注意事项：

1. 2的幂次方： 32、64、128、256、512等批量大小常用。这通常与硬件（特别是GPU）的内存架构和计算能力很好地匹配，从而带来更好的吞吐量。
2. 硬件限制： 确定您的硬件（特别是GPU内存）能容纳的最大批量大小。这设定了一个上限。
3. 从常用值开始，然后调整： 从标准大小（例如32或64）开始，并进行实验。监测训练稳定性、收敛速度（损失曲线）和验证性能。
4. 学习率关联： 批量大小和学习率通常一起调整。一个常见的经验法则（尽管不普遍适用）是线性缩放规则： 如果将批量大小乘以$k$，则将学习率也乘以$k$。直观解释是，对于更大的批量，梯度估计更准确（方差更小），因此可以采取更大的步长。此规则在训练早期效果最好，并且通常需要学习率预热等调整。
5. 自适应优化器： Adam或RMSprop等优化器会根据梯度统计调整每个参数的学习率，它们通常比基本SGD或带有动量的SGD对批量大小不那么敏感。然而，基本的权衡仍然适用。
6. 数据集/模型： 非常大且复杂的数据集/模型由于内存原因可能需要较小的批量，而较简单的问题可能受益于较大的批量以实现更快的收敛。

总而言之，小批量梯度下降是进行大规模训练的标准方法。批量大小的选择是一个重要的超参数，涉及计算速度、硬件利用率、梯度估计质量、收敛稳定性、内存使用和模型泛化能力之间的权衡。尽管存在经验法则，但通常需要对您的特定任务、模型和硬件进行实验评估，以找到最佳平衡点。