尽管前面讨论过的 Adam 优化器因其高效和有效性已成为许多深度学习 (deep learning)任务的常用选择，但进一步分析显示其收敛性证明存在潜在问题。具体来说，使用过去梯度平方 (v t v_t v t v t v_t v t η v ^ t + ϵ \frac{\eta}{\sqrt{\hat{v}_t} + \epsilon} v ^ t + ϵ η
AMSGrad（改进收敛保证的自适应矩估计）被提出，旨在直接处理 Adam 收敛性分析中的这一理论缺陷。其核心思想简单而有效：确保用于缩放梯度的自适应学习率项不会随时间增加。
AMSGrad 的改进
AMSGrad 不直接使用第二动量的当前估计值 (v t v_t v t 最大 值。我们来分解一下更新步骤：
计算梯度： 在时间步 t t t θ t \theta_t θ t g t g_t g t
g t = ∇ θ L ( θ t ) g_t = \nabla_{\theta} L(\theta_t) g t = ∇ θ L ( θ t )
更新有偏一阶矩估计： 这与 Adam 中相同，使用超参数 (hyperparameter) β 1 \beta_1 β 1
m t = β 1 m t − 1 + ( 1 − β 1 ) g t m_t = \beta_1 m_{t-1} + (1 - \beta_1) g_t m t = β 1 m t − 1 + ( 1 − β 1 ) g t
更新有偏二阶矩估计： 这也与 Adam 中相同，使用超参数 β 2 \beta_2 β 2
v t = β 2 v t − 1 + ( 1 − β 2 ) g t 2 v_t = \beta_2 v_{t-1} + (1 - \beta_2) g_t^2 v t = β 2 v t − 1 + ( 1 − β 2 ) g t 2 （注意：g t 2 g_t^2 g t 2
保持二阶矩估计的最大值： 这是 AMSGrad 引入的主要区别 。一个新变量 v ^ t \hat{v}_t v ^ t t t t v v v
v ^ t = max ( v ^ t − 1 , v t ) \hat{v}_t = \max(\hat{v}_{t-1}, v_t) v ^ t = max ( v ^ t − 1 , v t ) 初始化 v ^ 0 = 0 \hat{v}_0 = 0 v ^ 0 = 0 max \max max
计算偏差校正后的一阶矩估计： 与 Adam 相同。
m ^ t = m t 1 − β 1 t \hat{m}_t = \frac{m_t}{1 - \beta_1^t} m ^ t = 1 − β 1 t m t
更新参数： 在分母中使用最大二阶矩估计值 v ^ t \hat{v}_t v ^ t v ^ t \hat{v}_t v ^ t v ^ t \hat{v}_t v ^ t 没有 进行偏差校正。
θ t + 1 = θ t − η v ^ t + ϵ m ^ t \theta_{t+1} = \theta_t - \frac{\eta}{\sqrt{\hat{v}_t} + \epsilon} \hat{m}_t θ t + 1 = θ t − v ^ t + ϵ η m ^ t 在这里，η \eta η ϵ \epsilon ϵ
通过确保分母项 v ^ t + ϵ \sqrt{\hat{v}_t} + \epsilon v ^ t + ϵ v t v_t v t
实际考量与使用
理论上的改进能否转化为更好的实际性能？结果不一，通常取决于具体问题。
稳定性： AMSGrad 有时能提供更稳定的训练和收敛，尤其是在 Adam 可能表现出不稳定或收敛问题的数据集或架构上。性能： 在许多标准深度学习 (deep learning)应用（例如图像分类）中，尽管存在理论担忧，标准 Adam 通常收敛更快，并能达到与 AMSGrad 相当甚至略好的最终性能。Adam 收敛失败的条件在这些常见基准测试中可能不常遇到。内存： AMSGrad 需要略多一点内存，因为它需要存储额外的 v ^ t \hat{v}_t v ^ t
何时考虑使用 AMSGrad：
你在你的特定任务中观察到 Adam 存在收敛问题或不稳定。
你正在处理某种情况（可能是强化学习 (reinforcement learning)或在线学习），其中长期行为和收敛保证更重要。
相较于在简单情况下可能更快的收敛速度，你更看重稳健性和理论合理性。
大多数深度学习框架（如 TensorFlow 和 PyTorch）在其 Adam 优化器实现中提供了 AMSGrad 作为简单的布尔标志（例如，tf.keras.optimizers.Adam(amsgrad=True) 或 torch.optim.Adam(amsgrad=True)）。这使得实验变得简单。
尽管 Adam 仍然是一个非常强的基准，并且通常是首选，但 AMSGrad 提供了一个有价值的替代方案，其立足于处理 Adam 的特定理论缺陷。了解其机制和动机有助于你在调整复杂模型的优化策略时做出明智的决定。
