ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

高级强化学习技术
章节 1: 基础重温与函数近似
马尔可夫决策过程表述回顾
贝尔曼方程与最优性条件
价值迭代与策略迭代
时序差分学习方法
策略梯度方法入门
强化学习中的函数逼近
离策略学习中的致命三元组
章节 2: 深度Q网络及其改进
线性函数近似的局限性
深度Q网络 (DQN) 算法
经验回放机制
用于训练稳定性的目标网络
双重深度Q网络 (DDQN)
对偶网络架构
优先经验回放 (PER)
分布强化学习原理
Rainbow DQN 集成
DQN变体实现动手实践
章节 3: 高级策略梯度与 Actor-Critic 方法
基本策略梯度面临的挑战
行动者-评论者架构基本原理
降低方差的基线
优势 Actor-Critic (A2C) 和 A3C
广义优势估计 (GAE)
深度确定性策略梯度 (DDPG)
信任区域策略优化 (TRPO)
近端策略优化 (PPO)
软演员-评论家 (SAC)
演员-评论家方法实现实践
章节 4: 进阶搜寻策略
再谈试错-利用权衡
不确定性下的乐观主义:UCB 方法
概率匹配:汤普森采样
参数空间噪声用于行为多样性
伪计数:基于计数的寻访方法
预测误差作为好奇心:内生激励
状态新颖性:随机网络蒸馏 (RND)
信息增益在行动引导中的应用
行为策略的对比与结合
寻优策略实施实践
章节 5: 基于模型的强化学习
基于模型的强化学习的理由
基于模型方法的分类
学习环境动态模型
Dyna 架构:学习与规划的结合
使用已学习模型进行规划:轨迹采样
蒙特卡洛树搜索(MCTS)基本原理
将MCTS与习得模型整合
模型预测控制 (MPC) 的关联
挑战:模型准确性与计算成本
简单基于模型的智能体实践
章节 6: 多智能体强化学习
多智能体系统介绍
MARL问题表述:随机博弈
集中式与分布式控制
挑战:非静态性问题
独立学习者 (IQL, IDDPG)
参数共享方法
集中式训练与去中心化执行 (CTDE)
价值分解方法 (VDN, QMIX)
多智能体深度确定性策略梯度 (MADDPG)
多智能体强化学习中的通信协议
MARL实现实践
章节 7: 离线强化学习
离线强化学习(批处理强化学习)简介
离线强化学习与在线及离策略强化学习的区别
挑战:分布偏移
离策略评估在离线设置中
重要性采样及其局限性
拟合Q迭代(FQI)方法
策略约束方法
批处理约束深度Q学习 (BCQ)
值函数正则化方法
保守Q学习 (CQL)
离线强化学习实现方面的考量
离线强化学习算法实践
章节 8: 实现细节与优化
强化学习中的神经网络架构
超参数调整策略
动作空间与观测空间表示
强化学习项目的代码结构
软件框架与库
分布式强化学习方法
深度强化学习的可复现性
调试与可视化技术
性能优化与硬件考量
智能体调试与调优实践

降低方差的基线

REINFORCE算法虽然是策略梯度的根本,但在实践中常因其梯度估计固有的高方差而遇到困难。策略更新依赖于在状态 sts_tst​ 中执行动作 ata_tat​ 后观察到的总回报 GtG_tGt​。由于 GtG_tGt​ 会根据后续的随机转移和动作而变化很大,所以产生的梯度估计 ∇θlog⁡πθ(at∣st)Gt\nabla_\theta \log \pi_\theta(a_t|s_t) G_t∇θ​logπθ​(at​∣st​)Gt​ 可能噪声较大。这种噪声会减慢学习速度,并可能阻止策略稳定收敛到一个好的解决方案。想象一下,你试图根据剧烈波动的反馈来调整一个旋钮;很难知道哪个方向确实更好。

Actor-Critic方法通过在策略梯度计算中引入一个基线,提供了一个有力的解决方案。其核心思想出乎意料地简单:从回报 GtG_tGt​ 中减去一个仅依赖于状态 sts_tst​ 的值,我们称之为 b(st)b(s_t)b(st​)。修改后的策略梯度更新项变为:

∇θlog⁡πθ(at∣st)(Gt−b(st))\nabla_\theta \log \pi_\theta(a_t|s_t) (G_t - b(s_t))∇θ​logπθ​(at​∣st​)(Gt​−b(st​))

为什么这有效呢? 重要的是,减去一个依赖于状态的基线并不会改变策略梯度的期望值,这意味着它不会在更新方向上引入偏差。我们可以通过数学方式证明这一点。我们减去的项的期望值为:

Eπθ[∇θlog⁡πθ(at∣st)b(st)]=∑sdπθ(s)∑aπθ(a∣s)∇θlog⁡πθ(a∣s)b(s)\mathbb{E}_{\pi_\theta} \left[ \nabla_\theta \log \pi_\theta(a_t|s_t) b(s_t) \right] = \sum_s d^{\pi_\theta}(s) \sum_a \pi_\theta(a|s) \nabla_\theta \log \pi_\theta(a|s) b(s)Eπθ​​[∇θ​logπθ​(at​∣st​)b(st​)]=s∑​dπθ​(s)a∑​πθ​(a∣s)∇θ​logπθ​(a∣s)b(s)

使用恒等式 ∇θlog⁡πθ(a∣s)=∇θπθ(a∣s)πθ(a∣s)\nabla_\theta \log \pi_\theta(a|s) = \frac{\nabla_\theta \pi_\theta(a|s)}{\pi_\theta(a|s)}∇θ​logπθ​(a∣s)=πθ​(a∣s)∇θ​πθ​(a∣s)​,这变为:

∑sdπθ(s)∑a∇θπθ(a∣s)b(s)=∑sdπθ(s)b(s)∇θ∑aπθ(a∣s)\sum_s d^{\pi_\theta}(s) \sum_a \nabla_\theta \pi_\theta(a|s) b(s) = \sum_s d^{\pi_\theta}(s) b(s) \nabla_\theta \sum_a \pi_\theta(a|s)s∑​dπθ​(s)a∑​∇θ​πθ​(a∣s)b(s)=s∑​dπθ​(s)b(s)∇θ​a∑​πθ​(a∣s)

由于对于任何状态 sss,∑aπθ(a∣s)=1\sum_a \pi_\theta(a|s) = 1∑a​πθ​(a∣s)=1,所以它相对于 θ\thetaθ 的梯度为零:∇θ1=0\nabla_\theta 1 = 0∇θ​1=0。因此,被减项的期望值为零:

Eπθ[∇θlog⁡πθ(at∣st)b(st)]=0\mathbb{E}_{\pi_\theta} \left[ \nabla_\theta \log \pi_\theta(a_t|s_t) b(s_t) \right] = 0Eπθ​​[∇θ​logπθ​(at​∣st​)b(st​)]=0

这证实了减去一个依赖于状态的基线 b(st)b(s_t)b(st​) 能够保持策略梯度估计的无偏性。

基线如何降低方差

虽然期望梯度保持不变,但梯度估计的方差可以大幅降低。考虑项 (Gt−b(st))(G_t - b(s_t))(Gt​−b(st​))。如果我们选择 b(st)b(s_t)b(st​) 作为从状态 sts_tst​ 获得的平均回报的一个良好估计,那么这一项表示实际观察到的回报 GtG_tGt​ 与该状态的平均预期相比是更好还是更差。

  • 如果 Gt>b(st)G_t > b(s_t)Gt​>b(st​):动作 ata_tat​ 导致了优于平均水平的结果。该项为正,强化动作 ata_tat​。
  • 如果 Gt<b(st)G_t < b(s_t)Gt​<b(st​):动作 ata_tat​ 导致了劣于平均水平的结果。该项为负,抑制动作 ata_tat​。

通过将回报值围绕状态特定的平均值进行中心化,更新的幅度被缩小。更新不再基于高绝对回报(这可能仅仅源于一个通常有回报的状态)产生大的正向更新,而是侧重于动作在该特定情境下的相对质量。这导致了更稳定且通常更快的学习过程。

轨迹中的样本回报 (GtG_tGt​)。减去一个基线(此处为总体平均回报)将用于策略更新的值中心化到零附近。正值对应于优于基线的回报,负值对应于劣于基线的回报。这种中心化有助于降低更新方差。

状态值函数作为最佳基线

b(st)b(s_t)b(st​) 的最佳选择是什么?虽然一个简单的常数基线(比如一个回合的平均回报)能有所帮助,但一个效果好得多的基线是状态值函数 Vπθ(st)V^{\pi_\theta}(s_t)Vπθ​(st​)。这个函数根据定义表示从状态 sts_tst​ 开始并遵循当前策略 πθ\pi_\thetaπθ​ 所能获得的期望回报。

使用 V(st)V(s_t)V(st​) 作为基线,更新项变为:

∇θlog⁡πθ(at∣st)(Gt−V(st))\nabla_\theta \log \pi_\theta(a_t|s_t) (G_t - V(s_t))∇θ​logπθ​(at​∣st​)(Gt​−V(st​))

项 (Gt−V(st))(G_t - V(s_t))(Gt​−V(st​)) 是优势函数 Aπθ(st,at)A^{\pi_\theta}(s_t, a_t)Aπθ​(st​,at​) 的一个估计。优势函数衡量了在状态 sts_tst​ 中执行动作 ata_tat​ 比策略 πθ\pi_\thetaπθ​ 从状态 sts_tst​ 平均选择的动作好多少。形式上:

Aπθ(st,at)=Qπθ(st,at)−Vπθ(st)A^{\pi_\theta}(s_t, a_t) = Q^{\pi_\theta}(s_t, a_t) - V^{\pi_\theta}(s_t)Aπθ​(st​,at​)=Qπθ​(st​,at​)−Vπθ​(st​)

其中 Qπθ(st,at)Q^{\pi_\theta}(s_t, a_t)Qπθ​(st​,at​) 是动作值函数。由于 GtG_tGt​ 是 Qπθ(st,at)Q^{\pi_\theta}(s_t, a_t)Qπθ​(st​,at​) 的蒙特卡洛样本估计,项 (Gt−V(st))(G_t - V(s_t))(Gt​−V(st​)) 作为优势 Aπθ(st,at)A^{\pi_\theta}(s_t, a_t)Aπθ​(st​,at​) 的样本估计。

理论上,使用状态值函数 V(st)V(s_t)V(st​) 作为基线是最佳选择(在最小化梯度估计方差的意义上),在所有仅依赖于状态 sts_tst​ 的函数中。

评价者(Critic)的出现

这自然地引向了Actor-Critic架构。我们需要一种方法来估计 V(st)V(s_t)V(st​) 以将其用作基线。这正是评价者(critic)的角色。

  • 执行者(Actor)负责学习和更新策略参数 (parameter) θ\thetaθ,通常使用带优势估计的梯度上升: θ←θ+α∇θlog⁡πθ(at∣st)A(st,at)\theta \leftarrow \theta + \alpha \nabla_\theta \log \pi_\theta(a_t|s_t) A(s_t, a_t)θ←θ+α∇θ​logπθ​(at​∣st​)A(st​,at​) (其中 A(st,at)A(s_t, a_t)A(st​,at​) 被估计,例如通过 Gt−V(st)G_t - V(s_t)Gt​−V(st​) 或我们将在后面看到的其他方法)。
  • 评价者(Critic)负责学习状态值函数 V(st;ϕ)V(s_t; \phi)V(st​;ϕ)(有时是动作值函数 Q(st,at;ϕ)Q(s_t, a_t; \phi)Q(st​,at​;ϕ))的估计,该函数由 ϕ\phiϕ 参数化。它从执行者所经历的转移中学习,通常使用时序差分(TD)学习方法,例如TD(0)。评价者的输出 V(st;ϕ)V(s_t; \phi)V(st​;ϕ) 随后被执行者用作基线 b(st)b(s_t)b(st​)。

使用 V(s)V(s)V(s) 作为基线的Actor-Critic架构图。执行者根据策略选择动作。评价者通过学习 V(s)V(s)V(s) 来评估状态。评价者的值估计 V(s)V(s)V(s) 被用作基线来计算优势估计,这反过来为更新执行者的策略提供了较低方差的信号。这两个组件都从与环境的交互中学习。

总而言之,引入一个依赖于状态的基线,特别是状态值函数 V(st)V(s_t)V(st​),是一种用于降低策略梯度估计方差而不引入偏差的强大技术。这自然地促使了Actor-Critic框架的形成,其中评价者学习值函数以提供此基线,而执行者则使用产生的优势信号更新策略。后续章节将讨论A2C/A3C等有效实现此思想的特定算法,并引入如广义优势估计(GAE)等进一步改进。

  • Reinforcement Learning: An Introduction, Richard S. Sutton and Andrew G. Barto, 2018 (MIT Press) - 一本内容全面的教科书,详细介绍了策略梯度方法、基线在方差缩减中的作用以及Actor-Critic架构的原理。
  • Policy Gradient Methods for Reinforcement Learning with Function Approximation, Richard S. Sutton, David A. McAllester, Satinder P. Singh, and Yishay Mansour, 1999 Advances in Neural Information Processing Systems, Vol. 12 (NeurIPS) DOI: 10.5555/3008751.3008851 - 引入了策略梯度定理,并正式讨论了减去依赖于状态的基线(如价值函数)如何在不引入偏差的情况下减少策略梯度估计的方差。
  • Asynchronous Methods for Deep Reinforcement Learning, Volodymyr Mnih, Adria Puigdomenech Badia, Mehdi Mirza, Alex Graves, Timothy Lillicrap, Tim Harley, David Silver, Koray Kavukcuoglu, 2016 Proceedings of The 33rd International Conference on Machine Learning, Vol. 48 (PMLR) - 一篇里程碑式的论文,展示了通过Actor-Critic架构成功进行深度强化学习。该方法利用价值函数作为基线,通过异步更新来稳定训练并减少方差。
  • High-Dimensional Continuous Control Using Generalized Advantage Estimation, John Schulman, Philipp Moritz, Sergey Levine, Michael Jordan, Pieter Abbeel, 2015 International Conference on Learning Representations (ICLR) DOI: 10.48550/arXiv.1506.02438 - 引入了广义优势估计(GAE),一种在优势函数估计中实现良好偏差-方差权衡的方法,这对于先进的策略梯度方法很重要。

© 2026 ApX Machine Learning