ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

强化学习导论
章节 1: 强化学习基本原理
什么是强化学习?
智能体与环境
状态、动作与奖励
策略:将状态映射到动作
强化学习工作流程:交互循环
强化学习任务类型:回合制与连续制
强化学习与其他学习类型的比较
为强化学习搭建Python环境
第 1 章测验
章节 2: 马尔可夫决策过程 (MDPs)
序贯决策建模
MDP的正式定义
状态转移概率
奖励函数
回报:未来累积奖励
未来奖励的折现
策略与价值函数 (Vπ, Qπ)
寻找最优策略
第 2 章测验
章节 3: 估算值函数
贝尔曼期望方程
贝尔曼最优方程
求解贝尔曼方程 (概述)
动态规划:策略迭代
动态规划:值迭代
动态规划的局限性
第 3 章测验
章节 4: 蒙特卡洛方法
基于完整回合的学习
蒙特卡洛预测:估计 Vπ
蒙特卡洛控制:估算 Qπ
同策略学习与异策略学习对比
无非固定起点MC控制
同策略首次访问蒙特卡洛控制的实现
离策略蒙特卡洛预测与控制简介
实践:实现蒙特卡洛预测
第 4 章测验
章节 5: 时序差分学习
从不完整的回合中学习
TD(0) 预测:估计 Vπ
TD学习相对于蒙特卡洛方法的优势
SARSA:同策略TD控制
Q学习:离策略TD控制
比较 SARSA 与 Q-学习
期望SARSA
动手实践:Q-学习的实现
第 5 章测验
章节 6: 强化学习中的函数逼近
处理大规模状态空间
价值函数近似 (VFA)
状态表示的特征向量
价值函数逼近的线性方法
用于参数学习的梯度下降
半梯度 TD 方法
使用神经网络进行价值函数近似
实践:应用线性价值函数近似
第 6 章测验
章节 7: 深度Q网络(DQN)简介
Q学习与深度学习的结合
强化学习中神经网络的难题
经验回放机制
固定Q目标 (目标网络)
DQN 算法结构
DQN 的网络结构设计考量
动手实践:构建一个基础DQN
第 7 章测验
章节 8: 策略梯度方法简介
直接学习策略
策略梯度定理 (理念)
REINFORCE 算法
降低方差的基线
Actor-Critic 方法概述
对比基于价值和基于策略的方法
实践:实现 REINFORCE
第 8 章测验

降低方差的基线

REINFORCE算法是一种基本的蒙特卡洛策略梯度方法。理解其策略参数 (parameter)θ\thetaθ的更新规则是有效实施方差减少基线的基础。

θ←θ+αGt∇θln⁡πθ(at∣st)\theta \leftarrow \theta + \alpha G_t \nabla_\theta \ln \pi_\theta(a_t|s_t)θ←θ+αGt​∇θ​lnπθ​(at​∣st​)

这里,GtG_tGt​是从时间步 ttt 开始的总折扣回报。尽管此更新规则能正确地将参数朝向预期回报增加的方向推动,但它常有一个显著的缺点:高方差。

高方差问题

回报 GtG_tGt​ 是根据当前策略 πθ\pi_\thetaπθ​ 采样出的单一完整轨迹来计算的。沿着这条轨迹收到的奖励会因为环境和策略本身的随机性而发生很大变化。早期行动的微小变化可能导致完全不同的状态和奖励序列,从而产生截然不同的 GtG_tGt​。

GtG_tGt​ 的这种高方差直接导致梯度估计 ∇θln⁡πθ(at∣st)\nabla_\theta \ln \pi_\theta(a_t|s_t)∇θ​lnπθ​(at​∣st​) 出现高方差。想象从同一状态 sts_tst​ 开始的两个不同幕。在一个幕中,智能体很幸运地获得了高回报 Gt=10G_t = 10Gt​=10。在另一幕中,或许由于一次不走运的转移,回报则低得多,Gt=−5G_t = -5Gt​=−5。即使所采取的行动 ata_tat​ 相同,策略参数 (parameter) θ\thetaθ 的最终梯度更新也会指向非常不同的方向。

这种带有噪声的梯度信号使得学习效率低下且不稳定。参数更新可能会剧烈波动,需要大量样本(幕)来平均掉噪声并取得稳定进展。因此,学习过程可能非常缓慢。

引入基线

为了解决这种高方差问题,我们可以通过从回报 GtG_tGt​ 中减去一个基线 b(st)b(s_t)b(st​) 来修改策略梯度更新。对基线的一个重要要求是它必须不依赖于行动 ata_tat​;它应只依赖于状态 sts_tst​。

修改后的更新规则变为:

θ←θ+α(Gt−b(st))∇θln⁡πθ(at∣st)\theta \leftarrow \theta + \alpha (G_t - b(s_t)) \nabla_\theta \ln \pi_\theta(a_t|s_t)θ←θ+α(Gt​−b(st​))∇θ​lnπθ​(at​∣st​)

这为什么会有帮助呢?直观地讲,我们不再仅仅是根据原始回报 GtG_tGt​ 来增加某个行动的概率。相反,我们是将所获得的回报 GtG_tGt​ 与处于状态 sts_tst​ 时的预期或平均回报 b(st)b(s_t)b(st​) 进行比较。

  • 如果 Gt>b(st)G_t > b(s_t)Gt​>b(st​),则项 (Gt−b(st))(G_t - b(s_t))(Gt​−b(st​)) 为正。这意味着行动 ata_tat​ 导致了状态 sts_tst​ 的结果好于预期,因此我们增加其概率。
  • 如果 Gt<b(st)G_t < b(s_t)Gt​<b(st​),则项 (Gt−b(st))(G_t - b(s_t))(Gt​−b(st​)) 为负。行动 ata_tat​ 导致的结果差于预期,因此我们降低其概率。

这种比较将更新的重点放在了给定状态 sts_tst​ 下行动 ata_tat​ 的相对质量上,而非绝对回报 GtG_tGt​,后者可能波动很大。通过将回报围绕基线进行居中,我们减小了更新项的幅度和变异性,从而使梯度估计的方差更低,学习更稳定。

保持无偏梯度

基线 b(st)b(s_t)b(st​) 的一个重要属性是减去它不会改变梯度更新的期望值。换句话说,它在降低方差的同时不引入偏差。我们可以用数学方法证明这一点。我们减去的项乘以梯度对数概率后的期望值为零:

Eπθ[b(st)∇θln⁡πθ(at∣st)]=∑sd(s)∑aπθ(a∣s)b(s)∇θln⁡πθ(a∣s)E_{\pi_\theta} [b(s_t) \nabla_\theta \ln \pi_\theta(a_t|s_t)] = \sum_s d(s) \sum_a \pi_\theta(a|s) b(s) \nabla_\theta \ln \pi_\theta(a|s)Eπθ​​[b(st​)∇θ​lnπθ​(at​∣st​)]=s∑​d(s)a∑​πθ​(a∣s)b(s)∇θ​lnπθ​(a∣s)

使用恒等式 ∇θln⁡πθ(a∣s)=∇θπθ(a∣s)πθ(a∣s)\nabla_\theta \ln \pi_\theta(a|s) = \frac{\nabla_\theta \pi_\theta(a|s)}{\pi_\theta(a|s)}∇θ​lnπθ​(a∣s)=πθ​(a∣s)∇θ​πθ​(a∣s)​,我们得到:

=∑sd(s)b(s)∑aπθ(a∣s)∇θπθ(a∣s)πθ(a∣s)= \sum_s d(s) b(s) \sum_a \pi_\theta(a|s) \frac{\nabla_\theta \pi_\theta(a|s)}{\pi_\theta(a|s)}=s∑​d(s)b(s)a∑​πθ​(a∣s)πθ​(a∣s)∇θ​πθ​(a∣s)​ =∑sd(s)b(s)∑a∇θπθ(a∣s)= \sum_s d(s) b(s) \sum_a \nabla_\theta \pi_\theta(a|s)=s∑​d(s)b(s)a∑​∇θ​πθ​(a∣s)

由于对于任何状态 sss,概率之和 ∑aπθ(a∣s)\sum_a \pi_\theta(a|s)∑a​πθ​(a∣s) 必须等于 1,因此它对 θ\thetaθ 的梯度为零:

=∑sd(s)b(s)∇θ∑aπθ(a∣s)= \sum_s d(s) b(s) \nabla_\theta \sum_a \pi_\theta(a|s)=s∑​d(s)b(s)∇θ​a∑​πθ​(a∣s) =∑sd(s)b(s)∇θ(1)=0= \sum_s d(s) b(s) \nabla_\theta (1) = 0=s∑​d(s)b(s)∇θ​(1)=0

因为被减项的期望值为零,所以总体梯度的期望值保持不变。基线成功地降低了方差,同时平均而言不改变策略参数 (parameter)应移动的方向。

基线的选择:状态值函数

什么才是一个好的基线 b(st)b(s_t)b(st​) 呢?一个有效且广泛采用的选择是状态值函数 V(st)V(s_t)V(st​) 的估计。状态值函数 V(st)V(s_t)V(st​) 表示从状态 sts_tst​ 开始并遵循当前策略 πθ\pi_\thetaπθ​ 的预期回报。这正是我们希望将 GtG_tGt​ 进行比较的“预期结果”。

因此,我们使用由权重 (weight) www 参数 (parameter)化的近似函数 v^(st,w)\hat{v}(s_t, w)v^(st​,w) 作为我们的基线:

b(st)=v^(st,w)b(s_t) = \hat{v}(s_t, w)b(st​)=v^(st​,w)

那么策略更新就变为:

θ←θ+α(Gt−v^(st,w))∇θln⁡πθ(at∣st)\theta \leftarrow \theta + \alpha (G_t - \hat{v}(s_t, w)) \nabla_\theta \ln \pi_\theta(a_t|s_t)θ←θ+α(Gt​−v^(st​,w))∇θ​lnπθ​(at​∣st​)

现在,项 (Gt−v^(st,w))(G_t - \hat{v}(s_t, w))(Gt​−v^(st​,w)) 是在状态 sts_tst​ 中采取行动 ata_tat​ 的优势的估计。回想一下,优势函数定义为 A(s,a)=Q(s,a)−V(s)A(s, a) = Q(s, a) - V(s)A(s,a)=Q(s,a)−V(s)。由于 GtG_tGt​ 是 Qπθ(st,at)Q^{\pi_\theta}(s_t, a_t)Qπθ​(st​,at​) (在策略 πθ\pi_\thetaπθ​ 下针对所采取的特定行动 ata_tat​) 的蒙特卡洛样本(一个估计),并且 v^(st,w)\hat{v}(s_t, w)v^(st​,w) 估计 Vπθ(st)V^{\pi_\theta}(s_t)Vπθ​(st​),因此它们的差近似于优势 Aπθ(st,at)A^{\pi_\theta}(s_t, a_t)Aπθ​(st​,at​)。使用优势估计通常比使用原始回报 GtG_tGt​ 导致更低的方差。

我们如何获得值函数估计 v^(st,w)\hat{v}(s_t, w)v^(st​,w)?我们需要学习它!这个值函数可以与策略同时学习,使用我们已经遇到的方法,例如蒙特卡洛预测或时序差分学习(如TD(0)),如果状态空间很大,通常会使用函数近似(线性或神经网络 (neural network))等技术。这涉及根据观测到的回报或TD误差来更新值函数参数 www。

这个方法,我们同时学习策略(“行动者”)和值函数(提供基线的“评论者”),为Actor-Critic 方法奠定了根基,我们将在下一节中介绍这些方法。通过让评论者评估行动者相对于状态预期值的行动,我们可以显著稳定并加速策略梯度学习。

  • Reinforcement Learning: An Introduction, Richard S. Sutton and Andrew G. Barto, 2018 (MIT Press) - 强化学习的标准教材,提供了策略梯度方法、通过基线减少方差以及Actor-Critic算法的全面解释。
  • Actor-Critic Algorithms, Vijay R. Konda and John N. Tsitsiklis, 2000 Advances in Neural Information Processing Systems, Vol. 12 (The MIT Press) - 一篇提出并形式化Actor-Critic框架的论文,阐明了学习到的价值函数(评论家)如何作为策略梯度方法的有效基线。
  • Spinning Up in Deep RL, Joshua Achiam, 2018-2023 (OpenAI) - OpenAI提供的易于理解的在线资源,提供了策略梯度方法的实用解释和实现,包括深度强化学习中基线和优势估计的运用。
  • High-Dimensional Continuous Control Using Generalized Advantage Estimation, John Schulman, Philipp Moritz, Sergey Levine, Michael Jordan, and Pieter Abbeel, 2016 International Conference on Learning Representations (ICLR 2016) (OpenReview) DOI: 10.48550/arXiv.1506.02438 - 本文介绍了广义优势估计(GAE),这是一种通过构建改进的优势估计来减少策略梯度方法方差的常用技术,它是基线的直接应用。

© 2026 ApX Machine Learning