ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

高级强化学习技术
章节 1: 基础重温与函数近似
马尔可夫决策过程表述回顾
贝尔曼方程与最优性条件
价值迭代与策略迭代
时序差分学习方法
策略梯度方法入门
强化学习中的函数逼近
离策略学习中的致命三元组
章节 2: 深度Q网络及其改进
线性函数近似的局限性
深度Q网络 (DQN) 算法
经验回放机制
用于训练稳定性的目标网络
双重深度Q网络 (DDQN)
对偶网络架构
优先经验回放 (PER)
分布强化学习原理
Rainbow DQN 集成
DQN变体实现动手实践
章节 3: 高级策略梯度与 Actor-Critic 方法
基本策略梯度面临的挑战
行动者-评论者架构基本原理
降低方差的基线
优势 Actor-Critic (A2C) 和 A3C
广义优势估计 (GAE)
深度确定性策略梯度 (DDPG)
信任区域策略优化 (TRPO)
近端策略优化 (PPO)
软演员-评论家 (SAC)
演员-评论家方法实现实践
章节 4: 进阶搜寻策略
再谈试错-利用权衡
不确定性下的乐观主义:UCB 方法
概率匹配:汤普森采样
参数空间噪声用于行为多样性
伪计数:基于计数的寻访方法
预测误差作为好奇心:内生激励
状态新颖性:随机网络蒸馏 (RND)
信息增益在行动引导中的应用
行为策略的对比与结合
寻优策略实施实践
章节 5: 基于模型的强化学习
基于模型的强化学习的理由
基于模型方法的分类
学习环境动态模型
Dyna 架构:学习与规划的结合
使用已学习模型进行规划:轨迹采样
蒙特卡洛树搜索(MCTS)基本原理
将MCTS与习得模型整合
模型预测控制 (MPC) 的关联
挑战:模型准确性与计算成本
简单基于模型的智能体实践
章节 6: 多智能体强化学习
多智能体系统介绍
MARL问题表述:随机博弈
集中式与分布式控制
挑战:非静态性问题
独立学习者 (IQL, IDDPG)
参数共享方法
集中式训练与去中心化执行 (CTDE)
价值分解方法 (VDN, QMIX)
多智能体深度确定性策略梯度 (MADDPG)
多智能体强化学习中的通信协议
MARL实现实践
章节 7: 离线强化学习
离线强化学习(批处理强化学习)简介
离线强化学习与在线及离策略强化学习的区别
挑战:分布偏移
离策略评估在离线设置中
重要性采样及其局限性
拟合Q迭代(FQI)方法
策略约束方法
批处理约束深度Q学习 (BCQ)
值函数正则化方法
保守Q学习 (CQL)
离线强化学习实现方面的考量
离线强化学习算法实践
章节 8: 实现细节与优化
强化学习中的神经网络架构
超参数调整策略
动作空间与观测空间表示
强化学习项目的代码结构
软件框架与库
分布式强化学习方法
深度强化学习的可复现性
调试与可视化技术
性能优化与硬件考量
智能体调试与调优实践

双重深度Q网络 (DDQN)

深度Q网络(DQN)将Q学习与深度神经网络 (neural network),以及经验回放和目标网络等技术结合,使智能体能够在高维状态空间中高效学习。然而,DQN中使用的标准Q学习更新可能会遇到一个主要问题:Q值过高估计。

过高估计偏差问题

回顾标准DQN中,针对转移(St,At,Rt+1,St+1)(S_t, A_t, R_{t+1}, S_{t+1})(St​,At​,Rt+1​,St+1​)的目标值(YtY_tYt​)计算:

YtDQN=Rt+1+γmax⁡a′Q(St+1,a′;θt−)Y_t^{DQN} = R_{t+1} + \gamma \max_{a'} Q(S_{t+1}, a'; \theta_t^-)YtDQN​=Rt+1​+γa′max​Q(St+1​,a′;θt−​)

这里,θt−\theta_t^-θt−​代表目标网络的参数 (parameter)。在线网络参数θt\theta_tθt​的更新旨在最小化Q(St,At;θt)Q(S_t, A_t; \theta_t)Q(St​,At​;θt​)与此目标YtDQNY_t^{DQN}YtDQN​之间的损失。

问题在于目标计算中的max⁡a′\max_{a'}maxa′​操作。目标网络估算的Q值(Q(St+1,a′;θt−)Q(S_{t+1}, a'; \theta_t^-)Q(St+1​,a′;θt−​))本身是对真实动作值的带有噪声的近似。当我们从这些带有噪声的估计中取最大值时,我们更有可能选择一个被高估的值,而不是一个被低估的值。设想有几个动作,它们的真实值相近;由于噪声,有些估计会高于其他估计。max操作符将持续选择这些较高、可能被高估的值。这种系统性的正偏差会在学习过程中传播,导致过于乐观的值估计、训练期间的不稳定性以及潜在的次优策略。

使用双重DQN分离选择与评估

双重深度Q网络(DDQN),由Hado van Hasselt, Julià Ghesu, Matej Horgan, Maurice Wiering和David Silver提出,通过在计算目标时,将最优动作的选择与该动作值的评估分离开来,直接解决了这个过高估计问题。

DDQN不使用目标网络θt−\theta_t^-θt−​同时进行最大化动作的选择和Q值的评估,而是使用在线网络θt\theta_tθt​来为下一个状态St+1S_{t+1}St+1​选择最优动作,然后使用目标网络θt−\theta_t^-θt−​来评估该特定所选动作的Q值。

DDQN中的目标值计算变为:

YtDDQN=Rt+1+γQ(St+1,arg⁡max⁡a′Q(St+1,a′;θt);θt−)Y_t^{DDQN} = R_{t+1} + \gamma Q(S_{t+1}, \arg\max_{a'} Q(S_{t+1}, a'; \theta_t); \theta_t^-)YtDDQN​=Rt+1​+γQ(St+1​,arga′max​Q(St+1​,a′;θt​);θt−​)

让我们分解一下:

  1. 动作选择: 首先,我们使用当前在线网络Q(St+1,a′;θt)Q(S_{t+1}, a'; \theta_t)Q(St+1​,a′;θt​)来找到它认为在下一个状态St+1S_{t+1}St+1​中能使Q值最大化的动作a∗a^*a∗。这便是arg⁡max⁡a′Q(St+1,a′;θt)\arg\max_{a'} Q(S_{t+1}, a'; \theta_t)argmaxa′​Q(St+1​,a′;θt​)部分。
  2. 动作评估: 然后,我们不直接使用可能被高估的值Q(St+1,a∗;θt−)Q(S_{t+1}, a^*; \theta_t^-)Q(St+1​,a∗;θt−​)(DQN会通过对目标网络值取最大值来隐式执行),而是使用目标网络Q(.;θt−)Q(.; \theta_t^-)Q(.;θt−​)来获取在线网络选择的那个特定动作 a∗a^*a∗的Q值估计。这便是Q(St+1,a∗;θt−)Q(S_{t+1}, a^*; \theta_t^-)Q(St+1​,a∗;θt−​)部分,其中a∗a^*a∗是步骤1中找到的动作。

标准DQN和双重DQN(DDQN)中目标值计算流程的比较。DDQN使用在线网络进行动作选择(argmax),并使用目标网络评估所选动作的值。

为什么这有帮助?

在线网络(θt\theta_tθt​)和目标网络(θt−\theta_t^-θt−​)是不同的参数 (parameter)集(目标网络通常是在线网络的定期更新副本)。虽然两个网络都可能对某些动作存在噪声和潜在的过高估计,但两个网络同时高估同一次优动作值的可能性较小。

如果在线网络选择动作a∗a^*a∗是因为其估计Q(St+1,a∗;θt)Q(S_{t+1}, a^*; \theta_t)Q(St+1​,a∗;θt​)当前被高估,那么目标网络对该同一动作的估计Q(St+1,a∗;θt−)Q(S_{t+1}, a^*; \theta_t^-)Q(St+1​,a∗;θt−​)可能更接近真实值(或者至少,高估程度较轻)。通过使用目标网络对在线网络所选动作的值,DDQN减少了将最大可能过高估计传播到目标值YtY_tYt​中的机会。这会带来更保守和更准确的值估计。

实现与优势

如果你已经有一个DQN实现,那么DDQN的实现非常直接。唯一需要的更改是修改训练循环中目标值YtY_tYt​的计算方式。你仍然需要经验回放以及独立的在线网络和目标网络。

DDQN的主要优势是:

  1. 过高估计减少: 与标准DQN相比,它明显地带来更低(且通常更准确)的Q值估计。
  2. 稳定性提升: 通过减少过高估计偏差,训练通常变得更加稳定。
  3. 性能更好: 在许多环境中,DDQN比标准DQN取得了更好的最终策略表现。

因为修改简单,并且优势在许多领域都显著且一致,DDQN被认为是原始DQN算法的一种标准改进,并常被用作默认选择或基线。它代表了完善基于值的方法在深度强化学习 (reinforcement learning)中的重要一步。

  • Reinforcement Learning: An Introduction, Richard S. Sutton and Andrew G. Barto, 2018 (The MIT Press) - 一本关于强化学习的著作,涵盖Q-学习、价值函数估计及相关算法。
  • Human-level control through deep reinforcement learning, Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Andrei A. Rusu, Joel Veness, Marc G. Bellemare, Alex Graves, Martin Riedmiller, Andreas K. Fidjeland, Georg Ostrovski, Stig Petersen, Charles Beattie, Andras G. P. Szepesvari, Helen King, Raia Hadsell and Demis Hassabis, 2015 Nature, Vol. 518 DOI: 10.1038/nature14236 - 介绍了基础的深度Q网络 (DQN) 算法,它通过深度神经网络和经验回放将Q学习应用于高维状态空间。
  • Double Q-learning, Hado van Hasselt, 2010 Advances in Neural Information Processing Systems 23 (NIPS 2010), Vol. 23 (Curran Associates, Inc.) - 介绍了双Q学习算法,通过使用独立的价值估计进行动作选择和评估,减少了过高估计偏差。
  • Deep Reinforcement Learning with Double Q-learning, Hado van Hasselt, Arthur Guez and David Silver, 2016 AAAI Conference on Artificial Intelligence (AAAI) DOI: 10.48550/arXiv.1509.06461 - 提出了双深度Q网络 (DDQN),是双Q学习在深度强化学习中的扩展,专门解决了DQN中存在的过高估计偏差。这是本节的主要参考文献。

© 2026 ApX Machine Learning