趋近智
强化学习中级技术
章节 1: 回顾强化学习基本原理
强化学习问题设置
马尔可夫决策过程 (MDP) 回顾
价值函数与贝尔曼方程
表格型求解方法：Q学习和SARSA
表格方法的局限性
章节 2: 深度Q网络 (DQN)
函数近似的简介
使用神经网络进行Q值近似
DQN 算法架构
经验回放机制
固定Q目标 (目标网络)
DQN训练的损失函数
动手实践：在CartPole上实现DQN
章节 3: DQN的改进与变体
Q-学习中的估值过高问题
双重DQN (DDQN)
对偶网络架构
DQN改进的结合
优先经验回放 (简要概述)
实践：实现双DQN
章节 4: 策略梯度方法
基于价值方法的局限性
策略直接参数化
策略梯度定理
REINFORCE 算法
理解策略梯度中的方差
方差减少的基线
动手实践：实现REINFORCE算法
章节 5: Actor-Critic 方法
结合策略和价值评估
Actor-Critic 架构概述
优势演员-评论家 (A2C)
异步优势参与者-评价者算法 (A3C)
Actor-Critic 实现的考量
对比：REINFORCE 与 A2C/A3C
实践：开发 A2C 实现
基于价值方法的局限性
这部分内容有帮助吗？
- Reinforcement Learning: An Introduction, Richard S. Sutton and Andrew G. Barto, 2018 (The MIT Press) - 一本基础教材，涵盖了基于价值和策略梯度的强化学习方法，阐述了它们的原理以及策略梯度方法在处理连续动作空间和学习随机策略等场景中的优势。
- Continuous Control with Deep Reinforcement Learning, Timothy P. Lillicrap, Jonathan J. Hunt, Alexander Pritzel, Nicolas Heess, Tom Erez, Yuval Tassa, David Silver, Daan Wierstra, 2015 International Conference on Learning Representations (ICLR) DOI: 10.48550/arXiv.1509.02971 - 介绍了深度确定性策略梯度（DDPG），一种专门为连续动作空间设计的算法，直接解决了传统基于价值方法（如DQN）的一个重要局限性。
- Proximal Policy Optimization Algorithms, John Schulman, Filip Wolski, Prafulla Dhariwal, Alec Radford, and Oleg Klimov, 2017 DOI: 10.48550/arXiv.1707.06347 - 提出了近端策略优化（PPO），一种广泛使用且稳健的策略梯度算法，以其在各种连续和离散控制任务中的表现而闻名，展示了直接策略优化的有效性。