趋近智
强化学习中级技术
章节 1: 回顾强化学习基本原理
强化学习问题设置
马尔可夫决策过程 (MDP) 回顾
价值函数与贝尔曼方程
表格型求解方法：Q学习和SARSA
表格方法的局限性
章节 2: 深度Q网络 (DQN)
函数近似的简介
使用神经网络进行Q值近似
DQN 算法架构
经验回放机制
固定Q目标 (目标网络)
DQN训练的损失函数
动手实践：在CartPole上实现DQN
章节 3: DQN的改进与变体
Q-学习中的估值过高问题
双重DQN (DDQN)
对偶网络架构
DQN改进的结合
优先经验回放 (简要概述)
实践：实现双DQN
章节 4: 策略梯度方法
基于价值方法的局限性
策略直接参数化
策略梯度定理
REINFORCE 算法
理解策略梯度中的方差
方差减少的基线
动手实践：实现REINFORCE算法
章节 5: Actor-Critic 方法
结合策略和价值评估
Actor-Critic 架构概述
优势演员-评论家 (A2C)
异步优势参与者-评价者算法 (A3C)
Actor-Critic 实现的考量
对比：REINFORCE 与 A2C/A3C
实践：开发 A2C 实现
对比：REINFORCE 与 A2C/A3C
这部分内容有帮助吗？
- Reinforcement Learning: An Introduction, Richard S. Sutton and Andrew G. Barto, 2018 (The MIT Press) - 涵盖强化学习基础算法的综合性教材，包括蒙特卡洛方法、TD学习、策略梯度和Actor-Critic方法。
- Asynchronous Methods for Deep Reinforcement Learning, Volodymyr Mnih, Adrià Puigdomènech Badia, Mehdi Mirza, Alex Graves, Timothy P. Lillicrap, Timothy Harley, David Silver, Koray Kavukcuoglu, 2016 Proceedings of the 33rd International Conference on Machine Learning (ICML), Vol. 48 (PMLR) DOI: 10.48550/arXiv.1602.01783 - 介绍了异步优势Actor-Critic (A3C) 及其同步变体 (A2C)，展示了它们在深度强化学习任务中的有效性。