趋近智
强化学习中级技术
章节 1: 回顾强化学习基本原理
强化学习问题设置
马尔可夫决策过程 (MDP) 回顾
价值函数与贝尔曼方程
表格型求解方法：Q学习和SARSA
表格方法的局限性
章节 2: 深度Q网络 (DQN)
函数近似的简介
使用神经网络进行Q值近似
DQN 算法架构
经验回放机制
固定Q目标 (目标网络)
DQN训练的损失函数
动手实践：在CartPole上实现DQN
章节 3: DQN的改进与变体
Q-学习中的估值过高问题
双重DQN (DDQN)
对偶网络架构
DQN改进的结合
优先经验回放 (简要概述)
实践：实现双DQN
章节 4: 策略梯度方法
基于价值方法的局限性
策略直接参数化
策略梯度定理
REINFORCE 算法
理解策略梯度中的方差
方差减少的基线
动手实践：实现REINFORCE算法
章节 5: Actor-Critic 方法
结合策略和价值评估
Actor-Critic 架构概述
优势演员-评论家 (A2C)
异步优势参与者-评价者算法 (A3C)
Actor-Critic 实现的考量
对比：REINFORCE 与 A2C/A3C
实践：开发 A2C 实现
Actor-Critic 架构概述
这部分内容有帮助吗？
- Reinforcement Learning: An Introduction, Richard S. Sutton and Andrew G. Barto, 2018 (MIT Press) - 涵盖强化学习基本概念的综合性教科书，包括价值函数、策略梯度和Actor-Critic方法。
- Policy Gradient Methods for Reinforcement Learning with Function Approximation, Richard S. Sutton, David A. McAllester, Satinder P. Singh, and Yishay Mansour, 2000 Advances in Neural Information Processing Systems, Vol. 13 - 介绍了策略梯度定理，为Actor-Critic算法中更新Actor策略参数提供了理论基础。
- Asynchronous Methods for Deep Reinforcement Learning, Volodymyr Mnih, Adrià Puigdomènech Badia, Mehdi Mirza, Alex Graves, Timothy P. Lillicrap, Tim Harley, David Silver, Koray Kavukcuoglu, 2016 International Conference on Machine Learning (ICML) DOI: 10.48550/arXiv.1602.01783 - 提出了A3C，这是一种重要的深度Actor-Critic算法，有效实现了描述的架构，并在多种环境中展现了其效率。