Actor-Critic 实现的考量

这部分内容有帮助吗？

参考文献

Reinforcement Learning: An Introduction, Richard S. Sutton and Andrew G. Barto, 2018 (MIT Press) - 关于强化学习的综合性教材，详细介绍了Actor-Critic方法、策略梯度理论和价值函数近似。
Asynchronous Methods for Deep Reinforcement Learning, Volodymyr Mnih, Adrià Puigdomènech Badia, Mehdi Mirza, Alex Graves, Timothy P. Lillicrap, Tim Harley, David Silver, Koray Kavukcuoglu, 2016 International Conference on Machine Learning (ICML) DOI: 10.48550/arXiv.1602.01783 - 介绍了A3C算法，其特点是异步更新、共享网络架构和熵正则化，适用于深度Actor-Critic智能体。
High-Dimensional Continuous Control Using Generalized Advantage Estimation, John Schulman, Philipp Moritz, Sergey Levine, Michael Jordan, Pieter Abbeel, 2016 International Conference on Learning Representations (ICLR) DOI: 10.48550/arXiv.1506.02438 - 介绍了广义优势估计（GAE），一种在策略梯度方法中减少方差的优势项（$A_t$）估计方法，常用于Actor-Critic。
Proximal Policy Optimization Algorithms, John Schulman, Filip Wolski, Prafulla Dhariwal, Alec Radford, Oleg Klimov, 2017 arXiv preprint DOI: 10.48550/arXiv.1707.06347 - 描述了PPO，一种稳定且广泛采用的策略梯度算法，它使用带有裁剪目标的Actor-Critic架构。