ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

强化学习导论
章节 1: 强化学习基本原理
什么是强化学习?
智能体与环境
状态、动作与奖励
策略:将状态映射到动作
强化学习工作流程:交互循环
强化学习任务类型:回合制与连续制
强化学习与其他学习类型的比较
为强化学习搭建Python环境
第 1 章测验
章节 2: 马尔可夫决策过程 (MDPs)
序贯决策建模
MDP的正式定义
状态转移概率
奖励函数
回报:未来累积奖励
未来奖励的折现
策略与价值函数 (Vπ, Qπ)
寻找最优策略
第 2 章测验
章节 3: 估算值函数
贝尔曼期望方程
贝尔曼最优方程
求解贝尔曼方程 (概述)
动态规划:策略迭代
动态规划:值迭代
动态规划的局限性
第 3 章测验
章节 4: 蒙特卡洛方法
基于完整回合的学习
蒙特卡洛预测:估计 Vπ
蒙特卡洛控制:估算 Qπ
同策略学习与异策略学习对比
无非固定起点MC控制
同策略首次访问蒙特卡洛控制的实现
离策略蒙特卡洛预测与控制简介
实践:实现蒙特卡洛预测
第 4 章测验
章节 5: 时序差分学习
从不完整的回合中学习
TD(0) 预测:估计 Vπ
TD学习相对于蒙特卡洛方法的优势
SARSA:同策略TD控制
Q学习:离策略TD控制
比较 SARSA 与 Q-学习
期望SARSA
动手实践:Q-学习的实现
第 5 章测验
章节 6: 强化学习中的函数逼近
处理大规模状态空间
价值函数近似 (VFA)
状态表示的特征向量
价值函数逼近的线性方法
用于参数学习的梯度下降
半梯度 TD 方法
使用神经网络进行价值函数近似
实践:应用线性价值函数近似
第 6 章测验
章节 7: 深度Q网络(DQN)简介
Q学习与深度学习的结合
强化学习中神经网络的难题
经验回放机制
固定Q目标 (目标网络)
DQN 算法结构
DQN 的网络结构设计考量
动手实践:构建一个基础DQN
第 7 章测验
章节 8: 策略梯度方法简介
直接学习策略
策略梯度定理 (理念)
REINFORCE 算法
降低方差的基线
Actor-Critic 方法概述
对比基于价值和基于策略的方法
实践:实现 REINFORCE
第 8 章测验

Actor-Critic 方法概述

尽管像 REINFORCE 这样的策略梯度方法允许我们直接优化策略,但它们在梯度估计中通常存在较大的方差。这是因为它们通常依赖于蒙特卡洛回报 GtG_tGt​,即从时间步 ttt 到回合结束的总累积奖励。回合后期单个高或低的奖励,会显著影响更早采取的动作的估计价值,使学习过程噪声大且缓慢。

Actor-Critic 方法提供了一种减小这种方差的方式,同时保留了策略梯度的优点。它们代表一种混合方式,结合了基于策略的方法(如 REINFORCE)和基于价值的方法(如 Q-learning 或 SARSA)的元素。

其核心结构中,一个 Actor-Critic 架构包含两个不同的组成部分,通常作为独立的神经网络 (neural network)或函数逼近器实现:

  1. 行动者: 该组成部分负责学习和执行策略。它接收当前状态 sss 作为输入,并输出动作的概率分布(对于离散动作空间)或分布的参数 (parameter)(对于连续动作空间)。行动者本质上是我们想要优化的参数化策略 πθ(a∣s)\pi_\theta(a|s)πθ​(a∣s)。其目标是学习使期望回报最大化的参数 θ\thetaθ。

  2. 评论者: 该组成部分估计一个价值函数,通常是状态价值函数 V(s)V(s)V(s) 或动作价值函数 Q(s,a)Q(s,a)Q(s,a)。它接收状态信息(可能还有动作信息)作为输入,并输出处于该状态或在该状态下采取该动作的价值估计。评论者的作用是评估行动者所采取的动作,就其质量提供反馈。它学习自己的一组参数,通常表示为 www,用于价值函数逼近器(例如,Vw(s)V_w(s)Vw​(s) 或 Qw(s,a)Q_w(s,a)Qw​(s,a))。

它们如何一同工作

行动者和评论者同步学习,与环境和彼此进行交互。一个典型的交互循环如下所示:

  1. 行动者执行动作: 给定当前状态 StS_tSt​,行动者根据其当前策略 πθ(At∣St)\pi_\theta(A_t|S_t)πθ​(At​∣St​) 选择动作 AtA_tAt​。
  2. 环境响应: 智能体在环境中执行动作 AtA_tAt​,接收到下一个状态 St+1S_{t+1}St+1​ 和奖励 Rt+1R_{t+1}Rt+1​。
  3. 评论者评估: 评论者使用观察到的转移 (St,At,Rt+1,St+1)(S_t, A_t, R_{t+1}, S_{t+1})(St​,At​,Rt+1​,St+1​) 来评估行动者的动作。一种常见的方式是计算时间差分 (TD) 误差,它衡量估计价值与观察到的奖励加上下一个状态的折扣价值之间的差值:
    • 如果使用状态价值函数 Vw(s)V_w(s)Vw​(s): δt=Rt+1+γVw(St+1)−Vw(St)\delta_t = R_{t+1} + \gamma V_w(S_{t+1}) - V_w(S_t)δt​=Rt+1​+γVw​(St+1​)−Vw​(St​)
    • 如果使用动作价值函数 Qw(s,a)Q_w(s, a)Qw​(s,a): δt=Rt+1+γQw(St+1,At+1)−Qw(St,At)\delta_t = R_{t+1} + \gamma Q_w(S_{t+1}, A_{t+1}) - Q_w(S_t, A_t)δt​=Rt+1​+γQw​(St+1​,At+1​)−Qw​(St​,At​) (At+1A_{t+1}At+1​ 的选择依据行动者的策略,或根据评论者的 Q 值导出,具体取决于特定算法的变体)。 TD 误差 δt\delta_tδt​ 提供了一个信号,表明在状态 StS_tSt​ 中采取动作 AtA_tAt​ 的结果是否比评论者当前价值估计所预期的要好 (δt>0\delta_t > 0δt​>0) 或差 (δt<0\delta_t < 0δt​<0)。
  4. 更新:
    • 评论者更新: 评论者更新其参数 (parameter) www 以提高其价值估计,通常使用 TD 学习规则来最小化 TD 误差。对于 Vw(St)V_w(S_t)Vw​(St​),更新可能看起来像 w←w+αCδt∇wVw(St)w \leftarrow w + \alpha_C \delta_t \nabla_w V_w(S_t)w←w+αC​δt​∇w​Vw​(St​),其中 αC\alpha_CαC​ 是评论者的学习率。
    • 行动者更新: 行动者根据评论者的评估更新其策略参数 θ\thetaθ。更新方向旨在增加导致好于预期结果(正 TD 误差)的动作的概率,并降低导致差于预期结果(负 TD 误差)的动作的概率。更新通常采取与策略梯度定理相关联的形式,但使用 TD 误差 δt\delta_tδt​ 而不是完整的总回报 GtG_tGt​: θ←θ+αAδt∇θlog⁡πθ(At∣St)\theta \leftarrow \theta + \alpha_A \delta_t \nabla_\theta \log \pi_\theta(A_t|S_t)θ←θ+αA​δt​∇θ​logπθ​(At​∣St​) 这里,αA\alpha_AαA​ 是行动者的学习率。请注意评论者的评估 δt\delta_tδt​ 如何直接调节策略更新。

Actor-Critic 架构中的基本交互循环。行动者选择动作,评论者使用来自环境的信息评估它们,两个组成部分都根据此评估更新其参数。

相较于 REINFORCE 的优点

Actor-Critic 方法相较于像 REINFORCE 这样的基本策略梯度方法,其主要优点是方差减小。通过使用 TD 误差 δt\delta_tδt​(其仅取决于下一个奖励 Rt+1R_{t+1}Rt+1​ 和下一个状态 St+1S_{t+1}St+1​ 的估计价值)而不是完整的蒙特卡洛回报 GtG_tGt​,更新变得噪声较小。评论者提供了一个更稳定的、在训练期间自适应的学习基准。这通常会带来更快、更稳定的收敛。

此外,由于它们依赖于 TD 更新,Actor-Critic 方法可以进行在线学习(每一步之后更新),并且可以更自然地应用于持续性任务(没有明确结束的任务)。

Actor-Critic 方法是许多高级强化学习 (reinforcement learning)算法的根本。本次概述介绍了基本思想,存在多种变体,它们在价值函数估计方式、更新执行方式以及行动者和评论者网络结构上有所不同(例如,优势Actor-Critic (A2C),异步优势Actor-Critic (A3C),深度确定性策略梯度 (DDPG))。然而,核心思想保持不变:使用评论者学习一个价值函数,该函数提供低方差反馈以指导行动者的策略更新。

  • Reinforcement Learning: An Introduction, Richard S. Sutton and Andrew G. Barto, 2018 (MIT Press) - 这本教科书是对强化学习的权威介绍,全面涵盖了包括REINFORCE在内的策略梯度方法,并详细解释了Actor-Critic算法及其优势。
  • Asynchronous Methods for Deep Reinforcement Learning, Volodymyr Mnih, Adrià Puigdomènech Badia, Mehdi Mirza, Alex Graves, Timothy P. Lillicrap, Tim Harley, David Silver, Koray Kavukcuoglu, 2016 ICML 2016 DOI: 10.48550/arXiv.1602.01783 - 这篇论文介绍了A3C,一种影响深远的深度强化学习算法,它利用异步并行智能体高效训练Actor-Critic模型,展示了一种实用且可扩展的方法。
  • Actor-Critic Algorithms, Vijay R. Konda, John N. Tsitsiklis, 1999 Advances in Neural Information Processing Systems, Vol. 12 (MIT Press) - 一篇基础论文,提供了Actor-Critic算法的早期理论处理,通过形式化其结构和收敛特性,为后续发展奠定了基础。
  • Reinforcement Learning Lecture 6: Policy Gradient Methods, David Silver, 2015 (University College London (UCL)) - 这份来自知名强化学习课程的讲座提供了策略梯度方法的出色概念性概述,并介绍了Actor-Critic作为减少方差和稳定学习的关键技术。

© 2026 ApX Machine Learning