直接比较 SARSA 和 Q-学习两种算法是很有价值的。它们都是基础的时序差分 (TD) 控制方法，旨在通过估计动作值函数 (Q Q Q 在线策略 算法，而 Q-学习是一种离线策略 算法。
更新规则差异
核心区别在于每种算法如何计算更新中使用的目标值。让我们回顾一下在采取动作 A t A_t A t R t + 1 R_{t+1} R t + 1 S t S_t S t S t + 1 S_{t+1} S t + 1
SARSA 更新：
SARSA 代表 State-Action-Reward-State-Action。这个名称反映了其更新规则，该规则使用在状态 S t + 1 S_{t+1} S t + 1 π \pi π 实际 动作 A t + 1 A_{t+1} A t + 1
Q ( S t , A t ) ← Q ( S t , A t ) + α [ R t + 1 + γ Q ( S t + 1 , A t + 1 ) ⏟ TD 目标 (使用实际的下一个动作 A t + 1 ) − Q ( S t , A t ) ] Q(S_t, A_t) \leftarrow Q(S_t, A_t) + \alpha [ \underbrace{R_{t+1} + \gamma Q(S_{t+1}, A_{t+1})}_{\text{TD 目标 (使用实际的下一个动作 } A_{t+1})} - Q(S_t, A_t) ] Q ( S t , A t ) ← Q ( S t , A t ) + α [ TD 目标 ( 使用实际的下一个动作 A t + 1 ) R t + 1 + γ Q ( S t + 1 , A t + 1 ) − Q ( S t , A t )] 目标值 R t + 1 + γ Q ( S t + 1 , A t + 1 ) R_{t+1} + \gamma Q(S_{t+1}, A_{t+1}) R t + 1 + γ Q ( S t + 1 , A t + 1 ) S t + 1 S_{t+1} S t + 1 和 由当前策略选择的下一个动作 A t + 1 A_{t+1} A t + 1 ϵ \epsilon ϵ S t S_t S t A t A_t A t 此后遵循当前策略 的价值。
Q-学习更新：
另一方面，Q-学习使用下一个状态 S t + 1 S_{t+1} S t + 1 最大 可能的 Q 值来形成其目标，无论实际接下来采取的动作是什么。
Q ( S t , A t ) ← Q ( S t , A t ) + α [ R t + 1 + γ max a Q ( S t + 1 , a ) ⏟ TD 目标 (使用下一个动作的最大 Q 值) − Q ( S t , A t ) ] Q(S_t, A_t) \leftarrow Q(S_t, A_t) + \alpha [ \underbrace{R_{t+1} + \gamma \max_{a} Q(S_{t+1}, a)}_{\text{TD 目标 (使用下一个动作的最大 Q 值)}} - Q(S_t, A_t) ] Q ( S t , A t ) ← Q ( S t , A t ) + α [ TD 目标 ( 使用下一个动作的最大 Q 值 ) R t + 1 + γ a max Q ( S t + 1 , a ) − Q ( S t , A t )] 目标值 R t + 1 + γ max a Q ( S t + 1 , a ) R_{t+1} + \gamma \max_{a} Q(S_{t+1}, a) R t + 1 + γ max a Q ( S t + 1 , a ) S t + 1 S_{t+1} S t + 1 最佳 可能动作的折扣值，根据当前的 Q 值估计。Q-学习学习在状态 S t S_t S t A t A_t A t 此后最优地 (贪婪地) 动作 的价值，即使智能体实际的下一个动作 A t + 1 A_{t+1} A t + 1 ϵ \epsilon ϵ
在线策略与离线策略学习
目标更新的这种差异直接关联到在线策略/离线策略的区别：
SARSA (在线策略)： 学习智能体当前遵循的 策略 π \pi π Q π Q^\pi Q π ϵ \epsilon ϵ ϵ \epsilon ϵ A t + 1 A_{t+1} A t + 1 Q-学习 (离线策略)： 学习最优贪婪 策略的值函数 Q ∗ Q^* Q ∗ ϵ \epsilon ϵ max a Q ( S t + 1 , a ) \max_a Q(S_{t+1}, a) max a Q ( S t + 1 , a )
行为后果
学习行为策略 (SARSA) 的价值与最优策略 (Q-学习) 的价值之间的差异可能导致不同的学习行为，特别是在行为可能存在风险的环境中。
考虑一个类似强化学习 (reinforcement learning)文献中常用的“悬崖行走”问题的场景。智能体需要找到从起点到目标状态的最短路径，但网格中的一个区域 ('悬崖') 如果进入会产生很大的负奖励。
悬崖行走环境中的路径差异。SARSA 倾向于学习一条更安全、可能更长的远离悬崖的路径，因为它考虑了在边缘附近次优行为动作的负面后果。Q-学习学习最短路径，假设最终会采取最优动作，忽略学习过程中使用的行为策略中固有的风险。
因为 SARSA 在其更新中包含实际选择的动作 A t + 1 A_{t+1} A t + 1 max \max max
收敛性
Q-学习： 在标准随机近似条件下收敛到最优动作值函数 Q ∗ Q^* Q ∗ SARSA： 收敛到所遵循的特定策略 π \pi π ϵ \epsilon ϵ Q π Q^\pi Q π ϵ \epsilon ϵ Q ∗ Q^* Q ∗
总结表
特性
SARSA
Q-学习
类型 在线策略 TD 控制
离线策略 TD 控制
更新规则 使用 ( S t , A t , R t + 1 , S t + 1 , A t + 1 ) (S_t, A_t, R_{t+1}, S_{t+1}, A_{t+1}) ( S t , A t , R t + 1 , S t + 1 , A t + 1 )
使用 ( S t , A t , R t + 1 , S t + 1 ) (S_t, A_t, R_{t+1}, S_{t+1}) ( S t , A t , R t + 1 , S t + 1 ) max Q \max Q max Q
目标值 R t + 1 + γ Q ( S t + 1 , A t + 1 ) R_{t+1} + \gamma Q(S_{t+1}, A_{t+1}) R t + 1 + γ Q ( S t + 1 , A t + 1 ) R t + 1 + γ max a Q ( S t + 1 , a ) R_{t+1} + \gamma \max_{a} Q(S_{t+1}, a) R t + 1 + γ max a Q ( S t + 1 , a )
学习内容 行为 策略的价值 (包含行为)最优 (贪婪) 策略的价值
行为方式 更保守，避免有风险的行为
更具进取性，直接学习最优路径
收敛性 收敛到 Q π Q^\pi Q π π \pi π
收敛到 Q ∗ Q^* Q ∗
SARSA 和 Q-学习之间的选择取决于具体的应用场景。如果你需要在特定行为策略下评估或保证性能，或者如果学习过程中的安全性是主要考量 (避免灾难性行为动作)，SARSA 可能更受欢迎。如果主要目的是尽可能高效地找出最优策略，并且学习阶段的性能是次要的，Q-学习通常是更直接的方法，并为许多先进的深度强化学习 (reinforcement learning)算法奠定基础。
