ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

强化学习导论
章节 1: 强化学习基本原理
什么是强化学习?
智能体与环境
状态、动作与奖励
策略:将状态映射到动作
强化学习工作流程:交互循环
强化学习任务类型:回合制与连续制
强化学习与其他学习类型的比较
为强化学习搭建Python环境
第 1 章测验
章节 2: 马尔可夫决策过程 (MDPs)
序贯决策建模
MDP的正式定义
状态转移概率
奖励函数
回报:未来累积奖励
未来奖励的折现
策略与价值函数 (Vπ, Qπ)
寻找最优策略
第 2 章测验
章节 3: 估算值函数
贝尔曼期望方程
贝尔曼最优方程
求解贝尔曼方程 (概述)
动态规划:策略迭代
动态规划:值迭代
动态规划的局限性
第 3 章测验
章节 4: 蒙特卡洛方法
基于完整回合的学习
蒙特卡洛预测:估计 Vπ
蒙特卡洛控制:估算 Qπ
同策略学习与异策略学习对比
无非固定起点MC控制
同策略首次访问蒙特卡洛控制的实现
离策略蒙特卡洛预测与控制简介
实践:实现蒙特卡洛预测
第 4 章测验
章节 5: 时序差分学习
从不完整的回合中学习
TD(0) 预测:估计 Vπ
TD学习相对于蒙特卡洛方法的优势
SARSA:同策略TD控制
Q学习:离策略TD控制
比较 SARSA 与 Q-学习
期望SARSA
动手实践:Q-学习的实现
第 5 章测验
章节 6: 强化学习中的函数逼近
处理大规模状态空间
价值函数近似 (VFA)
状态表示的特征向量
价值函数逼近的线性方法
用于参数学习的梯度下降
半梯度 TD 方法
使用神经网络进行价值函数近似
实践:应用线性价值函数近似
第 6 章测验
章节 7: 深度Q网络(DQN)简介
Q学习与深度学习的结合
强化学习中神经网络的难题
经验回放机制
固定Q目标 (目标网络)
DQN 算法结构
DQN 的网络结构设计考量
动手实践:构建一个基础DQN
第 7 章测验
章节 8: 策略梯度方法简介
直接学习策略
策略梯度定理 (理念)
REINFORCE 算法
降低方差的基线
Actor-Critic 方法概述
对比基于价值和基于策略的方法
实践:实现 REINFORCE
第 8 章测验

奖励函数

在确立了状态、动作以及环境动态(转移概率)的思想后,我们现在来看看在马尔可夫决策过程中定义目标的组成部分:奖励函数。

可以将奖励函数视为我们向学习智能体传达目标的方式。在每次互动步骤中,当智能体在状态 sts_tst​ 执行动作 ata_tat​ 且环境转移到新状态 st+1s_{t+1}st+1​ 后,环境会提供一个数值奖励信号 rt+1r_{t+1}rt+1​。这个信号表明从任务目标来看,该特定转移是好是坏。

正式地说,奖励函数 RRR 明确了这种即时反馈。它可能根据奖励所依赖的信息呈现不同形式:

  1. 状态、动作和下一状态: 最常见形式是 R(s,a,s′)R(s, a, s')R(s,a,s′),其中奖励取决于起始状态 sss、所采取的动作 aaa 以及结果状态 s′s's′。在状态 sss 采取动作 aaa 的预期奖励可以表示为: r(s,a)=E[Rt+1∣St=s,At=a]=∑s′P(s′∣s,a)R(s,a,s′)r(s, a) = \mathbb{E}[R_{t+1} | S_t = s, A_t = a] = \sum_{s'} P(s'|s, a) R(s, a, s')r(s,a)=E[Rt+1​∣St​=s,At​=a]=∑s′​P(s′∣s,a)R(s,a,s′) 这里,Rt+1R_{t+1}Rt+1​ 是代表时间 t+1t+1t+1 奖励的随机变量,而 P(s′∣s,a)P(s'|s, a)P(s′∣s,a) 是我们之前讨论过的状态转移概率。

  2. 状态和动作: 通常,奖励会被简化,只取决于状态 sss 和所采取的动作 aaa,表示为 R(s,a)R(s, a)R(s,a)。

  3. 仅状态: 在某些情况下,特别是基于目标的任务中,奖励可能只取决于达到特定状态,表示为 R(s′)R(s')R(s′)。例如,达到目标状态获得大的正奖励,否则为零。

奖励函数是强化学习 (reinforcement learning)的核心,因为它隐式地界定了智能体应努力达成的目标。智能体的目标不一定是最大化即时奖励 rt+1r_{t+1}rt+1​,而是最大化随时间累积的奖励,我们之前将其定义为回报 (GtG_tGt​)。折现因子 γ\gammaγ 在此发挥重要作用,它在计算回报时平衡了即时奖励与未来奖励的重要性。

环境在智能体于状态 sts_tst​ 采取动作 ata_tat​ 后,会提供奖励 rt+1r_{t+1}rt+1​ 以及下一状态 st+1s_{t+1}st+1​。这个奖励信号是智能体学习合意策略的主要反馈。

奖励函数设计

明确奖励函数是一种奖励工程。这是我们将高层目标转化为智能体可用于学习的具体信号的方式。这并不总是直截了当的:

  • 稀疏奖励: 在许多问题中,奖励在大多数步骤可能为零,只有在达到终止状态时才出现非零奖励(例如,赢得或输掉游戏)。由于反馈不频繁,稀疏奖励会使学习速度减慢。
    • 示例: 国际象棋:将军(将死)+1,被将军(将死)-1,其他所有移动为0。
  • 密集奖励: 提供较小、更频繁的奖励可以更有效地引导智能体。然而,设计不当的密集奖励可能导致智能体出现意外行为,即智能体优化的是中间奖励而非真实目标。
    • 示例: 机器人走迷宫:到达目标+10,每走一步-0.1(鼓励寻找更短路径),撞墙-5。

奖励假设是强化学习 (reinforcement learning)中的一个基本观点:它提出所有目标和意图都可以表示为所接收标量信号(奖励)累积和的期望值最大化。因此,正确设置奖励函数对于强化学习的成功极为重要。它必须准确反映任务的实际目标。如果奖励函数激励了与您真正期望不同的行为,智能体很可能会学会那种非预期的行为。

在继续讨论智能体如何实际使用这些奖励(以及状态转移)来评估策略并找到最佳行为方式之前,理解奖励函数是十分必要的。奖励信号、环境动态与智能体策略之间的作用是马尔可夫决策过程中学习过程的中心。

  • Reinforcement Learning: An Introduction, Richard S. Sutton and Andrew G. Barto, 2018 (MIT Press) - 这是强化学习领域的权威教材,全面阐述了马尔可夫决策过程以及奖励函数在定义智能体目标方面的基础作用。
  • CS234: Reinforcement Learning, Emma Brunskill, 2025 (Stanford University) - 这门大学课程提供了结构化且最新的强化学习学术入门,包括对奖励函数等马尔可夫决策过程组成部分的清晰解释。
  • Reward Shaping in Reinforcement Learning: A Survey, Yilin Weng and Yifei Li and Kaibing Zhang and Xinyi Chen and Lei Yu and Li Gu, 2023 arXiv preprint arXiv:2307.03746 DOI: 10.48550/arXiv.2307.03746 - 这篇综述讨论了设计有效奖励函数的技术,例如奖励整形,这对于缓解稀疏奖励等挑战并引导智能体行为非常有用。

© 2026 ApX Machine Learning