ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

强化学习导论
章节 1: 强化学习基本原理
什么是强化学习?
智能体与环境
状态、动作与奖励
策略:将状态映射到动作
强化学习工作流程:交互循环
强化学习任务类型:回合制与连续制
强化学习与其他学习类型的比较
为强化学习搭建Python环境
第 1 章测验
章节 2: 马尔可夫决策过程 (MDPs)
序贯决策建模
MDP的正式定义
状态转移概率
奖励函数
回报:未来累积奖励
未来奖励的折现
策略与价值函数 (Vπ, Qπ)
寻找最优策略
第 2 章测验
章节 3: 估算值函数
贝尔曼期望方程
贝尔曼最优方程
求解贝尔曼方程 (概述)
动态规划:策略迭代
动态规划:值迭代
动态规划的局限性
第 3 章测验
章节 4: 蒙特卡洛方法
基于完整回合的学习
蒙特卡洛预测:估计 Vπ
蒙特卡洛控制:估算 Qπ
同策略学习与异策略学习对比
无非固定起点MC控制
同策略首次访问蒙特卡洛控制的实现
离策略蒙特卡洛预测与控制简介
实践:实现蒙特卡洛预测
第 4 章测验
章节 5: 时序差分学习
从不完整的回合中学习
TD(0) 预测:估计 Vπ
TD学习相对于蒙特卡洛方法的优势
SARSA:同策略TD控制
Q学习:离策略TD控制
比较 SARSA 与 Q-学习
期望SARSA
动手实践:Q-学习的实现
第 5 章测验
章节 6: 强化学习中的函数逼近
处理大规模状态空间
价值函数近似 (VFA)
状态表示的特征向量
价值函数逼近的线性方法
用于参数学习的梯度下降
半梯度 TD 方法
使用神经网络进行价值函数近似
实践:应用线性价值函数近似
第 6 章测验
章节 7: 深度Q网络(DQN)简介
Q学习与深度学习的结合
强化学习中神经网络的难题
经验回放机制
固定Q目标 (目标网络)
DQN 算法结构
DQN 的网络结构设计考量
动手实践:构建一个基础DQN
第 7 章测验
章节 8: 策略梯度方法简介
直接学习策略
策略梯度定理 (理念)
REINFORCE 算法
降低方差的基线
Actor-Critic 方法概述
对比基于价值和基于策略的方法
实践:实现 REINFORCE
第 8 章测验

MDP的正式定义

强化学习 (reinforcement learning)包含一个智能体随时间与环境互动,学习做出能使累积奖励最大化的决策。为了准确地分析和解决这些问题,我们需要一个精确的数学架构。不确定性下序列决策最常用的架构是马尔可夫决策过程,简称MDP。

一个MDP提供了一种正式方式来描述强化学习问题中的环境。它假设环境满足马尔可夫性质,这意味着未来状态和奖励只取决于当前状态和动作,而不依赖于之前的全部历史。我们很快会再次讨论这个性质。

正式地,一个MDP由一个包含五个组成部分的元组定义:(S,A,P,R,γ)(\mathcal{S}, \mathcal{A}, P, R, \gamma)(S,A,P,R,γ)。让我们分别介绍每个部分:

状态空间 (S\mathcal{S}S)

状态空间 S\mathcal{S}S 是环境可能处于的所有状态的集合。理想情况下,状态 s∈Ss \in \mathcal{S}s∈S 应包含做出最佳决策所需的所有相关环境信息。可以把它看作某个特定时刻的情况快照。

例如,在一个简单的网格游戏中,一个状态可以是智能体的 (x,y)(x, y)(x,y) 坐标。在围棋游戏中,状态会描述棋盘上棋子的布局。状态可以是离散的(如网格游戏示例中,位置数量有限)或连续的(如机械臂的精确关节角度和速度)。状态空间的复杂性和规模显著影响哪些强化学习 (reinforcement learning)算法适用。

A一个重要假设是马尔可夫性质。它表明,转移到下一个状态 s′s's′ 的概率只取决于当前状态 sss 和所采取的动作 aaa,与所有之前的状态和动作无关。数学上,如果 StS_tSt​ 是时间 ttt 的状态,且 AtA_tAt​ 是时间 ttt 的动作:

P(St+1=s′∣St=s,At=a,St−1,At−1,...,S0,A0)=P(St+1=s′∣St=s,At=a)P(S_{t+1} = s' | S_t = s, A_t = a, S_{t-1}, A_{t-1}, ..., S_0, A_0) = P(S_{t+1} = s' | S_t = s, A_t = a)P(St+1​=s′∣St​=s,At​=a,St−1​,At−1​,...,S0​,A0​)=P(St+1​=s′∣St​=s,At​=a)

当前状态 sts_tst​ 被认为包含历史中的所有必要信息。此性质大大简化了建模,因为我们不需要跟踪过去事件的整个序列,只需关注当前状态。

动作空间 (A\mathcal{A}A)

动作空间 A\mathcal{A}A 是智能体可以从中选择的所有可能动作的集合。有时,可用动作的集合取决于当前状态 sss,在这种情况下我们将其表示为 A(s)\mathcal{A}(s)A(s)。动作 a∈Aa \in \mathcal{A}a∈A(或 a∈A(s)a \in \mathcal{A}(s)a∈A(s))是智能体在给定时间步做出的决策。

在我们的网格中,动作可能是 A={上, 下, 左, 右}\mathcal{A} = \{\text{上, 下, 左, 右}\}A={上, 下, 左, 右}。对于控制室温的恒温器,动作可以是 A={加热, 冷却, 关闭}\mathcal{A} = \{\text{加热, 冷却, 关闭}\}A={加热, 冷却, 关闭}。动作与状态一样,可以是离散的(有限的选项集合)或连续的(例如,施加到踏板上的力的大小,用实数表示)。

转移概率函数 (PPP)

转移概率函数 PPP 描述了环境的动态特性,常被称为模型。它指定了在智能体采取动作 aaa 的情况下,从当前状态 sss 转移到下一个可能状态 s′s's′ 的概率。它正式地表示为一个函数 P:S×A×S→[0,1]P: \mathcal{S} \times \mathcal{A} \times \mathcal{S} \rightarrow [0, 1]P:S×A×S→[0,1]:

P(s′∣s,a)=Pr⁡(St+1=s′∣St=s,At=a)P(s' | s, a) = \Pr(S_{t+1} = s' | S_t = s, A_t = a)P(s′∣s,a)=Pr(St+1​=s′∣St​=s,At​=a)

这个函数告诉我们在给定当前状态 (sss) 和所做动作 (aaa) 的情况下,每个潜在结果 s′s's′ 的可能性有多大。由于这些是概率,对于任何起始状态 sss 和动作 aaa,所有可能后继状态 s′s's′ 的和必须等于 1:

∑s′∈SP(s′∣s,a)=1对于所有 s∈S,a∈A(s)\sum_{s' \in \mathcal{S}} P(s' | s, a) = 1 \quad \text{对于所有 } s \in \mathcal{S}, a \in \mathcal{A}(s)s′∈S∑​P(s′∣s,a)=1对于所有 s∈S,a∈A(s)

转移函数描绘了环境的基本规则。如果对于某个特定的 s′s's′,有 P(s′∣s,a)=1P(s' | s, a) = 1P(s′∣s,a)=1,则该 (s,a)(s, a)(s,a) 对的转移是确定性的。更常见的情况是,环境是随机的,这意味着在相同状态下采取相同动作可能以不同概率导致不同结果(例如,机器人移动可能受车轮打滑影响)。

奖励函数 (RRR)

奖励函数 RRR 定义了智能体从环境中获得的即时反馈信号。它量化 (quantization)了转移或状态的期望程度。奖励是标量值,r∈Rr \in \mathbb{R}r∈R。有几种定义奖励函数的常见方式:

  • 基于状态-动作-下一个状态三元组:R(s,a,s′)R(s, a, s')R(s,a,s′)。在时间 t+1t+1t+1 收到的奖励 rt+1r_{t+1}rt+1​ 取决于状态 sts_tst​、动作 ata_tat​ 和结果状态 st+1s_{t+1}st+1​。
  • 基于状态-动作对:R(s,a)R(s, a)R(s,a)。奖励只取决于采取动作时的状态和动作本身。
  • 基于抵达的状态:R(s′)R(s')R(s′)。

一个常用定义给出在当前状态和动作下预期即时奖励:

R(s,a)=E[Rt+1∣St=s,At=a]=∑s′∈SP(s′∣s,a)∑rr⋅p(r∣s,a,s′)R(s, a) = \mathbb{E}[R_{t+1} | S_t = s, A_t = a] = \sum_{s' \in \mathcal{S}} P(s' | s, a) \sum_{r} r \cdot p(r | s, a, s')R(s,a)=E[Rt+1​∣St​=s,At​=a]=s′∈S∑​P(s′∣s,a)r∑​r⋅p(r∣s,a,s′)

其中 p(r∣s,a,s′)p(r | s, a, s')p(r∣s,a,s′) 是通过 aaa 从 sss 转移到 s′s's′ 时获得奖励 rrr 的概率。像 R(s,a,s′)R(s, a, s')R(s,a,s′) 这样的更简单形式也很常见。

奖励函数隐含地规定了强化学习 (reinforcement learning)智能体的目标。智能体学习选择能使时间上的累积奖励最大化的动作,而不仅仅是即时奖励。设计一个有效的奖励函数是应用强化学习的一个重要方面。例如,在游戏中,只在结束时给予奖励(赢+1,输-1)会导致稀疏奖励,这会使学习变慢。提供中间奖励(例如,在国际象棋中捕获对手棋子)可以产生更密集的反馈,但必须谨慎进行,以避免鼓励不理想的短期策略。

折扣因子 (γ\gammaγ)

折扣因子 γ\gammaγ (gamma) 是一个介于0和1之间的值 (0≤γ≤10 \le \gamma \le 10≤γ≤1)。它控制着未来奖励相对于即时奖励的重要性。未来 kkk 个时间步收到的奖励,其价值仅相当于立即收到时价值的 γk\gamma^kγk 倍。

折扣因子有几个作用:

  1. 确保收敛性: 在可能无限运行的任务(持续任务)中,如果奖励有界,折扣确保未来奖励的无限和收敛到一个有限值。这使得目标在数学上可处理。
  2. 模拟偏好: 它允许我们模拟对更快获得奖励的偏好。如果 γ=0\gamma = 0γ=0,智能体只关心即时奖励(它是“短视的”)。如果 γ\gammaγ 接近 1,智能体是“有远见的”,并且几乎将未来奖励与即时奖励同等看待。
  3. 处理不确定性: 折扣可以隐含地考虑未来的不确定性。过程可能会意外终止,使得远期未来奖励的获得变得不那么确定。

智能体的目标通常被表述为最大化预期折扣回报,我们稍后会更正式地定义它。它是未来所获得的折扣奖励的总和。

正式定义马尔可夫决策过程的五个组成部分。

这五个组成部分,S\mathcal{S}S、A\mathcal{A}A、PPP、RRR 和 γ\gammaγ,共同为MDP架构下的序列决策问题提供了完整的描述。它们定义了环境的结构以及强化学习 (reinforcement learning)智能体旨在实现的目标:寻找一种选择动作的策略(一个策略),以最大化预期长期折扣奖励。理解这些组成部分对于掌握我们之后将要讨论的用于解决MDP的算法非常必要。

  • Reinforcement Learning: An Introduction, Richard S. Sutton and Andrew G. Barto, 2018 (A Bradford Book, The MIT Press) - 强化学习领域的经典教材,对马尔可夫决策过程及其五个核心组成部分提供了全面而易懂的定义。
  • Lecture Notes: Reinforcement Learning and Control, Andrew Ng, 2019 (Stanford University) - 在机器学习背景下,对马尔可夫决策过程提供了简洁而严谨的数学介绍。
  • Artificial Intelligence: A Modern Approach, Stuart Russell, Peter Norvig, 2021 (Pearson) - 这本全面的AI教材将马尔可夫决策过程解释为序列决策的正式框架,为其应用提供了广阔的背景。

© 2026 ApX Machine Learning