ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

强化学习中级技术
章节 1: 回顾强化学习基本原理
强化学习问题设置
马尔可夫决策过程 (MDP) 回顾
价值函数与贝尔曼方程
表格型求解方法:Q学习和SARSA
表格方法的局限性
第 1 章测验
章节 2: 深度Q网络 (DQN)
函数近似的简介
使用神经网络进行Q值近似
DQN 算法架构
经验回放机制
固定Q目标 (目标网络)
DQN训练的损失函数
动手实践:在CartPole上实现DQN
第 2 章测验
章节 3: DQN的改进与变体
Q-学习中的估值过高问题
双重DQN (DDQN)
对偶网络架构
DQN改进的结合
优先经验回放 (简要概述)
实践:实现双DQN
第 3 章测验
章节 4: 策略梯度方法
基于价值方法的局限性
策略直接参数化
策略梯度定理
REINFORCE 算法
理解策略梯度中的方差
方差减少的基线
动手实践:实现REINFORCE算法
第 4 章测验
章节 5: Actor-Critic 方法
结合策略和价值评估
Actor-Critic 架构概述
优势演员-评论家 (A2C)
异步优势参与者-评价者算法 (A3C)
Actor-Critic 实现的考量
对比:REINFORCE 与 A2C/A3C
实践:开发 A2C 实现
第 5 章测验

章节 3: DQN的改进与变体

尽管深度Q网络(DQN)算法为将神经网络 (neural network)应用于强化学习 (reinforcement learning)任务提供了坚实的基础,但其原始形式仍有改进空间。一个显著的问题是,标准DQN倾向于高估动作值,Q(s,a)Q(s, a)Q(s,a),这有时会导致次优策略和训练过程中的不稳定。

本章将通过引入DQN框架的关键增强措施来解决这些局限性。你将学到:

  • Q学习和标准DQN中Q值高估问题的起因。
  • 双DQN (DDQN) 如何修改更新规则,将动作选择与动作评估分离开来,从而减轻高估偏差。
  • 对偶网络架构的原理,它将状态值函数V(s)V(s)V(s)和动作优势函数A(s,a)A(s, a)A(s,a)的估计区分开来。
  • 这些改进如何结合使用,并对优先经验回放等技术进行简要介绍。

在本章结束时,你将明白这些变体如何在原始DQN的基础上构建,以创建更稳定、更有效的智能体,并且你将练习实现双DQN。

课程章节

  • 3.1 Q-学习中的估值过高问题

  • 3.2 双重DQN (DDQN)

  • 3.3 对偶网络架构

  • 3.4 DQN改进的结合

  • 3.5 优先经验回放 (简要概述)

  • 3.6 实践:实现双DQN

© 2026 ApX Machine Learning