ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

高级强化学习技术
章节 1: 基础重温与函数近似
马尔可夫决策过程表述回顾
贝尔曼方程与最优性条件
价值迭代与策略迭代
时序差分学习方法
策略梯度方法入门
强化学习中的函数逼近
离策略学习中的致命三元组
章节 2: 深度Q网络及其改进
线性函数近似的局限性
深度Q网络 (DQN) 算法
经验回放机制
用于训练稳定性的目标网络
双重深度Q网络 (DDQN)
对偶网络架构
优先经验回放 (PER)
分布强化学习原理
Rainbow DQN 集成
DQN变体实现动手实践
章节 3: 高级策略梯度与 Actor-Critic 方法
基本策略梯度面临的挑战
行动者-评论者架构基本原理
降低方差的基线
优势 Actor-Critic (A2C) 和 A3C
广义优势估计 (GAE)
深度确定性策略梯度 (DDPG)
信任区域策略优化 (TRPO)
近端策略优化 (PPO)
软演员-评论家 (SAC)
演员-评论家方法实现实践
章节 4: 进阶搜寻策略
再谈试错-利用权衡
不确定性下的乐观主义:UCB 方法
概率匹配:汤普森采样
参数空间噪声用于行为多样性
伪计数:基于计数的寻访方法
预测误差作为好奇心:内生激励
状态新颖性:随机网络蒸馏 (RND)
信息增益在行动引导中的应用
行为策略的对比与结合
寻优策略实施实践
章节 5: 基于模型的强化学习
基于模型的强化学习的理由
基于模型方法的分类
学习环境动态模型
Dyna 架构:学习与规划的结合
使用已学习模型进行规划:轨迹采样
蒙特卡洛树搜索(MCTS)基本原理
将MCTS与习得模型整合
模型预测控制 (MPC) 的关联
挑战:模型准确性与计算成本
简单基于模型的智能体实践
章节 6: 多智能体强化学习
多智能体系统介绍
MARL问题表述:随机博弈
集中式与分布式控制
挑战:非静态性问题
独立学习者 (IQL, IDDPG)
参数共享方法
集中式训练与去中心化执行 (CTDE)
价值分解方法 (VDN, QMIX)
多智能体深度确定性策略梯度 (MADDPG)
多智能体强化学习中的通信协议
MARL实现实践
章节 7: 离线强化学习
离线强化学习(批处理强化学习)简介
离线强化学习与在线及离策略强化学习的区别
挑战:分布偏移
离策略评估在离线设置中
重要性采样及其局限性
拟合Q迭代(FQI)方法
策略约束方法
批处理约束深度Q学习 (BCQ)
值函数正则化方法
保守Q学习 (CQL)
离线强化学习实现方面的考量
离线强化学习算法实践
章节 8: 实现细节与优化
强化学习中的神经网络架构
超参数调整策略
动作空间与观测空间表示
强化学习项目的代码结构
软件框架与库
分布式强化学习方法
深度强化学习的可复现性
调试与可视化技术
性能优化与硬件考量
智能体调试与调优实践

章节 6: 多智能体强化学习

许多顺序决策问题都包含多个彼此影响的智能体,从机器人团队和自动驾驶车辆,到经济建模和博弈游戏。单智能体强化学习 (reinforcement learning)方法在这些情况下往往力有不逮,因为每个智能体的最佳策略都依赖于其他智能体的行为。本章将介绍多智能体强化学习(MARL),把强化学习的原则推广到多个智能体的环境中。

我们将首先对多智能体问题进行形式化,通常使用随机博弈(或马尔可夫博弈)的框架。多智能体强化学习中的一个主要难题是非平稳性:从任何单个智能体的角度来看,当其他智能体调整其策略时,环境动态会发生变化。我们将研究解决这些及其他挑战的不同方法,对比集中式训练方法与分布式执行策略(CTDE)。

你将学习到:

  • 多智能体强化学习独有的基本挑战,主要是非平稳性。
  • 不同的多智能体强化学习模式,如独立学习、参数 (parameter)共享和 CTDE。
  • 针对合作任务设计的具体算法,例如价值分解网络(VDN)和 QMIX。
  • 适用于混合合作-竞争场景的算法,例如多智能体深度确定性策略梯度(MADDPG)。
  • 与智能体通信相关的内容。

到本章结束时,你将理解多智能体强化学习的核心问题,并熟悉几种用于训练多个彼此影响的智能体的常用算法。

课程章节

  • 6.1 多智能体系统介绍

  • 6.2 MARL问题表述:随机博弈

  • 6.3 集中式与分布式控制

  • 6.4 挑战:非静态性问题

  • 6.5 独立学习者 (IQL, IDDPG)

  • 6.6 参数共享方法

  • 6.7 集中式训练与去中心化执行 (CTDE)

  • 6.8 价值分解方法 (VDN, QMIX)

  • 6.9 多智能体深度确定性策略梯度 (MADDPG)

  • 6.10 多智能体强化学习中的通信协议

  • 6.11 MARL实现实践

© 2026 ApX Machine Learning