这是“Dyna 架构：学习与规划的结合”一节的内容：
与纯粹的无模型方法相比，基于模型的强化学习 (reinforcement learning)通过学习环境的动态模型，具备更高的样本效率的潜力。然而，仅仅学习模型是不够的；智能体需要一种机制来有效使用这个模型以改进其策略或价值函数。由 Richard Sutton 引入的 Dyna 架构，提供了一个基本框架，用于结合模型学习、直接强化学习（从真实经验中学习）和规划（从模型生成的模拟经验中学习）。
Dyna 理念：并行学习与规划
其核心在于，Dyna 架构交替进行在环境中行动、从产生的真实经验中学习、更新环境模型以及使用模型执行规划步骤。这种并行过程使智能体能够从两种信息源中获益：
- 直接强化学习 (reinforcement learning)： 智能体与实际环境互动，接收一个转移 (s,a,r,s′)，并基于此真实经验直接更新其价值函数或策略。这是标准的无模型学习。
- 模型学习： 相同的真实转移 (s,a,r,s′) 被用于更新智能体的内部环境模型。目标是使由转移函数 Pmodel(s′∣s,a) 和奖励函数 Rmodel(s,a) 构成的模型，更好地近似真实环境动态。
"3. 规划（间接强化学习）： 智能体使用其学习到的模型生成模拟经验。它采样一个先前访问过的状态 s 和在该状态下执行的行动 a，查询模型以预测下一个状态 s′ 和奖励 r，然后使用这个模拟转移 (s,a,r,s′) 执行更新。这使智能体能够“演练”或“思考”过去的经验，并在不需要进一步互动的情况下传播价值信息。"
这构成了 Dyna 架构的基础。规划步骤通过学习模型引导的模拟重放，从每次真实互动中获取更多信息，从而基本上增强了学习过程。
Dyna-Q：一种具体实现
Dyna 架构最知名的实例是 Dyna-Q。它将 Q-学习用于直接强化学习 (reinforcement learning)更新和规划更新，以及一个简单的表格模型用于模型学习（尽管也可以使用函数近似）。
以下是 Dyna-Q 的典型流程：
- 初始化： 初始化 Q 函数 Q(s,a) 和模型 Model(s,a)（例如，存储每个 (s,a) 对观察到的 r,s′）。
- 循环：
a. 行动： 观察当前状态 s。基于 Q(s,⋅) 使用 epsilon-贪婪策略选择行动 a。执行行动 a，观察奖励 r 和下一个状态 s′。
b. 直接强化学习更新： 使用真实经验 (s,a,r,s′) 更新 Q 函数：
Q(s,a)←Q(s,a)+α[r+γmaxa′Q(s′,a′)−Q(s,a)]
c. 模型学习： 将转移 (s,a)→(r,s′) 存储在模型中。如果模型是概率性的或使用函数近似，则基于此转移更新模型参数 (parameter)。对于一个简单的表格确定性模型，这意味着记录在状态 s 执行行动 a 导致了奖励 r 和下一个状态 s′。
d. 规划： 重复 N 次（其中 N 是规划步骤的数量）：
i. 随机采样一个先前观察到的状态 s^ 和在该状态下执行的行动 a^。
ii. 查询模型以获取与 (s^,a^) 相关的预测奖励 r^ 和下一个状态 s^′。
iii. 使用这个模拟经验应用 Q-学习更新：
Q(s^,a^)←Q(s^,a^)+α[r^+γmaxa′Q(s^′,a′)−Q(s^,a^)]
Dyna-Q 过程结合了真实互动、模型学习以及使用从学习模型中获得的模拟互动进行的规划。
规划步骤的数量 N 是一个超参数 (hyperparameter)，它平衡了花在规划上的计算量与真实互动速率。更大的 N 意味着每一步真实操作需要更多计算，但可能在所需真实互动次数方面更快收敛。
优点与考量
"Dyna 架构的主要优点是提高的样本效率。通过使用学习到的模型生成模拟经验，智能体可以基于单次互动执行多次更新，从而更快地在状态-行动空间中传播价值信息。这在互动成本高、耗时或有风险的场景中特别有益。"
然而，Dyna 架构也面临一些挑战：
- 计算成本： 规划阶段增加了每一步的计算开销。如果 N 很大或状态/行动空间很广，规划可能会变得计算密集。
- 模型准确性： 规划的有效性很大程度上取决于学习模型的准确性。如果模型不准确（由于数据不足、非平稳性或难以捕获的随机性），模拟经验可能具有误导性。使用不佳的模型进行规划，可能通过强化不正确的价值估计或策略而损害性能。这通常被称为模型偏差问题。
尽管有这些考量，Dyna-Q 及其变体在结合无模型和基于模型方法优势方面迈出了重要一步。它们提供了一种实际方式，可以运用学习到的模型进行规划，与纯粹的无模型方法相比，通常能显著提升学习速度，特别是在数据稀缺的学习早期阶段。这种交替进行行动、学习和规划的基本思想在现代基于模型的强化学习 (reinforcement learning)研究中仍然具有影响力。
