行为策略的对比与结合

在考察了几种高级行为策略，从不确定性量化到内部驱动之后，一个自然而然的问题浮现：您应该何时使用哪种策略？没有一种方法能适合所有强化学习问题。行为策略的效用很大程度上取决于环境的特点、所采用的具体强化学习算法以及可用的计算资源。本节提供了一项对比分析，以引导您的选择，并讨论了这些策略有时如何结合起来，以获得更优异的成效。

方法对比

让我们分解本章讨论的不同类别的行为策略，并分析它们的优势、劣势和典型使用场景。

1. 基于不确定性的行为策略 (UCB, 汤普森采样)

• 核心理念： 量化价值评估或模型预测中的不确定性，并试行具有高不确定性的动作或状态。“面对不确定性的乐观主义”（UCB）或概率匹配（汤普森采样）。
• 优势：
  • 提供了一种基于统计置信度来平衡行为和利用的原则性方法。
  • 在不确定性能够可靠估计的场景（例如，多臂赌博机、表格型或线性强化学习）中通常非常有效。
  • 汤普森采样在许多问题中经验上表现良好。
• 劣势：
  • 为深度神经网络估算有意义的不确定性具有挑战性，且是一个活跃的研究方向。简单的近似可能无法捕捉真正的认知不确定性。
  • 可能计算密集，特别是需要后验采样（汤普森采样）或复杂奖励计算的方法。
  • UCB 需要仔细调整平衡利用和不确定性奖励的行为系数。
• 典型使用场景： 多臂赌博机问题、上下文多臂赌博机、函数近似允许合理不确定性量化的强化学习问题（例如，贝叶斯神经网络、集成模型）。与新颖性或参数噪声相比，在深度强化学习中作为主要行为驱动因素的使用较少，但其原则为其他方法提供了指导。

2. 基于新颖性/计数的行为策略 (伪计数, RND)

• 核心理念： 鼓励访问不那么熟悉的状态，假设新颖性与发现状态空间中有用部分相关。
• 优势：
• 直观且通常易于实现，特别是对于离散空间的基本计数或哈希。
  • 在奖励稀疏、达到新状态是主要目标的环境中有效（例如，蒙特祖玛的复仇等行为游戏）。
  • 随机网络蒸馏（RND）等技术通过使用针对固定随机网络的预测误差作为新颖性信号，能够很好地应用于高维观测空间（例如图像）。
• 劣势：
  • 简单计数在大型或连续状态空间中失效；需要密度模型（复杂）或特征哈希（可能发生冲突）。
  • 可能被“嘈杂的电视”分散注意力：环境中容易产生高新颖性但与实际任务无关的部分。
  • 行为的质量很大程度上取决于所选的状态表示或密度模型。RND的固定目标网络可能会将高新颖性分配给本质上不可预测但无关紧要的状态特征。
• 典型使用场景： 稀疏奖励任务，状态访问多样化有益的环境，与PPO或DQN等其他强化学习算法结合。RND在复杂观测空间中的深度强化学习中特别受欢迎。

3. 内部驱动 (ICM, 信息增益)

• 核心理念： 基于智能体的学习进展、关于动态的预测误差或从环境中获得的信息来生成内部奖励。
• 优势：
  • 旨在比纯粹的新颖性更具导向性的行为，侧重于智能体认为令人惊讶或有助于了解事物运作方式的方面。
  • ICM对预测动作后果的侧重有助于缓解“嘈杂的电视”问题，如果噪声源不可控。
  • 信息增益方法提供了一种理论上扎根的行为方法，其驱动力是减少关于环境模型的不确定性。
• 劣势：
  • 实现起来可能很复杂，通常需要辅助模型（例如，ICM中的正向和逆向动态模型）。
  • 易受环境随机性影响；预测误差可能源于固有的随机性而非可学习的结构。
  • 调整内部奖励相对于外部奖励的比例非常重要，并且通常需要启发式方法。
  • 精确计算信息增益通常是难以处理的。
• 典型使用场景： 奖励稀疏的复杂环境，理解动态有益的任务，终身学习场景。通常与策略梯度或行动者-评论者方法结合。

4. 参数空间噪声

• 核心理念： 在模拟过程中直接向策略网络的参数添加噪声，以引入行为的随机性，促进试探。
• 优势：
  • 相对于内部驱动或复杂的不确定性方法，实现起来相对简单。
  • 相比简单的动作空间噪声，可以带来更一致的试探，尤其是在对动作幅度敏感的算法（如DDPG）中。噪声的影响在整个回合中持续存在。
  • 可以根据有噪声和无噪声策略输出之间的距离进行在线调整。
• 劣势：
  • 比基于奖励的方法导向性弱；依赖随机参数扰动，期望偶然发现有用的行为。
  • 需要仔细调整噪声尺度和可能的适应方案。
  • 在需要系统发现的非常困难的试探问题中，可能单独不足。
• 典型使用场景： 连续控制任务，通常与DDPG或TD3等确定性策略梯度算法一起使用，作为动作空间噪声（例如，奥恩斯坦-乌伦贝克过程或高斯噪声）的替代或补充。

总结对比图

简要对比了不同类别高级行为策略的主要特点。

结合行为策略

考虑到不同策略在不同条件下表现出色，并针对行为的不同方面（不确定性、新颖性、可预测性），将它们结合起来是一个有前景的方向。目标通常是利用多种方法的优势，从而建立一个更高效的整体行为机制。

以下是行为策略可以结合的几种方式：

1. 附加奖励： 一种常见方法是结合来自不同来源的行为奖励。例如，智能体可能会获得一个内部奖励，它是新颖性奖励（例如，来自RND）和好奇心奖励（例如，来自ICM）的加权和。

   $$R_{\text{内部}} = \beta_1 R_{\text{新颖性}} + \beta_2 R_{\text{好奇心}}$$

   用于学习的总奖励将是 $R_{\text{总计}} = R_{\text{外部}} + R_{\text{内部}}$。找到合适的权重（$\beta_1, \beta_2$）通常需要仔细调整。

2. 混合方法： 一种策略可以提供基本的行为水平，而另一种则提供更具导向性的指导。例如：

   • 使用参数空间噪声或$\epsilon$-贪婪策略来实现通用随机性，辅以添加到智能体目标函数中的内部奖励（例如，在PPO或DQN中）。奖励引导智能体前往感兴趣的区域，而主要方法即使在奖励减少时也能确保一定程度的持续行为。
   • 使用不确定性估计（如果可用）来调节内部奖励的尺度。在价值估计也高度不确定的状态空间部分进行更具好奇心的行为。

3. 定时行为： 训练期间的行为需求通常会改变。智能体最初可能受益于宽泛的、新颖性驱动的行为，待基本环境机制被理解后，再转向更聚焦的利用或好奇心驱动的行为。这可能涉及随时间退火不同行为奖励的系数。

结合中的挑战：

• 调整： 结合方法引入了更多超参数（例如，不同奖励的相对权重），这可能难以有效调整。
• 冲突信号： 不同的行为方法有时可能提供冲突的激励，如果未正确平衡，可能会阻碍学习。
• 复杂度： 实现和调试组合策略增加了代码复杂性和计算开销。

实用指南

选择和调整行为策略通常是一个经验性的过程。以下是一些实际考虑因素：

• 问题类型： 奖励是否稀疏？动态是否复杂或随机？状态空间是否高维？这些问题的答案指导选择。稀疏奖励通常受益于新颖性或内部驱动。高维输入（图像）提示使用RND或ICM等利用学习特征的方法。
• 算法选择： 一些行为方法与某些强化学习算法更自然地结合。参数噪声与DDPG/TD3很契合。基于奖励的方法（新颖性、好奇心）通过修改奖励信号可以轻松添加到基于价值（DQN）或策略梯度（PPO, A2C）方法中。
• 从简单开始： 在实现ICM或信息增益等复杂方法之前，请确保更简单的基线方法（例如，调整良好的$\epsilon$-贪婪策略、基本动作噪声、参数噪声）不足以应对。有时，改进网络架构、超参数或主要强化学习算法可以在无需复杂行为的情况下也能获得显著收益。
• 监测行为指标： 跟踪与您的行为策略相关的指标。对于基于计数的方法，监测状态访问计数或新颖性奖励。对于ICM，跟踪预测误差。这有助于诊断行为是否按预期进行或陷入困境。
• 计算预算： ICM等更复杂的策略或那些需要集成模型进行不确定性估计的策略，在训练期间会产生更高的计算成本。请权衡潜在收益与这些成本。

最终，有效行为在强化学习中仍是一个重大挑战，尤其是在复杂、大规模问题中。理解本章涵盖的高级方法的原则、优势和劣势，将使您能够选择、实施并可能结合策略，以构建能够通过有效发现进行更高效学习的智能体。