提升RLHF中的样本效率

典型的RLHF流程，尤其是PPO阶段，通常需要在在线环境下生成大量数据。策略模型对提示生成回应，这些回应由奖励模型评分，这种经验（提示、回应、奖励、KL散度项）用于更新策略。这个循环会重复多次。尽管有效，但这种在线生成和评估可能计算量大且耗时，尤其对于大型模型。此外，用于训练奖励模型的核心人工偏好数据获取成本很高。提升样本效率意味着从现有数据中获得更多价值，或减少RL优化阶段所需的新数据量。

有几种方法旨在使RLHF更具样本效率：

离线强化学习 (reinforcement learning)方法

离线RL方法不完全依赖于PPO期间新生成的在线数据，而是尝试直接从固定、预先收集好的数据集中学习。在RLHF的背景下，这个数据集可能包含：

1. 原始的人工偏好数据集（选择/拒绝的回应对）。
2. SFT阶段生成的数据。
3. 可能是RLHF运行早期迭代中生成的数据。

离线RL中的主要难题是分布偏移。训练中的策略可能会学着偏向于在静态数据集中根据奖励模型看起来不错、但在该数据集中却很少见或从未出现过的行动（token序列）。部署后，这样的策略在实际遇到或后续在线交互中出现的分布上可能表现不佳。

适用于离线RL的算法通常会加入约束或正则化 (regularization)项来缓解这个问题。它们旨在让学习到的策略接近行为策略（生成离线数据的策略）。例子包括：

• 保守Q学习 (CQL)： 修改Q学习目标，惩罚数据集分布外行为的高Q值，鼓励策略坚持与数据中观察到的行为相似的行动。
• 隐式Q学习 (IQL)： 使用分位数回归隐式学习Q函数和价值函数，这在离线环境中可能更有效。

将这些方法应用于RLHF需要使其适应序列生成以及RLHF的特定目标（在KL散度约束下最大化奖励）。其目的是更直接地使用昂贵的偏好数据集进行策略优化，有可能减少对大量在线PPO生成的需求。直接偏好优化 (DPO)，在另一节讨论过，通过直接对偏好对进行优化，完全避免了在线RL循环，从而在理念上有一些相似之处。

典型的在线RLHF（如PPO）与离线RL方法的数据流比较图。在线RL持续生成新经验，而离线RL从固定数据集中学习。

经验回放

受离策略RL（如DQN）中成功方法的启发，经验回放涉及将过去的经验存储在缓冲区中，并从该缓冲区采样批次以执行多次梯度更新。在RLHF的标准PPO中，在一个迭代中生成的经验通常只用于该迭代内的更新，之后就会被丢弃（或只进行非常有限的回放）。

将经验回放应用于RLHF意味着将诸如 (prompt, generated_sequence, reward_score, log_probs_old_policy) 的元组存储在回放缓冲区中。在策略更新期间，会从该缓冲区中采样批次。

益处：

• 提高数据使用率： 每个生成的经验可以贡献于多次梯度步骤，从昂贵的生成和奖励评分过程中提取更多学习信号。
• 可能加快收敛： 相比于纯粹的同策略更新，数据复用可能会加快学习速度。

挑战：

• 离策略修正： PPO本质上是一种同策略算法。使用旧策略生成的数据（离策略数据）需要重要性采样修正，这已是PPO目标的一部分（概率比 $r_t(\theta) = \frac{\pi_\theta(a_t|s_t)}{\pi_{\theta_{old}}(a_t|s_t)}$）。然而，使用来自显著更旧策略的数据会增加方差和不稳定性。KL散度约束也有助于控制当前策略与生成策略之间的差异。
• 缓冲区管理： 确定缓冲区大小、采样策略（例如均匀采样与优先级回放）以及何时丢弃旧数据需要仔细考虑。
• 过时的价值估计： 基于旧数据的价值函数估计对当前策略来说可能不够准确。

像TRL这样的库通常在其PPO训练器中提供配置，允许在同一批收集到的数据上进行多个PPO训练周期，这在每个在线数据收集阶段起到了有限经验回放的作用。

参数 (parameter)高效微调 (fine-tuning) (PEFT)

虽然PEFT技术并未直接减少RL意义上所需的样本（交互）数量，但它显著提高了处理每个样本的效率。像低秩适应 (LoRA)、前缀微调或适配器这样的方法会冻结大型语言模型的大部分参数，并且只训练少量额外或修改的参数。

对RLHF效率的影响：

• 降低计算成本： 训练更新速度大幅提升，因为梯度只需计算并应用于总参数的一小部分。
• 更低的内存需求： 优化器状态和梯度所需的内存显著减少，从而可以在性能较低的硬件上进行训练或使用更大的批次大小。
• 更快的实验周期： 每个更新周期的成本降低，使得迭代和超参数 (hyperparameter)调整更快。

通过使RLHF流程的每个步骤（尤其是PPO更新）更便宜、更快，PEFT间接有助于提高整体效率。它让研究人员和工程师在给定的时间和预算限制内执行更多RL训练步骤，有效地在单位资源下完成更多优化，这通常意味着使用现有数据可以获得更好的结果。在现代RLHF实现中，结合使用Hugging Face的peft和trl等库来集成PEFT方法是一种常见做法。

数据增强

另一种方法涉及增强现有的偏好或SFT数据集。这可能包括：

• 复述提示或回应。
• 使用回译等技术。
• 生成与原始分布相似的合成提示。

目的是增加训练数据的多样性和规模，而无需新的人工标注。然而，增强数据的质量很重要。糟糕的增强可能会引入噪声或不必要的偏差，可能损害模型性能或对齐 (alignment)效果。

权衡与考量

提升样本效率通常涉及权衡：

• 离线RL： 降低了在线生成成本，但引入了处理分布偏移的复杂性，可能需要专用算法。最终策略可能过于保守。
• 经验回放： 增加了数据复用，但可能引入方差，并需要仔细的缓冲区管理和离策略修正机制的调整。
• PEFT： 显著降低了每步计算成本，但与完全微调 (fine-tuning)相比，可能导致略有不同的收敛特性。PEFT方法增加的表示能力需要足以胜任任务。
• 数据增强： 可以廉价地扩充数据集，但如果操作不慎，则有引入噪声或偏差的风险。

选择正确的方法取决于RLHF流程的具体限制（计算预算、数据可用性）和目标。通常，多种方法的结合，例如在PPO训练期间使用PEFT并对每批数据进行多次更新周期，在性能和效率之间提供了实用平衡。