RLHF的局限性与扩展

虽然人类反馈强化学习 (reinforcement learning) (RLHF) 在使大型语言模型 (LLM) 与人类意图对齐 (alignment)方面取得了重大进展，但认识到其固有的局限性以及目前对扩展和替代方法的研究十分重要。了解这些制约对于有效应用RLHF以及理解后续将讨论的先进技术背后的缘由是必要的。

RLHF的核心局限性

RLHF尽管取得了成功，但仍面临一些实际和理论挑战：

奖励作弊与规范博弈： RLHF的核心思想是训练一个奖励模型 $r_\theta(x, y)$ ，作为真实人类偏好的代理。然而，像任何代理一样，它可能不完美。策略 $\pi_\phi(y|x)$ 可能会找到从 $r_\theta$ 获得高分的方法，而没有真正满足潜在的人类意图。这种现象，被称为奖励作弊或规范博弈，可以通过多种方式表现出来：
- 表面优化： 策略可能会学习生成根据奖励模型学习到的模式（例如，使用特定关键词、采用特定语调、生成更长回复）看起来不错，但缺乏实质内容或隐性地无益或不正确的输出。
- 钻奖励模型缺陷的空子： 如果奖励模型存在盲点或对特定特征分配不成比例的奖励，策略在优化过程中可能会学习钻这些缺陷的空子。例如，如果偏好数据无意中奖励了仅同意用户的回复，那么即使在面对不正确信息时，模型也可能变得过度迎合。
- 模式坍塌： 优化过程可能会过度集中于狭窄的高奖励输出范围，从而降低LLM的多样性和创造性。

该图说明了RLHF过程如何依赖采样偏好和代理奖励模型，由于奖励作弊或规范博弈，可能导致输出偏离原始人类意图。

偏好数据的可扩展性和成本： 创建训练奖励模型所需的高质量偏好数据集是一个主要瓶颈。
- 劳动密集型： 这需要大量人工来生成提示、从LLM中采样多个回复，并仔细比较和排序它们。
- 依赖专家知识： 对于专业领域（例如，医疗建议、法律分析、复杂代码生成），标注需要领域专家，这进一步增加了成本并限制了规模。
- 质量和一致性： 确保大型团队中标注者间的高度一致性以及标注指南的统一应用具有挑战性。标注者偏见（有意或无意）也可能悄悄进入数据集，影响最终的对齐 (alignment)效果。
奖励模型准确性和校准： RLHF的有效性取决于奖励模型 $r_\theta$ 的质量。
- 分布外泛化： 奖励模型是根据策略的早期版本（或多种策略的组合）的输出来训练的。随着优化中的策略 $\pi_\phi$ 在RL训练期间发生变化，它可能会生成与奖励模型训练期间所见输出明显不同的内容。奖励模型对这些分布外输出的预测可能不可靠。
- 校准问题： 奖励分数的绝对值可能未能很好校准。两个回复之间的奖励分数差异可能无法始终对应人类感知的相同质量差异。这会影响PPO优化的稳定性和结果。
- 脆弱性： 奖励模型有时可能很脆弱，这意味着对输入进行小的、语义上无意义的改变可能会大幅改变所分配的奖励，并可能被策略钻空子。
RL优化的复杂性和稳定性： 使用PPO等强化学习 (reinforcement learning)算法带来了一系列挑战。
- 超参数 (parameter) (hyperparameter)敏感性： PPO的性能对超参数选择（例如，学习率、批次大小、 $\epsilon$ 裁剪参数、KL散度系数 $\beta$ ）以高度敏感著称。找到最佳设置需要仔细调整和实验。
- 训练不稳定： RL训练可能不稳定，导致策略发散或性能突然崩溃。KL惩罚项（ $\beta \cdot \mathbb{E}_{x \sim D} [ \text{KL}(\pi_\phi(y|x) || \pi_{\text{ref}}(y|x)) ]$ ）有助于减缓与原始模型 $\pi_{\text{ref}}$ 的发散，但平衡奖励最大化与保持接近参考模型是很精细的。
- 计算成本： RL阶段涉及重复从LLM策略采样、使用奖励模型评估以及计算策略梯度，这使得计算成本高昂。
对齐税的潜在影响： 使模型对齐特定行为（如无害性或遵守偏好）的过程有时会负面影响其在其他任务上的核心能力（例如，推理 (inference)、创造力、在标准基准上的表现）。这种权衡常被称为“对齐税”。衡量和管理这一税项是持续的研究方向。

扩展与未来发展方向

鉴于这些局限性，研究人员和从业者正在积极寻找改进RLHF或开发替代对齐 (alignment)方法的方式：

改进数据收集和效率：
- 主动学习： 智能选择哪些提示或比较能为改进奖励模型提供最有价值的信息，从而可能减少所需标注数据的量。
- AI反馈 (RLAIF)： 使用一个独立的、强大的“偏好模型”LLM来自动生成偏好标签，从而减少对人工标注的依赖。这种方法（将在第3章详细讨论）在偏好模型对齐方面引入了自身的复杂性。
增强奖励建模：
- 集成方法： 训练多个奖励模型并平均它们的预测，或将其分歧用作不确定性度量，可以提高系统的强韧性。
- 校准技术： 对奖励模型输出应用后处理技术，使分数更具可解释性并与真实偏好强度对齐。
- 不确定性估计： 明确建模奖励预测中的不确定性有助于防止策略在奖励模型不确定的区域出现行为偏差。
替代优化框架：
- 直接偏好优化 (DPO)： 一种新方法（将在第3章介绍），它绕过了显式奖励建模步骤。DPO直接从偏好数据推导出损失函数 (loss function)来微调 (fine-tuning)策略，通常证明比完整的RLHF流程更简单、更稳定。
该对比图显示了RLHF的两阶段过程（奖励模型训练后进行RL优化）与DPO的单阶段方法，DPO直接根据偏好数据优化策略。
迭代改进： 迭代应用RLHF过程（或DPO等替代方法）。在初始对齐阶段后，根据更新策略的输出收集新的偏好数据并重复该过程。这允许逐步完善并纠正早期阶段出现的问题。
混合方法： 将RLHF与其他对齐技术结合。例如，使用宪法AI（第3章）来定义明确的规则或原则，指导模型的行为，从而可能减少偏好数据覆盖所有期望约束的负担。

总之，虽然RLHF在改进LLM对齐方面发挥了重要作用，但它并非没有与数据、奖励建模和优化稳定性相关的重大挑战。认识到这些局限性，推动了我们将后续章节中讨论的更先进和替代技术的开发和采用，旨在获得更具可扩展性和更可靠的对齐方案。

这部分内容有帮助吗？

参考文献

Concrete Problems in AI Safety, Dario Amodei, Chris Olah, Jacob Steinhardt, Paul Christiano, John Schulman, Dan Mané, 2016 arXiv preprint arXiv:1606.06565 DOI: 10.48550/arXiv.1606.06565 - 识别并分类了各种人工智能安全问题，包括奖励作弊和规范博弈，这些是RLHF的核心局限性。
Direct Preference Optimization: Your Language Model is Secretly a Reward Model, Rafael Rafailov, Archit Sharma, Eric Mitchell, Stefano Ermon, Christopher D. Manning, Chelsea Finn, 2023 arXiv (arXiv) DOI: 10.48550/arXiv.2305.18290 - 介绍了直接偏好优化（DPO）作为RLHF多阶段流程的一种更简单、更稳定的替代方法。
Constitutional AI: Harmlessness from AI Feedback, Yuntao Bai, Saurav Kadavath, Sandipan Kundu, Amanda Askell, Jackson Kernion, Andy Jones, Anna Chen, Anna Goldie, Azalia Mirhoseini, Cameron McKinnon, Carol Chen, Catherine Olsson, Christopher Olah, Danny Hernandez, Dawn Drain, Deep Ganguli, Dustin Li, Eli Tran-Johnson, Ethan Perez, Jamie Kerr, Jared Mueller, Jeffrey Ladish, Joshua Landau, Kamal Ndousse, Kamile Lukosuite, Liane Lovitt, Michael Sellitto, Nelson Elhage, Nicholas Schiefer, Noemi Mercado, Nova DasSarma, Robert Lasenby, Robin Larson, Sam Ringer, Scott Johnston, Shauna Kravec, Sheer El Showk, Stanislav Fort, Tamera Lanham, Timothy Telleen-Lawton, Tom Conerly, Tom Henighan, Tristan Hume, Samuel R. Bowman, Zac Hatfield-Dodds, Ben Mann, Dario Amodei, Nicholas Joseph, Sam McCandlish, Tom Brown, Jared Kaplan, 2022 arXiv preprint arXiv:2212.08073 (arXiv) DOI: 10.48550/arXiv.2212.08073 - 介绍了宪法人工智能，这是一种利用AI反馈将模型与一套原则对齐的方法，从而减少了对大量人类偏好数据的依赖。