趋近智
趋近智
本课程是关于强化学习 (reinforcement learning)与人类反馈 (RLHF) 在大型语言模型对齐 (alignment)方面的高阶课程。内容涵盖RLHF的理论基础和具体实现，包括奖励模型构建、近端策略优化 (PPO) 微调 (fine-tuning)以及数据收集方法。适合具备扎实机器学习 (machine learning)和深度学习 (deep learning)背景的工程师和研究人员。
先修课程 具备高阶机器学习与深度学习知识。
级别:
RLHF流程实现
实现完整的三阶段RLHF流程：监督微调 (SFT)、奖励模型 (RM) 训练和强化学习优化。
奖励模型构建
设计、训练和评估基于人类偏好数据的奖励模型，并理解数据收集与标注。
RLHF中的PPO应用
应用与配置近端策略优化 (PPO) 在RLHF框架内专门用于大型语言模型微调，包括管理KL散度约束。
RLHF高阶方法
分析与应用高阶技术，例如直接偏好优化 (DPO)、奖励模型校准，以及提升训练稳定性的策略。
数据处理
管理人类偏好数据集，理解数据质量的影响，并实现用于RLHF的高效数据处理。
评估方法
评估经过RLHF微调的模型，结合自动化指标与人工评估规程，侧重于对齐方面。