ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

大师班

如何构建大语言模型
章节 1: 大型语言模型概论
定义大型语言模型
序列建模的历史背景
规模的重要性
计算方面的挑战概览
软件与硬件环境
章节 2: 大型语言模型的数学预备知识
线性代数回顾:向量与矩阵
微积分回顾:梯度与优化
概率与统计基础知识
数值稳定性考量
本课程中使用的符号表示
章节 3: 回顾序列处理架构
循环神经网络 (RNN) 的基本内容
简单RNN的局限性
长短期记忆(LSTM)网络
门控循环单元 (GRU)
基于RNN的序列到序列模型
章节 4: Transformer 架构
通过注意力机制解决循环问题
缩放点积注意力
多头注意力机制
位置编码方法
编码器与解码器堆叠
层归一化与残差连接的作用
章节 5: 大词汇量分词
子词分词的必要性
字节对编码 (BPE) 算法
WordPiece 分词
SentencePiece 实现
处理特殊分词
词汇量大小选择的权衡
章节 6: 大规模文本数据的获取与收集
确定潜在数据来源
使用 Common Crawl 数据
规模化网页抓取技术
使用开放许可数据集
数据获取的法律考量
章节 7: 数据清洗与预处理流水线
质量筛选策略
文本标准化方法
处理冗余内容与标记删除
近似重复和精确重复检测
语种识别与过滤
构建可扩展的预处理流水线
章节 8: 建立和管理大规模数据集
数据存储格式(文本、Arrow、Parquet)
分布式文件系统 (HDFS, S3)
数据索引用于高效检索
数据集版本管理与复现性
用于训练的流式数据加载器
章节 9: 训练中的数据取样策略
数据配比的重要性
来源权重策略
基于温度的采样
课程学习简介
数据步进与退火调度
章节 10: 从零开始实现Transformer
设置项目环境
实现缩放点积注意力
构建多头注意力层
实现位置感知前馈网络
构建编码器层和解码器层
组装完整的Transformer模型
章节 11: Transformer模型规模化:架构选择
神经网络语言模型的缩放定律
深度与宽度取舍
激活函数选择 (ReLU, GeLU, SwiGLU)
规范化层放置位置(前置LN vs. 后置LN)
稀疏注意力机制简介
章节 12: 深度网络的初始化方法
恰当初始化的重要性
Xavier(Glorot)初始化
Kaiming (何) 初始化
Transformer组件中的初始化
末尾层的小初始化
章节 13: 位置编码的变体
绝对位置编码的局限性
相对位置编码的原理
Shaw 等人的相对位置实现
Transformer-XL 相对位置编码
旋转位置编码 (RoPE)
章节 14: 高级架构改进
参数高效微调的需求
Transformer的适配器模块
专家混合模型 (MoE) 简介
MoE 中的路由机制
MoE 层中的负载均衡
章节 15: 分布式训练策略
动机:为什么要进行分布式训练?
数据并行 (DP)
张量并行 (TP)
流水线并行 (PP)
混合并行策略 (DP+TP, DP+PP等)
通信开销分析
章节 16: 实现分布式训练框架
分布式训练库概述
DeepSpeed 介绍
使用 DeepSpeed ZeRO 优化
Megatron-LM 介绍
配置 Megatron-LM 中的张量和流水线并行
结合框架与策略
章节 17: LLMs的优化算法
梯度下降算法变体回顾 (SGD, 动量)
自适应优化器:Adam和AdamW
学习率调度策略
梯度裁剪方法
选择优化器超参数 (lr, betas, eps, weight_decay)
章节 18: 大型语言模型训练的硬件考量
GPU 架构 (NVIDIA Ampere, Hopper)
TPU 架构(Google TPU)
内存需求(HBM、GPU显存)
互连技术 (NVLink, InfiniBand)
硬件选择的权衡 (成本、性能、可用性)
章节 19: 检查点和容错
长时间训练中检查点的必要性
保存模型状态(权重、优化器状态)
处理分布式检查点
异步检查点与同步检查点
检查点频率与存储管理
从检查点恢复训练
章节 20: 混合精度训练方法
浮点数格式(FP32、FP16、BF16)简介
低精度的好处(速度、内存)
FP16训练中的挑战(范围问题)
损失缩放技术
使用 BF16 (BFloat16) 格式
框架对混合精度(AMP)的支持
章节 21: 内在评估指标
语言模型评估方法
困惑度:定义与计算
理解困惑度得分
每字符/词比特数
分词对困惑度的影响
章节 22: 下游任务外部评估
下游任务评估的理由
常见下游自然语言处理任务
评估时的微调步骤
标准基准:GLUE 和 SuperGLUE
少量示例和零示例评估
开发定制评估任务
章节 23: 分析模型行为
解读大型语言模型的难题
注意力图可视化
探查内部表示
神经元激活分析
找出失效模式
章节 24: 识别与应对训练不稳定现象
不稳定性常见表现
监控训练指标(损失、梯度范数)
诊断损失飙升
调试数值精度问题
稳定方法回顾(梯度裁剪、学习率、预热)
架构选择对稳定性的影响
章节 25: 对齐微调:监督式微调 (SFT)
大型语言模型对齐的目标
监督微调(SFT)介绍
构建高质量指令数据集
SFT数据格式(提示词,回应)
SFT训练过程与超参数
评估SFT模型对齐目标
章节 26: 人类反馈强化学习 (RLHF)
RLHF 流程概述
收集人类偏好数据
训练奖励模型 (RM)
近端策略优化 (PPO) 介绍
RL PPO 微调
KL散度惩罚的作用
RLHF中的挑战与考量
替代方法:直接偏好优化 (DPO)
章节 27: 模型压缩技术
模型压缩的动因
权重量化 (INT8, INT4)
激活量化考量
网络剪枝(结构化与非结构化)
知识蒸馏
评估性能与压缩的权衡
章节 28: 高效推理策略
自回归解码中的挑战
键值(KV)缓存
优化的注意力实现 (FlashAttention)
吞吐量批处理策略
推测解码
章节 29: 大规模部署大型语言模型
LLM 交互的 API 设计
模型服务框架 (Triton, TorchServe)
处理并发请求
跨模型实例的负载均衡
监控服务性能和成本
章节 30: 持续训练与模型更新
持续改进的缘由
持续预训练策略
持续微调(SFT/RLHF)的策略
安全地整合新数据源
模型架构变动后的更新
版本管理、部署与回滚策略

替代方法:直接偏好优化 (DPO)

尽管使用近端策略优化 (PPO) 的人类反馈强化学习 (reinforcement learning) (RLHF) 在使语言模型与人类偏好保持一致方面已被证明有效,但此过程可能复杂且有时不稳定。它通常包含多个阶段:监督微调 (fine-tuning) (SFT)、基于人类偏好数据训练一个独立的奖励模型 (RM),然后使用由 RM 指导的强化学习对 SFT 模型进行微调。这种多阶段流程引入了多个超参数 (parameter) (hyperparameter)和潜在的失败点,特别是在强化学习阶段,该阶段对实现细节敏感,且容易出现奖励作弊等问题。

直接偏好优化 (DPO) 提供了一种更简化的偏好对齐 (alignment)方法,绕过了显式奖励模型训练的需求,并彻底避免了强化学习的复杂性。DPO 使用一个简单的分类目标,直接基于偏好数据优化语言模型。

DPO 的核心思路源于 RLHF 寻求的最优策略与潜在(隐式)奖励函数之间的数学关系。回想一下,标准奖励建模通常使用 Bradley-Terry 模型,将提示 xxx 的成对偏好 (yw,yl)(y_w, y_l)(yw​,yl​)(其中 ywy_wyw​ 优于 yly_lyl​)与潜在奖励函数 rrr 关联起来:

P(yw≻yl∣x)=σ(r(x,yw)−r(x,yl))P(y_w \succ y_l | x) = \sigma(r(x, y_w) - r(x, y_l))P(yw​≻yl​∣x)=σ(r(x,yw​)−r(x,yl​))

此处,σ\sigmaσ 是 logistic 函数。RLHF 的目标是找到一个策略 πRL\pi_{RL}πRL​,在使预期奖励 E[r(x,y)]E[r(x, y)]E[r(x,y)] 最大化的同时,通过 KL 散度惩罚,保持与参考策略 πref\pi_{ref}πref​(通常是 SFT 模型)的接近度:

max⁡πRLE(x,y)∼πRL[r(x,y)]−βDKL(πRL(y∣x)∣∣πref(y∣x))\max_{\pi_{RL}} E_{(x,y) \sim \pi_{RL}}[r(x, y)] - \beta D_{KL}(\pi_{RL}(y|x) || \pi_{ref}(y|x))maxπRL​​E(x,y)∼πRL​​[r(x,y)]−βDKL​(πRL​(y∣x)∣∣πref​(y∣x))

DPO 使用此约束优化问题的解析解。可以证明,最优策略 πRL\pi_{RL}πRL​ 具有以下形式:

πRL(y∣x)=1Z(x)πref(y∣x)exp⁡(1βr(x,y))\pi_{RL}(y|x) = \frac{1}{Z(x)} \pi_{ref}(y|x) \exp\left(\frac{1}{\beta} r(x, y)\right)πRL​(y∣x)=Z(x)1​πref​(y∣x)exp(β1​r(x,y))

其中 Z(x)Z(x)Z(x) 是一个配分函数,确保概率和为一。此方程连接了最优策略、参考策略和奖励函数。通过将此关系代回 Bradley-Terry 偏好模型,可以消除奖励函数 r(x,y)r(x, y)r(x,y),直接用策略表示偏好概率:

P(yw≻yl∣x)=σ(βlog⁡πRL(yw∣x)πref(yw∣x)−βlog⁡πRL(yl∣x)πref(yl∣x))P(y_w \succ y_l | x) = \sigma\left( \beta \log \frac{\pi_{RL}(y_w|x)}{\pi_{ref}(y_w|x)} - \beta \log \frac{\pi_{RL}(y_l|x)}{\pi_{ref}(y_l|x)} \right)P(yw​≻yl​∣x)=σ(βlogπref​(yw​∣x)πRL​(yw​∣x)​−βlogπref​(yl​∣x)πRL​(yl​∣x)​)

DPO 直接训练语言模型 πθ\pi_\thetaπθ​ 来满足此偏好模型,其中 πθ\pi_\thetaπθ​ 代替了未知的最优策略 πRL\pi_{RL}πRL​。其目标是最大化在此模型下观测到的人类偏好的对数似然。这从而得到 DPO 损失函数 (loss function):

LDPO(πθ;πref)=−E(x,yw,yl)∼D[log⁡σ(βlog⁡πθ(yw∣x)πref(yw∣x)−βlog⁡πθ(yl∣x)πref(yl∣x))]\mathcal{L}_{DPO}(\pi_\theta; \pi_{ref}) = - E_{(x, y_w, y_l) \sim \mathcal{D}} \left[ \log \sigma \left( \beta \log \frac{\pi_\theta(y_w|x)}{\pi_{ref}(y_w|x)} - \beta \log \frac{\pi_\theta(y_l|x)}{\pi_{ref}(y_l|x)} \right) \right]LDPO​(πθ​;πref​)=−E(x,yw​,yl​)∼D​[logσ(βlogπref​(yw​∣x)πθ​(yw​∣x)​−βlogπref​(yl​∣x)πθ​(yl​∣x)​)]

此处,D\mathcal{D}D 是偏好三元组 (x,yw,yl)(x, y_w, y_l)(x,yw​,yl​) 的数据集,πθ\pi_\thetaπθ​ 是正在优化的语言模型,πref\pi_{ref}πref​ 是冻结的参考 SFT 模型,β\betaβ 是一个超参数,它隐式控制优化策略 πθ\pi_\thetaπθ​ 与参考策略 πref\pi_{ref}πref​ 的偏离程度。更高的 β\betaβ 会赋予偏好数据更大的权重 (weight),可能导致更大的偏离。

实现和使用

实现 DPO 比 RLHF 显著更简单。它需要:

  1. 一个偏好数据集 D={(xi,yw,i,yl,i)}\mathcal{D} = \{(x_i, y_{w,i}, y_{l,i})\}D={(xi​,yw,i​,yl,i​)}。
  2. 一个基础 SFT 模型作为参考策略 πref\pi_{ref}πref​。此模型的权重 (weight)在 DPO 训练期间保持冻结。
  3. SFT 模型的一个副本 πθ\pi_\thetaπθ​,其权重将被更新。

训练循环涉及标准监督学习 (supervised learning):

  • 从 D\mathcal{D}D 中采样一批偏好三元组 (x,yw,yl)(x, y_w, y_l)(x,yw​,yl​)。
  • 计算当前模型 πθ\pi_\thetaπθ​ 和参考模型 πref\pi_{ref}πref​ 下,选中 (ywy_wyw​) 和拒绝 (yly_lyl​) 响应的对数概率。
  • 使用这些对数概率计算 DPO 损失 LDPO\mathcal{L}_{DPO}LDPO​。
  • 执行反向传播 (backpropagation)并使用 AdamW 等优化器更新 πθ\pi_\thetaπθ​ 的权重。

下面是一个 PyTorch 代码片段,用于在训练步骤中计算 DPO 损失的核心部分,假设您已获得对数概率:

import torch
import torch.nn.functional as F

# 假设 log_probs_policy 和 log_probs_ref 包含对数概率
# 形状: (batch_size,),适用于选中 (w) 和拒绝 (l) 响应
# log_probs_policy_w, log_probs_policy_l: 来自正在
#                                         训练的模型 (pi_theta) 的对数概率
# log_probs_ref_w, log_probs_ref_l: 来自冻结的参考
#                                   模型 (pi_ref) 的对数概率
# beta: 超参数(例如 0.1)

def dpo_loss(log_probs_policy_w, log_probs_policy_l,
             log_probs_ref_w, log_probs_ref_l, beta):
    """计算一批偏好的 DPO 损失。"""

    # 计算对数比率
    log_ratio_w = log_probs_policy_w - log_probs_ref_w
    log_ratio_l = log_probs_policy_l - log_probs_ref_l

    # 对数比率差值乘以 beta
    diff_scaled = beta * (log_ratio_w - log_ratio_l)

    # 使用 logistic sigmoid 计算损失
    loss = -F.logsigmoid(diff_scaled)

    # 对批次内的损失取平均
    return loss.mean()

# 在训练循环中的示例用法
# batch = get_preference_batch()
# # (提示, 选中响应, 拒绝响应)
# outputs_policy = policy_model(prompts,
#                               chosen_responses,
#                               rejected_responses)
# with torch.no_grad():
#     outputs_ref = ref_model(prompts,
#                             chosen_responses,
#                             rejected_responses)
#
# # 提取对数概率(细节取决于模型实现)
# log_probs_policy_w = get_log_probs(outputs_policy, chosen_responses)
# log_probs_policy_l = get_log_probs(outputs_policy, rejected_responses)
# log_probs_ref_w = get_log_probs(outputs_ref, chosen_responses)
# log_probs_ref_l = get_log_probs(outputs_ref, rejected_responses)
#
# loss = dpo_loss(log_probs_policy_w, log_probs_policy_l,
#                 log_probs_ref_w, log_probs_ref_l, beta=0.1)
# loss.backward()
# optimizer.step()

优点和缺点

优点:

  • 简洁性: DPO 在 SFT 之后只需要一个训练阶段,无需进行奖励模型拟合和复杂的强化学习 (reinforcement learning)算法。
  • 稳定性: 它避免了 RLHF 中 PPO 经常遇到的优化不稳定问题,例如对 KL 散度系数和奖励缩放的敏感性。
  • 效率: 它通常比基于 PPO 的 RLHF 计算成本更低,因为它在训练期间不需要从策略中采样生成内容,也不需要训练独立的奖励模型。

缺点:

  • 性能: 尽管 DPO 通常能达到与 RLHF 可比的结果,但与精心调优的 PPO 流程相比,有时可能表现不佳,特别是在潜在的奖励信号复杂或有噪声的情况下。
  • 超参数 (parameter) (hyperparameter)调优: 超参数 β\betaβ 仍然需要仔细调优,类似于 PPO 中的 KL 系数。
  • 数据要求: 类似于 RLHF,DPO 依赖于高质量的偏好数据集。

总之,DPO 为标准 RLHF 流程提供了一种更简单的替代方案。其稳定性及易于实现使其成为一个有吸引力的选择,尤其是在计算资源或强化学习专业知识有限的情况下,它能有效地使语言模型与人类偏好保持一致。这代表了使大型语言模型更具帮助性、诚实性和无害性的过程中的显著简化。

  • Deep Reinforcement Learning from Human Preferences, Paul Christiano, Jan Leike, Tom B. Brown, Miljan Martic, Shane Legg, Dario Amodei, 2017 Advances in Neural Information Processing Systems 30 (NeurIPS 2017) DOI: 10.48550/arXiv.1706.03741 - 提出从人类偏好中学习奖励函数以训练强化学习智能体的基础论文。
  • DPO (Direct Preference Optimization), Hugging Face, 2024 (Hugging Face) - 提供使用Hugging Face TRL库实现DPO的实用信息和代码示例。

© 2026 ApX Machine Learning