ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

大师班

如何构建大语言模型
章节 1: 大型语言模型概论
定义大型语言模型
序列建模的历史背景
规模的重要性
计算方面的挑战概览
软件与硬件环境
章节 2: 大型语言模型的数学预备知识
线性代数回顾:向量与矩阵
微积分回顾:梯度与优化
概率与统计基础知识
数值稳定性考量
本课程中使用的符号表示
章节 3: 回顾序列处理架构
循环神经网络 (RNN) 的基本内容
简单RNN的局限性
长短期记忆(LSTM)网络
门控循环单元 (GRU)
基于RNN的序列到序列模型
章节 4: Transformer 架构
通过注意力机制解决循环问题
缩放点积注意力
多头注意力机制
位置编码方法
编码器与解码器堆叠
层归一化与残差连接的作用
章节 5: 大词汇量分词
子词分词的必要性
字节对编码 (BPE) 算法
WordPiece 分词
SentencePiece 实现
处理特殊分词
词汇量大小选择的权衡
章节 6: 大规模文本数据的获取与收集
确定潜在数据来源
使用 Common Crawl 数据
规模化网页抓取技术
使用开放许可数据集
数据获取的法律考量
章节 7: 数据清洗与预处理流水线
质量筛选策略
文本标准化方法
处理冗余内容与标记删除
近似重复和精确重复检测
语种识别与过滤
构建可扩展的预处理流水线
章节 8: 建立和管理大规模数据集
数据存储格式(文本、Arrow、Parquet)
分布式文件系统 (HDFS, S3)
数据索引用于高效检索
数据集版本管理与复现性
用于训练的流式数据加载器
章节 9: 训练中的数据取样策略
数据配比的重要性
来源权重策略
基于温度的采样
课程学习简介
数据步进与退火调度
章节 10: 从零开始实现Transformer
设置项目环境
实现缩放点积注意力
构建多头注意力层
实现位置感知前馈网络
构建编码器层和解码器层
组装完整的Transformer模型
章节 11: Transformer模型规模化:架构选择
神经网络语言模型的缩放定律
深度与宽度取舍
激活函数选择 (ReLU, GeLU, SwiGLU)
规范化层放置位置(前置LN vs. 后置LN)
稀疏注意力机制简介
章节 12: 深度网络的初始化方法
恰当初始化的重要性
Xavier(Glorot)初始化
Kaiming (何) 初始化
Transformer组件中的初始化
末尾层的小初始化
章节 13: 位置编码的变体
绝对位置编码的局限性
相对位置编码的原理
Shaw 等人的相对位置实现
Transformer-XL 相对位置编码
旋转位置编码 (RoPE)
章节 14: 高级架构改进
参数高效微调的需求
Transformer的适配器模块
专家混合模型 (MoE) 简介
MoE 中的路由机制
MoE 层中的负载均衡
章节 15: 分布式训练策略
动机:为什么要进行分布式训练?
数据并行 (DP)
张量并行 (TP)
流水线并行 (PP)
混合并行策略 (DP+TP, DP+PP等)
通信开销分析
章节 16: 实现分布式训练框架
分布式训练库概述
DeepSpeed 介绍
使用 DeepSpeed ZeRO 优化
Megatron-LM 介绍
配置 Megatron-LM 中的张量和流水线并行
结合框架与策略
章节 17: LLMs的优化算法
梯度下降算法变体回顾 (SGD, 动量)
自适应优化器:Adam和AdamW
学习率调度策略
梯度裁剪方法
选择优化器超参数 (lr, betas, eps, weight_decay)
章节 18: 大型语言模型训练的硬件考量
GPU 架构 (NVIDIA Ampere, Hopper)
TPU 架构(Google TPU)
内存需求(HBM、GPU显存)
互连技术 (NVLink, InfiniBand)
硬件选择的权衡 (成本、性能、可用性)
章节 19: 检查点和容错
长时间训练中检查点的必要性
保存模型状态(权重、优化器状态)
处理分布式检查点
异步检查点与同步检查点
检查点频率与存储管理
从检查点恢复训练
章节 20: 混合精度训练方法
浮点数格式(FP32、FP16、BF16)简介
低精度的好处(速度、内存)
FP16训练中的挑战(范围问题)
损失缩放技术
使用 BF16 (BFloat16) 格式
框架对混合精度(AMP)的支持
章节 21: 内在评估指标
语言模型评估方法
困惑度:定义与计算
理解困惑度得分
每字符/词比特数
分词对困惑度的影响
章节 22: 下游任务外部评估
下游任务评估的理由
常见下游自然语言处理任务
评估时的微调步骤
标准基准:GLUE 和 SuperGLUE
少量示例和零示例评估
开发定制评估任务
章节 23: 分析模型行为
解读大型语言模型的难题
注意力图可视化
探查内部表示
神经元激活分析
找出失效模式
章节 24: 识别与应对训练不稳定现象
不稳定性常见表现
监控训练指标(损失、梯度范数)
诊断损失飙升
调试数值精度问题
稳定方法回顾(梯度裁剪、学习率、预热)
架构选择对稳定性的影响
章节 25: 对齐微调:监督式微调 (SFT)
大型语言模型对齐的目标
监督微调(SFT)介绍
构建高质量指令数据集
SFT数据格式(提示词,回应)
SFT训练过程与超参数
评估SFT模型对齐目标
章节 26: 人类反馈强化学习 (RLHF)
RLHF 流程概述
收集人类偏好数据
训练奖励模型 (RM)
近端策略优化 (PPO) 介绍
RL PPO 微调
KL散度惩罚的作用
RLHF中的挑战与考量
替代方法:直接偏好优化 (DPO)
章节 27: 模型压缩技术
模型压缩的动因
权重量化 (INT8, INT4)
激活量化考量
网络剪枝(结构化与非结构化)
知识蒸馏
评估性能与压缩的权衡
章节 28: 高效推理策略
自回归解码中的挑战
键值(KV)缓存
优化的注意力实现 (FlashAttention)
吞吐量批处理策略
推测解码
章节 29: 大规模部署大型语言模型
LLM 交互的 API 设计
模型服务框架 (Triton, TorchServe)
处理并发请求
跨模型实例的负载均衡
监控服务性能和成本
章节 30: 持续训练与模型更新
持续改进的缘由
持续预训练策略
持续微调(SFT/RLHF)的策略
安全地整合新数据源
模型架构变动后的更新
版本管理、部署与回滚策略

梯度裁剪方法

训练大型神经网络 (neural network),特别是多层Transformer模型,有时会造成数值不稳定。一个常见的问题是“梯度爆炸”现象,即在反向传播 (backpropagation)时,梯度的数值变得过大。这可能导致模型参数 (parameter)进行巨大的更新,可能引发发散(即损失值飙升至无穷大或NaN——非数字)或阻止收敛的震荡。这种不稳定在多层网络中,或在使用某些激活函数 (activation function)或初始化方案时,可能尤其常见,即便使用了层归一化 (normalization)等方法。由于低精度格式的数值范围有限,在混合精度训练(第20章讨论)中,这种情况也可能加剧。

梯度裁剪是一种直接而有效的方法,它通过限制梯度的大小来缓解这个问题,在优化器使用梯度更新模型权重 (weight)之前进行操作。主要思路不是改变梯度更新的方向,而是当梯度大小超过预设阈值时,限制其大小。

按梯度范数裁剪

对于大型语言模型来说,最常用的方法是按梯度的L2范数(欧几里得范数)进行裁剪。这种做法将所有模型参数 (parameter)的全部梯度(或有时是每个参数组的梯度)视为一个向量 (vector),计算其L2范数,如果范数超过给定阈值 ccc,则重新缩放该向量。

从数学上讲,令 g\mathbf{g}g 代表所有梯度串联在一起的向量。L2范数计算如下:

∥g∥=∑igi2\|\mathbf{g}\| = \sqrt{\sum_{i} g_i^2}∥g∥=i∑​gi2​​

裁剪操作则应用如下:

g←c∥g∥g如果 ∥g∥>c\mathbf{g} \leftarrow \frac{c}{\|\mathbf{g}\|} \mathbf{g} \quad \text{如果 } \|\mathbf{g}\| > cg←∥g∥c​g如果 ∥g∥>c

如果范数 ∥g∥\|\mathbf{g}\|∥g∥ 小于或等于阈值 ccc,梯度保持不变。如果范数大于 ccc,梯度向量 g\mathbf{g}g 会被按 c/∥g∥c / \|\mathbf{g}\|c/∥g∥ 的比例缩小,从而确保其新范数恰好为 ccc。这在限制梯度大小的同时,保持了梯度更新的方向。

在PyTorch中,这通常使用 torch.nn.utils.clip_grad_norm_ 函数实现。它在反向传播 (backpropagation)(计算梯度)之后、优化器步骤(根据梯度更新权重 (weight))之前应用。

import torch
from torch.nn.utils import clip_grad_norm_

# 假设模型、损失、优化器已定义
# ... 在训练循环内部 ...
optimizer.zero_grad()
outputs = model(inputs)
loss = criterion(outputs, targets)
loss.backward() # 计算梯度

# 定义最大梯度范数阈值
max_grad_norm = 1.0

# 裁剪梯度
total_norm = clip_grad_norm_(
    model.parameters(),
    max_norm=max_grad_norm,
    norm_type=2.0
)

# 可选:如果需要,在裁剪前记录梯度范数
# print(f"裁剪前的梯度范数: {total_norm}")

optimizer.step() # 使用(可能已裁剪的)梯度更新权重
# ... 训练循环的其余部分 ...

在此代码段中,clip_grad_norm_ 计算传递给它的参数(model.parameters())的所有梯度的总L2范数。如果此范数超过 max_norm(我们的阈值 ccc),它会通过重新缩放 原地 修改梯度。该函数返回裁剪前的原始总范数,这有助于观察训练过程。设置 norm_type=2.0 明确指定了L2范数。

按梯度值裁剪

另一种方法是按值裁剪,尽管在训练大型Transformer模型时不如常用。这种方法独立地裁剪每个梯度分量 gig_igi​,如果它落在指定范围 [−c,c][-c, c][−c,c] 之外。

gi←max(min(gi,c),−c)g_i \leftarrow \text{max}(\text{min}(g_i, c), -c)gi​←max(min(gi​,c),−c)

这意味着任何大于 ccc 的梯度分量都被设为 ccc,任何小于 −c-c−c 的分量都被设为 −c-c−c。与范数裁剪不同,这种方法可以改变总梯度向量 (vector)的 方向,因为不同分量可能被不同程度地裁剪或根本不裁剪。

在PyTorch中,这可以使用 torch.nn.utils.clip_grad_value_ 完成:

import torch
from torch.nn.utils import clip_grad_value_

# ... 在训练循环内部,在 loss.backward() 之后 ...

# 为每个梯度分量定义最大绝对值
clip_value = 0.5

# 按值裁剪梯度
clip_grad_value_(model.parameters(), clip_value=clip_value)

optimizer.step()
# ... 训练循环的其余部分 ...

尽管更简单,但与范数裁剪相比,按值裁剪在深度学习 (deep learning)优化中通常被认为理论依据较少,因为它不将梯度视为一个统一的方向向量。对于大多数大型语言模型训练情况,clip_grad_norm_ 是更受推荐的方法。

梯度裁剪的实际考量

  • 选择阈值 ccc: 裁剪阈值(max_norm 或 clip_value)是一个超参数 (parameter) (hyperparameter),通常需要凭经验调整。在大型语言模型训练中,max_norm 的一个常见起始值是 1.0。
    • 如果设置过高,它可能无法有效防止偶然出现的巨大梯度引起的不稳定。
    • 如果设置过低,它可能通过不必要地缩小有用梯度而阻碍学习,减慢收敛速度。
    • 在训练期间监测梯度范数(clip_grad_norm_ 在裁剪 发生前 返回的值)有助于确定这个选择。如果范数频繁达到阈值,你可能要考虑学习率是否过高,或者阈值是否可以略微提高。如果范数很少接近阈值,它可能没有产生太大影响。
  • 与优化器和学习率的相互作用: 梯度裁剪与优化器和学习率调度配合使用。它起到安全机制的作用,但不能取代对合适的学习率和调度器的需求。如果梯度持续过大并被裁剪,这可能表明学习率对于当前的训练阶段来说过高。
  • 必要性: 尽管梯度裁剪通常有助于稳定性,尤其是在非常大的模型中或在训练的初始阶段(或微调 (fine-tuning)时),但如果其他因素(适当的初始化、像Pre-LN这样的归一化 (normalization)、调整得当的学习率调度、AdamW优化器)有助于稳定训练,它可能并非总是严格必要。然而,考虑到大型语言模型训练的成本,它经常被用作一种预防措施。

下图说明了按范数裁剪的效果。位于圆圈外部(代表范数阈值 ccc)的梯度向量 (vector)会沿径向按比例缩小,趋向于圆周边界,同时保持其原始方向。

梯度向量 g2g_2g2​ 和 g3g_3g3​ 原始范数大于阈值 ccc。按范数裁剪将它们按比例缩小(蓝色虚线箭头),使其位于由 ccc 定义的边界上,而 g1g_1g1​ 已经在阈值内,保持不变。

通过防止过大的更新,梯度裁剪显著提升了成功训练大型语言模型所需的稳定性,使AdamW等优化器和精心设计的学习率调度能有效应对复杂的损失曲面。

  • On the difficulty of training Recurrent Neural Networks, Razvan Pascanu, Tomas Mikolov, Yoshua Bengio, 2013 Proceedings of the 30th International Conference on Machine Learning (ICML), Vol. 28 DOI: 10.1109/ICML.2013.88 - 一篇基础性论文,识别了深度神经网络中的梯度爆炸问题,并提出了梯度裁剪作为缓解策略。
  • Deep Learning, Ian Goodfellow, Yoshua Bengio, Aaron Courville, 2016 (MIT Press) - 一本全面的教科书,提供了深度学习的理论和实践概览,其中包含专门讨论优化中梯度裁剪的章节。
  • torch.nn.utils.clip_grad_norm_, PyTorch Developers, 2024 PyTorch Documentation (PyTorch Foundation) - PyTorch 工具函数的官方文档,该函数实现了按范数梯度裁剪,详细说明了其用法、参数和返回值。
  • CS231n: Convolutional Neural Networks for Visual Recognition - Optimization section, Fei-Fei Li, Justin Johnson, Serena Yeung, 2017 Stanford University Course Material (Stanford University) - 一门著名大学课程的教育材料,涵盖了训练神经网络的实际方面,包括梯度裁剪等常见的优化策略。

© 2026 ApX Machine Learning