ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

大师班

如何构建大语言模型
章节 1: 大型语言模型概论
定义大型语言模型
序列建模的历史背景
规模的重要性
计算方面的挑战概览
软件与硬件环境
章节 2: 大型语言模型的数学预备知识
线性代数回顾:向量与矩阵
微积分回顾:梯度与优化
概率与统计基础知识
数值稳定性考量
本课程中使用的符号表示
章节 3: 回顾序列处理架构
循环神经网络 (RNN) 的基本内容
简单RNN的局限性
长短期记忆(LSTM)网络
门控循环单元 (GRU)
基于RNN的序列到序列模型
章节 4: Transformer 架构
通过注意力机制解决循环问题
缩放点积注意力
多头注意力机制
位置编码方法
编码器与解码器堆叠
层归一化与残差连接的作用
章节 5: 大词汇量分词
子词分词的必要性
字节对编码 (BPE) 算法
WordPiece 分词
SentencePiece 实现
处理特殊分词
词汇量大小选择的权衡
章节 6: 大规模文本数据的获取与收集
确定潜在数据来源
使用 Common Crawl 数据
规模化网页抓取技术
使用开放许可数据集
数据获取的法律考量
章节 7: 数据清洗与预处理流水线
质量筛选策略
文本标准化方法
处理冗余内容与标记删除
近似重复和精确重复检测
语种识别与过滤
构建可扩展的预处理流水线
章节 8: 建立和管理大规模数据集
数据存储格式(文本、Arrow、Parquet)
分布式文件系统 (HDFS, S3)
数据索引用于高效检索
数据集版本管理与复现性
用于训练的流式数据加载器
章节 9: 训练中的数据取样策略
数据配比的重要性
来源权重策略
基于温度的采样
课程学习简介
数据步进与退火调度
章节 10: 从零开始实现Transformer
设置项目环境
实现缩放点积注意力
构建多头注意力层
实现位置感知前馈网络
构建编码器层和解码器层
组装完整的Transformer模型
章节 11: Transformer模型规模化:架构选择
神经网络语言模型的缩放定律
深度与宽度取舍
激活函数选择 (ReLU, GeLU, SwiGLU)
规范化层放置位置(前置LN vs. 后置LN)
稀疏注意力机制简介
章节 12: 深度网络的初始化方法
恰当初始化的重要性
Xavier(Glorot)初始化
Kaiming (何) 初始化
Transformer组件中的初始化
末尾层的小初始化
章节 13: 位置编码的变体
绝对位置编码的局限性
相对位置编码的原理
Shaw 等人的相对位置实现
Transformer-XL 相对位置编码
旋转位置编码 (RoPE)
章节 14: 高级架构改进
参数高效微调的需求
Transformer的适配器模块
专家混合模型 (MoE) 简介
MoE 中的路由机制
MoE 层中的负载均衡
章节 15: 分布式训练策略
动机:为什么要进行分布式训练?
数据并行 (DP)
张量并行 (TP)
流水线并行 (PP)
混合并行策略 (DP+TP, DP+PP等)
通信开销分析
章节 16: 实现分布式训练框架
分布式训练库概述
DeepSpeed 介绍
使用 DeepSpeed ZeRO 优化
Megatron-LM 介绍
配置 Megatron-LM 中的张量和流水线并行
结合框架与策略
章节 17: LLMs的优化算法
梯度下降算法变体回顾 (SGD, 动量)
自适应优化器:Adam和AdamW
学习率调度策略
梯度裁剪方法
选择优化器超参数 (lr, betas, eps, weight_decay)
章节 18: 大型语言模型训练的硬件考量
GPU 架构 (NVIDIA Ampere, Hopper)
TPU 架构(Google TPU)
内存需求(HBM、GPU显存)
互连技术 (NVLink, InfiniBand)
硬件选择的权衡 (成本、性能、可用性)
章节 19: 检查点和容错
长时间训练中检查点的必要性
保存模型状态(权重、优化器状态)
处理分布式检查点
异步检查点与同步检查点
检查点频率与存储管理
从检查点恢复训练
章节 20: 混合精度训练方法
浮点数格式(FP32、FP16、BF16)简介
低精度的好处(速度、内存)
FP16训练中的挑战(范围问题)
损失缩放技术
使用 BF16 (BFloat16) 格式
框架对混合精度(AMP)的支持
章节 21: 内在评估指标
语言模型评估方法
困惑度:定义与计算
理解困惑度得分
每字符/词比特数
分词对困惑度的影响
章节 22: 下游任务外部评估
下游任务评估的理由
常见下游自然语言处理任务
评估时的微调步骤
标准基准:GLUE 和 SuperGLUE
少量示例和零示例评估
开发定制评估任务
章节 23: 分析模型行为
解读大型语言模型的难题
注意力图可视化
探查内部表示
神经元激活分析
找出失效模式
章节 24: 识别与应对训练不稳定现象
不稳定性常见表现
监控训练指标(损失、梯度范数)
诊断损失飙升
调试数值精度问题
稳定方法回顾(梯度裁剪、学习率、预热)
架构选择对稳定性的影响
章节 25: 对齐微调:监督式微调 (SFT)
大型语言模型对齐的目标
监督微调(SFT)介绍
构建高质量指令数据集
SFT数据格式(提示词,回应)
SFT训练过程与超参数
评估SFT模型对齐目标
章节 26: 人类反馈强化学习 (RLHF)
RLHF 流程概述
收集人类偏好数据
训练奖励模型 (RM)
近端策略优化 (PPO) 介绍
RL PPO 微调
KL散度惩罚的作用
RLHF中的挑战与考量
替代方法:直接偏好优化 (DPO)
章节 27: 模型压缩技术
模型压缩的动因
权重量化 (INT8, INT4)
激活量化考量
网络剪枝(结构化与非结构化)
知识蒸馏
评估性能与压缩的权衡
章节 28: 高效推理策略
自回归解码中的挑战
键值(KV)缓存
优化的注意力实现 (FlashAttention)
吞吐量批处理策略
推测解码
章节 29: 大规模部署大型语言模型
LLM 交互的 API 设计
模型服务框架 (Triton, TorchServe)
处理并发请求
跨模型实例的负载均衡
监控服务性能和成本
章节 30: 持续训练与模型更新
持续改进的缘由
持续预训练策略
持续微调(SFT/RLHF)的策略
安全地整合新数据源
模型架构变动后的更新
版本管理、部署与回滚策略

Xavier(Glorot)初始化

如前所述,初始化深度网络的权重 (weight)需要仔细考虑。简单地从标准正态或均匀分布中抽取权重通常会导致训练过程不稳定。梯度在反向传播 (backpropagation)时可能呈指数级缩小(梯度消失),或呈指数级增大(梯度爆炸),阻碍模型有效学习。

Xavier 初始化方法由 Xavier Glorot 和 Yoshua Bengio 于 2010 年提出,旨在解决深度网络训练中梯度消失或爆炸等常见挑战,其原理是使激活值和梯度的方差在各层之间大致保持不变。保持方差一致有助于确保信号(前向传播时的激活值和反向传播时的梯度)在穿过网络时不会消失或爆炸。

核心思想:方差保持

考虑神经网络 (neural network)中的一个线性层,执行操作 y=Wx+by = Wx + by=Wx+b,其中 WWW 是权重 (weight)矩阵,xxx 是输入向量 (vector),bbb 是偏置 (bias)向量,yyy 是激活函数 (activation function)前的输出。Xavier 初始化分析了方差如何通过该层传播。

核心假设是:

  1. 输入 xxx 是独立同分布 (i.i.d.) 的,均值为零,方差为 Var(x)Var(x)Var(x)。
  2. 权重 WWW 是独立同分布 (i.i.d.) 的,均值为零,方差为 Var(W)Var(W)Var(W)。
  3. 权重和输入相互独立。
  4. 激活函数 fff 关于零对称(例如 tanhtanhtanh),并且其在零附近的导数近似为 1 (f′(0)≈1f'(0) \approx 1f′(0)≈1)。

在这些假设下,层输出 yiy_iyi​(对于单个神经元 iii)的方差可以与输入方差和权重方差相关联:

Var(yi)=ninVar(Wij)Var(xj)Var(y_i) = n_{in} Var(W_{ij}) Var(x_j)Var(yi​)=nin​Var(Wij​)Var(xj​)

这里,ninn_{in}nin​ 表示神经元的输入连接数(“扇入”)。为了使输出方差 Var(yi)Var(y_i)Var(yi​) 等于输入方差 Var(xj)Var(x_j)Var(xj​),我们需要:

ninVar(Wij)=1n_{in} Var(W_{ij}) = 1nin​Var(Wij​)=1 Var(Wij)=1ninVar(W_{ij}) = \frac{1}{n_{in}}Var(Wij​)=nin​1​

这个条件确保了激活值的方差在前向传播过程中不会显著改变。

同样,考虑到反向传播 (backpropagation),我们分析梯度的方差。梯度相对于前一层激活值的方差取决于扇出 noutn_{out}nout​(当前层输出连接到的神经元数量)。为了保持梯度方差,条件变为:

noutVar(Wij)=1n_{out} Var(W_{ij}) = 1nout​Var(Wij​)=1 Var(Wij)=1noutVar(W_{ij}) = \frac{1}{n_{out}}Var(Wij​)=nout​1​

Xavier 初始化通过对这些约束进行平均,在这两个条件(前向传播时保持激活方差和反向传播时保持梯度方差)之间寻求一种折衷:

Var(Wij)=2nin+noutVar(W_{ij}) = \frac{2}{n_{in} + n_{out}}Var(Wij​)=nin​+nout​2​

此方差构成了初始化策略的依据。

Xavier 初始化公式

权重 (weight)通常从均匀分布或正态分布中抽取,并根据此推导出的方差进行缩放。

  1. Xavier 均匀初始化: 权重从均匀分布 U[−a,a]U[-a, a]U[−a,a] 中采样,其中 aaa 的选择使得方差为 2nin+nout\frac{2}{n_{in} + n_{out}}nin​+nout​2​。U[−a,a]U[-a, a]U[−a,a] 的方差是 (2a)212=a23\frac{(2a)^2}{12} = \frac{a^2}{3}12(2a)2​=3a2​。将其设置为目标方差: a23=2nin+nout\frac{a^2}{3} = \frac{2}{n_{in} + n_{out}}3a2​=nin​+nout​2​ a2=6nin+nouta^2 = \frac{6}{n_{in} + n_{out}}a2=nin​+nout​6​ a=6nin+nouta = \sqrt{\frac{6}{n_{in} + n_{out}}}a=nin​+nout​6​​

    因此,权重使用以下方式初始化: W∼U[−6nin+nout,6nin+nout]W \sim U\left[-\sqrt{\frac{6}{n_{in} + n_{out}}}, \sqrt{\frac{6}{n_{in} + n_{out}}}\right]W∼U[−nin​+nout​6​​,nin​+nout​6​​]

  2. Xavier 正态初始化: 权重从均值为 0、目标方差为 σ2\sigma^2σ2 的正态分布 N(0,σ2)N(0, \sigma^2)N(0,σ2) 中采样: σ2=2nin+nout\sigma^2 = \frac{2}{n_{in} + n_{out}}σ2=nin​+nout​2​

    因此,权重使用以下方式初始化: W∼N(0,2nin+nout)W \sim N\left(0, \sqrt{\frac{2}{n_{in} + n_{out}}}\right)W∼N(0,nin​+nout​2​​)

在两种情况下,ninn_{in}nin​ 是层的输入数量(扇入),noutn_{out}nout​ 是层的输出数量(扇出)。偏置 (bias)通常初始化为零。

适用性和实现

Xavier 初始化适用于后面跟着在零附近大致线性且对称的激活函数 (activation function)(如 tanhtanhtanh 和逻辑 Sigmoid)的层。假设 f′(0)≈1f'(0) \approx 1f′(0)≈1 对于这些函数是比较成立的。然而,它不太适合整流线性单元 (ReLU) 及其变体,这些函数是非对称的,并且对负输入导数为 0。这一局限促成了 Kaiming 初始化的发展,我们接下来会讨论。

在 PyTorch 中,您可以使用 torch.nn.init 模块轻松应用 Xavier 初始化。

import torch
import torch.nn as nn

# 定义示例层维度
fan_in, fan_out = 512, 256 # 线性层的示例维度

# 创建一个线性层
linear_layer = nn.Linear(fan_in, fan_out, bias=True)

# --- Xavier 均匀初始化 ---
# 对权重应用 Xavier 均匀初始化
nn.init.xavier_uniform_(linear_layer.weight)

# 通常将偏置初始化为零
if linear_layer.bias is not None:
    nn.init.constant_(linear_layer.bias, 0)

print(f"层: Linear({fan_in}, {fan_out})")
print("初始化: Xavier 均匀")
print(f"权重均值: {linear_layer.weight.mean():.4f}, 标准差: {linear_layer.weight.std():.4f}")
# 检查均匀分布的理论标准差
# Var = (sqrt(6/(fan_in+fan_out)))^2 / 3 = 2 / (fan_in+fan_out)
# Std = sqrt(2 / (fan_in+fan_out))
theoretical_std_uniform = (2.0 / (fan_in + fan_out))**0.5
print(f"理论标准差(基于均匀): {theoretical_std_uniform:.4f}\n")

# --- Xavier 正态初始化 ---
# 重新创建层或重新初始化
linear_layer_norm = nn.Linear(fan_in, fan_out, bias=True)

# 对权重应用 Xavier 正态初始化
nn.init.xavier_normal_(linear_layer_norm.weight)

# 将偏置初始化为零
if linear_layer_norm.bias is not None:
    nn.init.constant_(linear_layer_norm.bias, 0)

print("初始化: Xavier 正态")
print(
    f"权重均值: {linear_layer_norm.weight.mean():.4f}, "
    f"标准差: {linear_layer_norm.weight.std():.4f}"
)
# 正态分布的理论标准差是 sqrt(2 / (fan_in+fan_out))
theoretical_std_normal = (2.0 / (fan_in + fan_out))**0.5
print(f"理论标准差(正态): {theoretical_std_normal:.4f}")

示例输出显示了 Xavier 初始化后的权重 (weight)统计信息。初始化权重的实际标准差应接近从扇入和扇出推导出的理论值。

Xavier 初始化提供了一种合理的方法来设置初始权重,有助于深度网络中更稳定的信号传播,特别是使用对称激活函数的网络。尽管它比朴素的随机初始化有了重要的改进,但其假设并非完全符合所有现代网络架构,尤其是那些高度依赖 ReLU 激活的网络。这引出了我们的下一种方法,Kaiming 初始化,它专门为此类情况而设计。

  • Understanding the difficulty of training deep feedforward neural networks, Xavier Glorot, Yoshua Bengio, 2010 Proceedings of the Thirteenth International Conference on Artificial Intelligence and Statistics (AISTATS), Vol. 9 (JMLR.org) DOI: 10.5555/2078696.2078720 - 介绍Xavier初始化的基础论文,解释了梯度消失/爆炸问题和方差保持原则。
  • Deep Learning, Ian Goodfellow, Yoshua Bengio, and Aaron Courville, 2016 (MIT Press) - 一本内容全面的教材,解释了深度学习概念,包括关于Xavier等权重初始化技术的详细章节。
  • torch.nn.init, PyTorch Development Team, 2022 (PyTorch) - PyTorch初始化模块的官方文档,提供了在PyTorch中实现Xavier(Glorot)初始化的实践细节。

© 2026 ApX Machine Learning