ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

大师班

如何构建大语言模型
章节 1: 大型语言模型概论
定义大型语言模型
序列建模的历史背景
规模的重要性
计算方面的挑战概览
软件与硬件环境
章节 2: 大型语言模型的数学预备知识
线性代数回顾:向量与矩阵
微积分回顾:梯度与优化
概率与统计基础知识
数值稳定性考量
本课程中使用的符号表示
章节 3: 回顾序列处理架构
循环神经网络 (RNN) 的基本内容
简单RNN的局限性
长短期记忆(LSTM)网络
门控循环单元 (GRU)
基于RNN的序列到序列模型
章节 4: Transformer 架构
通过注意力机制解决循环问题
缩放点积注意力
多头注意力机制
位置编码方法
编码器与解码器堆叠
层归一化与残差连接的作用
章节 5: 大词汇量分词
子词分词的必要性
字节对编码 (BPE) 算法
WordPiece 分词
SentencePiece 实现
处理特殊分词
词汇量大小选择的权衡
章节 6: 大规模文本数据的获取与收集
确定潜在数据来源
使用 Common Crawl 数据
规模化网页抓取技术
使用开放许可数据集
数据获取的法律考量
章节 7: 数据清洗与预处理流水线
质量筛选策略
文本标准化方法
处理冗余内容与标记删除
近似重复和精确重复检测
语种识别与过滤
构建可扩展的预处理流水线
章节 8: 建立和管理大规模数据集
数据存储格式(文本、Arrow、Parquet)
分布式文件系统 (HDFS, S3)
数据索引用于高效检索
数据集版本管理与复现性
用于训练的流式数据加载器
章节 9: 训练中的数据取样策略
数据配比的重要性
来源权重策略
基于温度的采样
课程学习简介
数据步进与退火调度
章节 10: 从零开始实现Transformer
设置项目环境
实现缩放点积注意力
构建多头注意力层
实现位置感知前馈网络
构建编码器层和解码器层
组装完整的Transformer模型
章节 11: Transformer模型规模化:架构选择
神经网络语言模型的缩放定律
深度与宽度取舍
激活函数选择 (ReLU, GeLU, SwiGLU)
规范化层放置位置(前置LN vs. 后置LN)
稀疏注意力机制简介
章节 12: 深度网络的初始化方法
恰当初始化的重要性
Xavier(Glorot)初始化
Kaiming (何) 初始化
Transformer组件中的初始化
末尾层的小初始化
章节 13: 位置编码的变体
绝对位置编码的局限性
相对位置编码的原理
Shaw 等人的相对位置实现
Transformer-XL 相对位置编码
旋转位置编码 (RoPE)
章节 14: 高级架构改进
参数高效微调的需求
Transformer的适配器模块
专家混合模型 (MoE) 简介
MoE 中的路由机制
MoE 层中的负载均衡
章节 15: 分布式训练策略
动机:为什么要进行分布式训练?
数据并行 (DP)
张量并行 (TP)
流水线并行 (PP)
混合并行策略 (DP+TP, DP+PP等)
通信开销分析
章节 16: 实现分布式训练框架
分布式训练库概述
DeepSpeed 介绍
使用 DeepSpeed ZeRO 优化
Megatron-LM 介绍
配置 Megatron-LM 中的张量和流水线并行
结合框架与策略
章节 17: LLMs的优化算法
梯度下降算法变体回顾 (SGD, 动量)
自适应优化器:Adam和AdamW
学习率调度策略
梯度裁剪方法
选择优化器超参数 (lr, betas, eps, weight_decay)
章节 18: 大型语言模型训练的硬件考量
GPU 架构 (NVIDIA Ampere, Hopper)
TPU 架构(Google TPU)
内存需求(HBM、GPU显存)
互连技术 (NVLink, InfiniBand)
硬件选择的权衡 (成本、性能、可用性)
章节 19: 检查点和容错
长时间训练中检查点的必要性
保存模型状态(权重、优化器状态)
处理分布式检查点
异步检查点与同步检查点
检查点频率与存储管理
从检查点恢复训练
章节 20: 混合精度训练方法
浮点数格式(FP32、FP16、BF16)简介
低精度的好处(速度、内存)
FP16训练中的挑战(范围问题)
损失缩放技术
使用 BF16 (BFloat16) 格式
框架对混合精度(AMP)的支持
章节 21: 内在评估指标
语言模型评估方法
困惑度:定义与计算
理解困惑度得分
每字符/词比特数
分词对困惑度的影响
章节 22: 下游任务外部评估
下游任务评估的理由
常见下游自然语言处理任务
评估时的微调步骤
标准基准:GLUE 和 SuperGLUE
少量示例和零示例评估
开发定制评估任务
章节 23: 分析模型行为
解读大型语言模型的难题
注意力图可视化
探查内部表示
神经元激活分析
找出失效模式
章节 24: 识别与应对训练不稳定现象
不稳定性常见表现
监控训练指标(损失、梯度范数)
诊断损失飙升
调试数值精度问题
稳定方法回顾(梯度裁剪、学习率、预热)
架构选择对稳定性的影响
章节 25: 对齐微调:监督式微调 (SFT)
大型语言模型对齐的目标
监督微调(SFT)介绍
构建高质量指令数据集
SFT数据格式(提示词,回应)
SFT训练过程与超参数
评估SFT模型对齐目标
章节 26: 人类反馈强化学习 (RLHF)
RLHF 流程概述
收集人类偏好数据
训练奖励模型 (RM)
近端策略优化 (PPO) 介绍
RL PPO 微调
KL散度惩罚的作用
RLHF中的挑战与考量
替代方法:直接偏好优化 (DPO)
章节 27: 模型压缩技术
模型压缩的动因
权重量化 (INT8, INT4)
激活量化考量
网络剪枝(结构化与非结构化)
知识蒸馏
评估性能与压缩的权衡
章节 28: 高效推理策略
自回归解码中的挑战
键值(KV)缓存
优化的注意力实现 (FlashAttention)
吞吐量批处理策略
推测解码
章节 29: 大规模部署大型语言模型
LLM 交互的 API 设计
模型服务框架 (Triton, TorchServe)
处理并发请求
跨模型实例的负载均衡
监控服务性能和成本
章节 30: 持续训练与模型更新
持续改进的缘由
持续预训练策略
持续微调(SFT/RLHF)的策略
安全地整合新数据源
模型架构变动后的更新
版本管理、部署与回滚策略

层归一化与残差连接的作用

构建多层神经网络 (neural network)时,像Transformer中堆叠多层自注意力 (self-attention)子层和前馈子层那样,训练过程中会面临挑战。主要是,梯度在通过多层向后传播时可能消失(变得非常小)或爆炸(变得非常大),这使得模型难以有效学习。此外,中间层的激活分布在训练期间可能变化(这种现象有时与内部协变量偏移有关),使学习过程变得复杂。在Transformer架构中,残差连接和层归一化 (normalization)是两种简单但非常有效的方法,它们用于解决这些问题,并使多层模型得以训练。

残差连接

残差连接,也称作跳跃连接,提供了一条备用通路供梯度流经网络。不是简单地将子层的输出传递给下一层,而是我们将子层的输入加到其输出上。

如果一个子层由函数 SubLayer(⋅)\text{SubLayer}(\cdot)SubLayer(⋅) 表示,其输入为 xxx,那么带有残差连接的块的输出是:

输出=x+子层(x)\text{输出} = x + \text{子层}(x)输出=x+子层(x)

这种结构使得网络能够轻松地学习恒等函数,如果某个特定子层没有益处;子层的输出可以简单地趋近于零。更重要的是,在反向传播 (backpropagation)时,梯度可以直接通过加法操作从输出流回到输入 xxx。这绕过了子层内部的变换,提供了一条“捷径”,有助于防止梯度信号在穿过多层时过度减弱。

残差连接将输入 x 加到 子层 的输出上。

在PyTorch中,这实现起来很简单。假设 sublayer 是一个模块(如多头注意力 (multi-head attention)或前馈网络),x 是输入张量:

import torch
import torch.nn as nn

# 假设 'sublayer' 在其他地方定义(例如,MultiHeadAttention, FeedForward)
# class SubLayer(nn.Module):
#     def __init__(self, d_model, ...):
#         super().__init__()
#         # ... 定义层 ...
#     def forward(self, x):
#         # ... 计算子层输出 ...
#         return processed_x

class ResidualConnection(nn.Module):
    def __init__(self, sublayer):
        super().__init__()
        self.sublayer = sublayer

    def forward(self, x):
        """
        对任意子层应用残差连接。
        """
        # 将原始输入 'x' 加到子层的输出上
        return x + self.sublayer(x)

# 使用示例
# d_model = 512
# input_tensor = torch.randn(batch_size, seq_len, d_model)
# attention_layer = MultiHeadAttention(...) # 假设已定义
# residual_block = ResidualConnection(attention_layer)
# output_tensor = residual_block(input_tensor)

层归一化 (normalization)

归一化技术有助于稳定训练过程,通过控制激活的分布。尽管批量归一化在计算机视觉中很常见,但它是在批次维度上归一化统计量(均值和方差)。这对于序列模型来说可能存在问题,因为批次内的序列长度可能不同,并且它引入了批次元素之间不总是期望的依赖关系。

层归一化(LayerNorm)提供了一种替代方法。它独立地跨特征对每个数据点(例如,序列中的每个词元 (token))的输入进行归一化。它根据单个训练样本中单个层内所有神经元的求和输入,计算用于归一化的均值和方差。

给定输入向量 (vector) xxx(表示单个词元位置在所有特征上的激活,dmodeld_{model}dmodel​),层归一化计算归一化输出 hhh 如下:

  1. 计算跨特征维度(dmodeld_{model}dmodel​)的均值(μ\muμ)和方差(σ2\sigma^2σ2):

    μ=1dmodel∑i=1dmodelxi\mu = \frac{1}{d_{model}} \sum_{i=1}^{d_{model}} x_iμ=dmodel​1​i=1∑dmodel​​xi​ σ2=1dmodel∑i=1dmodel(xi−μ)2\sigma^2 = \frac{1}{d_{model}} \sum_{i=1}^{d_{model}} (x_i - \mu)^2σ2=dmodel​1​i=1∑dmodel​​(xi​−μ)2
  2. 归一化输入 xxx:

    x^i=xi−μσ2+ϵ\hat{x}_i = \frac{x_i - \mu}{\sqrt{\sigma^2 + \epsilon}}x^i​=σ2+ϵ​xi​−μ​

    其中 ϵ\epsilonϵ 是为数值稳定性添加的一个小常数。

  3. 使用可学习参数 (parameter) γ\gammaγ(伽马,缩放)和 β\betaβ(贝塔,平移)来缩放和移动归一化后的输出,这些参数与 xxx 具有相同的维度:

    hi=γix^i+βih_i = \gamma_i \hat{x}_i + \beta_ihi​=γi​x^i​+βi​

这些可学习参数 γ\gammaγ 和 β\betaβ 使得网络能够自适应地缩放和移动归一化后的激活,如果这对网络来说最优,甚至可能恢复原始激活。层归一化有助于稳定隐藏状态的动态,减少对初始化尺度的敏感性,甚至可以提供轻微的正则化 (regularization)作用。

在PyTorch中,torch.nn.LayerNorm 实现了这一点:

import torch
import torch.nn as nn

# 示例参数
batch_size = 4
seq_len = 10
d_model = 512
epsilon = 1e-5 # Small value for numerical stability

# 输入张量(批次,序列长度,特征)
input_tensor = torch.randn(batch_size, seq_len, d_model)

# 初始化层归一化
# 默认对最后一个维度 (d_model) 进行归一化
layer_norm = nn.LayerNorm(d_model, eps=epsilon)

# 应用层归一化
normalized_output = layer_norm(input_tensor)

# 检查形状
print("输入形状:", input_tensor.shape)
print("输出形状:", normalized_output.shape)

# 验证批次/序列中一个示例的均值和标准差
# 注意:由于 epsilon 和可学习参数 gamma/beta,
# 除非 gamma=1, beta=0,否则输出的均值/标准差不会正好是 0/1。
# 但归一化是在 gamma/beta 应用*之前*内部进行的。
print(
    "\n归一化输出的均值(示例 0,词元 0):",
    normalized_output[0, 0, :].mean().item()
)
print(
    "归一化输出的标准差(示例 0,词元 0):",
    normalized_output[0, 0, :].std().item()
)

# nn.LayerNorm 具有可学习参数 gamma(权重)和 beta(偏置)
print("\nLayerNorm 可学习伽马(权重):", layer_norm.weight.shape)
print("LayerNorm 可学习贝塔(偏置):", layer_norm.bias.shape)

结合残差连接和层归一化 (normalization)

在Transformer架构中,层归一化和残差连接通常围绕每个子层(多头注意力 (multi-head attention)和逐位置前馈网络)一起应用。原始论文《Attention Is All You Need》中描述的标准结构是在残差加法之后应用归一化(Post-LN):

输出=LayerNorm(x+子层(x))\text{输出} = \text{LayerNorm}(x + \text{子层}(x))输出=LayerNorm(x+子层(x))

然而,随后的研究和实践经常发现,在残差分支中,将层归一化应用在子层之前(Pre-LN)可以带来更稳定的训练,特别是对于非常深的Transformer模型:

输出=x+子层(LayerNorm(x))\text{输出} = x + \text{子层}(\text{LayerNorm}(x))输出=x+子层(LayerNorm(x))

我们将在第11章讨论扩展定律和架构选择时,进一步探讨Pre-LN与Post-LN的影响。目前,请认识到这种结合(通常被描述为“添加与归一化”步骤)是基础的。

残差块中Post-LN(加法后归一化)和Pre-LN(子层前归一化)结构的比较。

以下是Transformer编码器层通常如何使用Pre-LN方法结合这些组件的示例:

import torch
import torch.nn as nn
# 假设 MultiHeadAttention 和 PositionwiseFeedForward 是在前面部分/外部模块中定义的类

class EncoderLayer(nn.Module):
    """
    实现一个带有Pre-LN的Transformer编码器层。
    """
    def __init__(self, d_model, num_heads, d_ff, dropout=0.1):
        super().__init__()
        self.self_attn = MultiHeadAttention(d_model, num_heads) # Placeholder
        self.feed_forward = PositionwiseFeedForward(d_model, d_ff) # Placeholder

        # 层归一化实例
        self.norm1 = nn.LayerNorm(d_model)
        self.norm2 = nn.LayerNorm(d_model)

        # 用于正则化的Dropout
        self.dropout1 = nn.Dropout(dropout)
        self.dropout2 = nn.Dropout(dropout)

    def forward(self, x, mask=None):
        # 1. 层归一化,接着是多头自注意力
        norm_x = self.norm1(x)
        # 假设 self_attn 返回注意力输出
        attn_output = self.self_attn(norm_x, norm_x, norm_x, mask) 
        # 带有Dropout的残差连接
        x = x + self.dropout1(attn_output)

        # 2. 层归一化,接着是逐位置前馈网络
        norm_x = self.norm2(x)
        ff_output = self.feed_forward(norm_x)
        # 带有Dropout的残差连接
        x = x + self.dropout2(ff_output)

        return x

# 使用示例
# d_model = 512
# num_heads = 8
# d_ff = 2048 # Feed-forward inner dimension
# batch_size = 4
# seq_len = 10

# input_tensor = torch.randn(batch_size, seq_len, d_model)
# encoder_layer = EncoderLayer(d_model, num_heads, d_ff)
# output_tensor = encoder_layer(input_tensor)
# print("编码器层输出形状:", output_tensor.shape)

总而言之,残差连接有助于梯度流动和信息在深层网络中的传播,而层归一化则稳定了激活分布。它们的结合使用是成功训练深层Transformer模型的重要因素,构成了编码器和解码器层的核心部分。

  • Deep Residual Learning for Image Recognition, Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun, 2016 Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (IEEE) DOI: 10.1109/CVPR.2016.90 - 介绍了残差连接(跳跃连接),通过解决梯度消失/爆炸问题,实现了超深神经网络的训练。
  • Layer Normalization, Jimmy Lei Ba, Jamie Ryan Kiros, Geoffrey E. Hinton, 2016 arXiv preprint arXiv:1607.06450 DOI: 10.48550/arXiv.1607.06450 - 提出了层归一化,作为批归一化的替代方案,它独立地对每个数据点的特征激活进行归一化,特别适用于循环神经网络和Transformer。
  • Attention Is All You Need, Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, Illia Polosukhin, 2017 Advances in Neural Information Processing Systems, Vol. 30 (NeurIPS) - 介绍了Transformer架构的原始论文,它有效地将多头自注意力与残差连接和层归一化结合起来,构建了深层序列处理模型。
  • On Layer Normalization in the Transformer Architecture, Ruibin Xiong, Yunchang Yang, Di He, Kai Zheng, Shuxin Zheng, Chen Xing, Huishuai Zhang, Yanyan Lan, Liwei Wang, Tie-Yan Liu, 2020 ICML 2020 DOI: 10.48550/arXiv.2002.04745 - 考察了层归一化在Transformer块中的作用和位置,讨论了Pre-LN相对于Post-LN在训练稳定性和性能方面的差异和优势,尤其是在深层模型中。

© 2026 ApX Machine Learning