ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

大师班

如何构建大语言模型
章节 1: 大型语言模型概论
定义大型语言模型
序列建模的历史背景
规模的重要性
计算方面的挑战概览
软件与硬件环境
章节 2: 大型语言模型的数学预备知识
线性代数回顾:向量与矩阵
微积分回顾:梯度与优化
概率与统计基础知识
数值稳定性考量
本课程中使用的符号表示
章节 3: 回顾序列处理架构
循环神经网络 (RNN) 的基本内容
简单RNN的局限性
长短期记忆(LSTM)网络
门控循环单元 (GRU)
基于RNN的序列到序列模型
章节 4: Transformer 架构
通过注意力机制解决循环问题
缩放点积注意力
多头注意力机制
位置编码方法
编码器与解码器堆叠
层归一化与残差连接的作用
章节 5: 大词汇量分词
子词分词的必要性
字节对编码 (BPE) 算法
WordPiece 分词
SentencePiece 实现
处理特殊分词
词汇量大小选择的权衡
章节 6: 大规模文本数据的获取与收集
确定潜在数据来源
使用 Common Crawl 数据
规模化网页抓取技术
使用开放许可数据集
数据获取的法律考量
章节 7: 数据清洗与预处理流水线
质量筛选策略
文本标准化方法
处理冗余内容与标记删除
近似重复和精确重复检测
语种识别与过滤
构建可扩展的预处理流水线
章节 8: 建立和管理大规模数据集
数据存储格式(文本、Arrow、Parquet)
分布式文件系统 (HDFS, S3)
数据索引用于高效检索
数据集版本管理与复现性
用于训练的流式数据加载器
章节 9: 训练中的数据取样策略
数据配比的重要性
来源权重策略
基于温度的采样
课程学习简介
数据步进与退火调度
章节 10: 从零开始实现Transformer
设置项目环境
实现缩放点积注意力
构建多头注意力层
实现位置感知前馈网络
构建编码器层和解码器层
组装完整的Transformer模型
章节 11: Transformer模型规模化:架构选择
神经网络语言模型的缩放定律
深度与宽度取舍
激活函数选择 (ReLU, GeLU, SwiGLU)
规范化层放置位置(前置LN vs. 后置LN)
稀疏注意力机制简介
章节 12: 深度网络的初始化方法
恰当初始化的重要性
Xavier(Glorot)初始化
Kaiming (何) 初始化
Transformer组件中的初始化
末尾层的小初始化
章节 13: 位置编码的变体
绝对位置编码的局限性
相对位置编码的原理
Shaw 等人的相对位置实现
Transformer-XL 相对位置编码
旋转位置编码 (RoPE)
章节 14: 高级架构改进
参数高效微调的需求
Transformer的适配器模块
专家混合模型 (MoE) 简介
MoE 中的路由机制
MoE 层中的负载均衡
章节 15: 分布式训练策略
动机:为什么要进行分布式训练?
数据并行 (DP)
张量并行 (TP)
流水线并行 (PP)
混合并行策略 (DP+TP, DP+PP等)
通信开销分析
章节 16: 实现分布式训练框架
分布式训练库概述
DeepSpeed 介绍
使用 DeepSpeed ZeRO 优化
Megatron-LM 介绍
配置 Megatron-LM 中的张量和流水线并行
结合框架与策略
章节 17: LLMs的优化算法
梯度下降算法变体回顾 (SGD, 动量)
自适应优化器:Adam和AdamW
学习率调度策略
梯度裁剪方法
选择优化器超参数 (lr, betas, eps, weight_decay)
章节 18: 大型语言模型训练的硬件考量
GPU 架构 (NVIDIA Ampere, Hopper)
TPU 架构(Google TPU)
内存需求(HBM、GPU显存)
互连技术 (NVLink, InfiniBand)
硬件选择的权衡 (成本、性能、可用性)
章节 19: 检查点和容错
长时间训练中检查点的必要性
保存模型状态(权重、优化器状态)
处理分布式检查点
异步检查点与同步检查点
检查点频率与存储管理
从检查点恢复训练
章节 20: 混合精度训练方法
浮点数格式(FP32、FP16、BF16)简介
低精度的好处(速度、内存)
FP16训练中的挑战(范围问题)
损失缩放技术
使用 BF16 (BFloat16) 格式
框架对混合精度(AMP)的支持
章节 21: 内在评估指标
语言模型评估方法
困惑度:定义与计算
理解困惑度得分
每字符/词比特数
分词对困惑度的影响
章节 22: 下游任务外部评估
下游任务评估的理由
常见下游自然语言处理任务
评估时的微调步骤
标准基准:GLUE 和 SuperGLUE
少量示例和零示例评估
开发定制评估任务
章节 23: 分析模型行为
解读大型语言模型的难题
注意力图可视化
探查内部表示
神经元激活分析
找出失效模式
章节 24: 识别与应对训练不稳定现象
不稳定性常见表现
监控训练指标(损失、梯度范数)
诊断损失飙升
调试数值精度问题
稳定方法回顾(梯度裁剪、学习率、预热)
架构选择对稳定性的影响
章节 25: 对齐微调:监督式微调 (SFT)
大型语言模型对齐的目标
监督微调(SFT)介绍
构建高质量指令数据集
SFT数据格式(提示词,回应)
SFT训练过程与超参数
评估SFT模型对齐目标
章节 26: 人类反馈强化学习 (RLHF)
RLHF 流程概述
收集人类偏好数据
训练奖励模型 (RM)
近端策略优化 (PPO) 介绍
RL PPO 微调
KL散度惩罚的作用
RLHF中的挑战与考量
替代方法:直接偏好优化 (DPO)
章节 27: 模型压缩技术
模型压缩的动因
权重量化 (INT8, INT4)
激活量化考量
网络剪枝(结构化与非结构化)
知识蒸馏
评估性能与压缩的权衡
章节 28: 高效推理策略
自回归解码中的挑战
键值(KV)缓存
优化的注意力实现 (FlashAttention)
吞吐量批处理策略
推测解码
章节 29: 大规模部署大型语言模型
LLM 交互的 API 设计
模型服务框架 (Triton, TorchServe)
处理并发请求
跨模型实例的负载均衡
监控服务性能和成本
章节 30: 持续训练与模型更新
持续改进的缘由
持续预训练策略
持续微调(SFT/RLHF)的策略
安全地整合新数据源
模型架构变动后的更新
版本管理、部署与回滚策略

使用 BF16 (BFloat16) 格式

尽管FP16能显著节省内存并可能提升速度,但其有限的动态范围(约 6imes10−56 imes 10^{-5}6imes10−5 到 6.5imes1046.5 imes 10^46.5imes104)常常需要通过细致的处理(比如损失缩放等方法)来应对。另一种16位格式BFloat16(脑浮点,或 BF16BF16BF16)被专门开发出来以解决这个范围限制,它牺牲了部分精度,以换取与FP32相近的更宽的动态范围。

了解 BF16 格式

FP16FP16FP16 和 BF16BF16BF16 之间的主要区别在于它们如何在指数位和尾数位(或有效数字位)之间分配16位。

  • FP16 (IEEE 754 半精度): 1 个符号位, 5 个指数位, 10 个尾数位。
  • BF16: 1 个符号位, 8 个指数位, 7 个尾数位。

请注意,BF16BF16BF16 与标准32位 FP32FP32FP32 格式使用相同数量的指数位(8位)。这使 BF16BF16BF16 拥有与 FP32FP32FP32 相同的动态范围(大约 1.18×10−381.18 \times 10^{-38}1.18×10−38 到 3.4×10383.4 \times 10^{38}3.4×1038),大幅降低了训练过程中梯度或激活值溢出或下溢的风险。但这牺牲了精度,因为 BF16BF16BF16 只有7个尾数位,而 FP16FP16FP16 有10个,FP32FP32FP32 有23个。

我们可以将位分配差异可视化:

FP16和BF16格式的位分配对比。BF16优先考虑范围(指数位)而非精度(尾数位)。

优点与权衡

BF16BF16BF16 的主要优势在于,与 FP16FP16FP16 相比,它提升了大型模型的训练稳定性。由于其动态范围与 FP32FP32FP32 匹配,中间计算(如梯度或激活值)中出现数值溢出或下溢的可能性显著降低。这意味着复杂的动态损失缩放,尽管仍可能有用,但通常不是严格必需的,或者可以比 FP16FP16FP16 稳定训练通常所需的配置更为宽松。

权衡之处在于尾数位较少导致的精度降低。尽管深度神经网络 (neural network)常被认为对一定程度的精度降低具有容忍度,但这种差异可能会影响某些特定敏感任务或架构的收敛速度或最终模型精度,相比于 FP16FP16FP16 或 FP32FP32FP32。然而,对于许多大型语言模型训练场景,BF16BF16BF16 更宽范围带来的稳定性优势通常超过了潜在的精度问题。

另一个实际考量是硬件支持。BF16BF16BF16 最初在Google TPUs上引入。NVIDIA从其Ampere架构(A100 GPU)及其后续代次(例如 Hopper H100)开始添加了支持。较旧的GPU可能无法高效支持 BF16BF16BF16 操作,这使得 FP16FP16FP16 成为唯一的16位可行选择。

在 PyTorch 中结合 AMP 使用 BF16

与 FP16FP16FP16 类似,现代深度学习 (deep learning)框架提供便捷的封装,以便在自动混合精度 (AMP) 环境中使用 BF16BF16BF16。在PyTorch中,使用 torch.autocast 启用 BF16BF16BF16 非常简单。

import torch
import torch.nn as nn
from torch.cuda.amp import autocast, GradScaler

# 假设 model, optimizer, data_loader 已定义
model = nn.Linear(1024, 1024).cuda() # GPU上的示例模型层
optimizer = torch.optim.AdamW(model.parameters())
# 虚拟数据
data_loader = [
    (torch.randn(64, 1024).cuda(), torch.randn(64, 1024).cuda())
    for _ in range(10)
]

# 如果可用则使用 BF16,否则回退
# (或者如果偏好/可用则使用 FP16)
# 注意: BF16 需要 CUDA >= 11.0 和 Ampere 或更新的 GPU (或 TPU)
use_bf16 = (
    torch.cuda.is_available()
    and torch.cuda.is_bf16_supported()
)

# GradScaler 对于 BF16 通常是可选的,因为它具有更宽的范围,
# 但仍可用于保持一致性或在遇到不稳定时使用。
# 如果禁用,它将不执行任何操作。对于 BF16 来说,设置 enabled=False 很有用。
# 如果需要损失缩放,请将 enabled 设置为 True
scaler = GradScaler(enabled=False)

print(f"正在使用 BF16: {use_bf16}")

for data, target in data_loader:
    optimizer.zero_grad()

    # 自动混合精度上下文管理器
    # 将 dtype 设置为 torch.bfloat16
    with autocast(
        device_type='cuda',
        dtype=torch.bfloat16,
        enabled=use_bf16
    ):
        output = model(data)
        loss = nn.functional.mse_loss(output, target)

    # 缩放损失并执行反向传播
    # 如果 scaler 被禁用,scaler.scale(loss) 不会执行任何操作
    scaler.scale(loss).backward()

    # 优化器步进(如果 scaler 启用则取消梯度缩放)
    scaler.step(optimizer)

    # 更新 scaler 以进行下一次迭代(如果 BF16 禁用则可选)
    scaler.update()

    print(f"损失: {loss.item():.4f}")

在此示例中:

  1. 我们使用 torch.cuda.is_bf16_supported() 检查硬件是否支持 BF16BF16BF16。
  2. 我们初始化 GradScaler 但将其 enabled 设置为 False。虽然损失缩放可以与 BF16BF16BF16 一起使用,但由于该格式的范围较宽,通常没有必要。禁用它可简化代码并消除与缩放检查相关的开销。如果您仍然遇到稳定性问题,可以考虑启用它,尽管这种情况比 FP16FP16FP16 少见。
  3. 在训练循环内部,torch.autocast 与 dtype=torch.bfloat16 一起使用。这指示 PyTorch 自动将块内的操作在安全且有利的情况下(通常是矩阵乘法和卷积)转换为 BF16BF16BF16,同时将其他操作(如归约)保留在 FP32FP32FP32 中以确保数值稳定性。
  4. scaler.scale(loss).backward() 和 scaler.step(optimizer) 调用在 scaler 启用或禁用时都能正确执行。如果禁用,它们实质上会成为损失和优化器步进的透传操作。

总结:FP16 与 BF16 的选择

FP16FP16FP16 和 BF16BF16BF16 之间的选择取决于几个因素:

  1. 硬件支持: BF16BF16BF16 需要较新的硬件(NVIDIA Ampere+、Google TPU)。如果使用较旧的硬件,FP16FP16FP16 可能是16位精度的唯一选择。
  2. 训练稳定性: BF16BF16BF16 的主要优势在于其类似 FP32FP32FP32 的动态范围,显著降低了溢出/下溢的风险,并且通常无需细致的损失缩放调整。如果 FP16FP16FP16 的稳定性难以管理,BF16BF16BF16(如果可用)是一个有力的替代方案。
  3. 精度要求: FP16FP16FP16 提供略高的精度(更多的尾数位)。如果特定任务对数值精度高度敏感,FP16FP16FP16 可能会产生略好的结果,前提是能保持稳定性。然而,对于许多大型模型训练任务而言,与 BF16BF16BF16 的稳定性优势相比,这种差异通常可以忽略不计。

在实践中,如果您的硬件支持 BF16BF16BF16,它通常是训练大型语言模型的首选,因为它易于使用且具有内在的稳定性,简化了混合精度训练的配置。它提供了与 FP16FP16FP16 几乎相同的内存和速度优势,但避免了管理狭窄动态范围的重大麻烦。

  • Automatic Mixed Precision (AMP), PyTorch Team, 2025 (PyTorch Documentation) - PyTorch自动混合精度(AMP)功能的官方文档,包括torch.autocast和GradScaler与bfloat16的使用。
  • Mixed-Precision Training, NVIDIA Developer Documentation, 2024 (NVIDIA) - NVIDIA关于混合精度训练技术的指南,包括FP16和BF16的详细信息、硬件支持以及NVIDIA GPU的性能考量。
  • Mixed-Precision Training of Deep Neural Networks, Paulius Micikevicius, Sharan Narang, Jonah Alben, Gregory Diamos, Erich Elsen, David Garcia, Boris Ginsburg, Michael Houston, Oleksii Kuchaiev, Ganesh Venkatesh, Hao Wu, 2018 International Conference on Learning Representations (ICLR) DOI: 10.48550/arXiv.1710.03740 - 介绍了像损失缩放等用于稳定FP16训练的有效技术,为理解BF16更宽范围的价值提供了基础背景。

© 2026 ApX Machine Learning