ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

大师班

如何构建大语言模型
章节 1: 大型语言模型概论
定义大型语言模型
序列建模的历史背景
规模的重要性
计算方面的挑战概览
软件与硬件环境
章节 2: 大型语言模型的数学预备知识
线性代数回顾:向量与矩阵
微积分回顾:梯度与优化
概率与统计基础知识
数值稳定性考量
本课程中使用的符号表示
章节 3: 回顾序列处理架构
循环神经网络 (RNN) 的基本内容
简单RNN的局限性
长短期记忆(LSTM)网络
门控循环单元 (GRU)
基于RNN的序列到序列模型
章节 4: Transformer 架构
通过注意力机制解决循环问题
缩放点积注意力
多头注意力机制
位置编码方法
编码器与解码器堆叠
层归一化与残差连接的作用
章节 5: 大词汇量分词
子词分词的必要性
字节对编码 (BPE) 算法
WordPiece 分词
SentencePiece 实现
处理特殊分词
词汇量大小选择的权衡
章节 6: 大规模文本数据的获取与收集
确定潜在数据来源
使用 Common Crawl 数据
规模化网页抓取技术
使用开放许可数据集
数据获取的法律考量
章节 7: 数据清洗与预处理流水线
质量筛选策略
文本标准化方法
处理冗余内容与标记删除
近似重复和精确重复检测
语种识别与过滤
构建可扩展的预处理流水线
章节 8: 建立和管理大规模数据集
数据存储格式(文本、Arrow、Parquet)
分布式文件系统 (HDFS, S3)
数据索引用于高效检索
数据集版本管理与复现性
用于训练的流式数据加载器
章节 9: 训练中的数据取样策略
数据配比的重要性
来源权重策略
基于温度的采样
课程学习简介
数据步进与退火调度
章节 10: 从零开始实现Transformer
设置项目环境
实现缩放点积注意力
构建多头注意力层
实现位置感知前馈网络
构建编码器层和解码器层
组装完整的Transformer模型
章节 11: Transformer模型规模化:架构选择
神经网络语言模型的缩放定律
深度与宽度取舍
激活函数选择 (ReLU, GeLU, SwiGLU)
规范化层放置位置(前置LN vs. 后置LN)
稀疏注意力机制简介
章节 12: 深度网络的初始化方法
恰当初始化的重要性
Xavier(Glorot)初始化
Kaiming (何) 初始化
Transformer组件中的初始化
末尾层的小初始化
章节 13: 位置编码的变体
绝对位置编码的局限性
相对位置编码的原理
Shaw 等人的相对位置实现
Transformer-XL 相对位置编码
旋转位置编码 (RoPE)
章节 14: 高级架构改进
参数高效微调的需求
Transformer的适配器模块
专家混合模型 (MoE) 简介
MoE 中的路由机制
MoE 层中的负载均衡
章节 15: 分布式训练策略
动机:为什么要进行分布式训练?
数据并行 (DP)
张量并行 (TP)
流水线并行 (PP)
混合并行策略 (DP+TP, DP+PP等)
通信开销分析
章节 16: 实现分布式训练框架
分布式训练库概述
DeepSpeed 介绍
使用 DeepSpeed ZeRO 优化
Megatron-LM 介绍
配置 Megatron-LM 中的张量和流水线并行
结合框架与策略
章节 17: LLMs的优化算法
梯度下降算法变体回顾 (SGD, 动量)
自适应优化器:Adam和AdamW
学习率调度策略
梯度裁剪方法
选择优化器超参数 (lr, betas, eps, weight_decay)
章节 18: 大型语言模型训练的硬件考量
GPU 架构 (NVIDIA Ampere, Hopper)
TPU 架构(Google TPU)
内存需求(HBM、GPU显存)
互连技术 (NVLink, InfiniBand)
硬件选择的权衡 (成本、性能、可用性)
章节 19: 检查点和容错
长时间训练中检查点的必要性
保存模型状态(权重、优化器状态)
处理分布式检查点
异步检查点与同步检查点
检查点频率与存储管理
从检查点恢复训练
章节 20: 混合精度训练方法
浮点数格式(FP32、FP16、BF16)简介
低精度的好处(速度、内存)
FP16训练中的挑战(范围问题)
损失缩放技术
使用 BF16 (BFloat16) 格式
框架对混合精度(AMP)的支持
章节 21: 内在评估指标
语言模型评估方法
困惑度:定义与计算
理解困惑度得分
每字符/词比特数
分词对困惑度的影响
章节 22: 下游任务外部评估
下游任务评估的理由
常见下游自然语言处理任务
评估时的微调步骤
标准基准:GLUE 和 SuperGLUE
少量示例和零示例评估
开发定制评估任务
章节 23: 分析模型行为
解读大型语言模型的难题
注意力图可视化
探查内部表示
神经元激活分析
找出失效模式
章节 24: 识别与应对训练不稳定现象
不稳定性常见表现
监控训练指标(损失、梯度范数)
诊断损失飙升
调试数值精度问题
稳定方法回顾(梯度裁剪、学习率、预热)
架构选择对稳定性的影响
章节 25: 对齐微调:监督式微调 (SFT)
大型语言模型对齐的目标
监督微调(SFT)介绍
构建高质量指令数据集
SFT数据格式(提示词,回应)
SFT训练过程与超参数
评估SFT模型对齐目标
章节 26: 人类反馈强化学习 (RLHF)
RLHF 流程概述
收集人类偏好数据
训练奖励模型 (RM)
近端策略优化 (PPO) 介绍
RL PPO 微调
KL散度惩罚的作用
RLHF中的挑战与考量
替代方法:直接偏好优化 (DPO)
章节 27: 模型压缩技术
模型压缩的动因
权重量化 (INT8, INT4)
激活量化考量
网络剪枝(结构化与非结构化)
知识蒸馏
评估性能与压缩的权衡
章节 28: 高效推理策略
自回归解码中的挑战
键值(KV)缓存
优化的注意力实现 (FlashAttention)
吞吐量批处理策略
推测解码
章节 29: 大规模部署大型语言模型
LLM 交互的 API 设计
模型服务框架 (Triton, TorchServe)
处理并发请求
跨模型实例的负载均衡
监控服务性能和成本
章节 30: 持续训练与模型更新
持续改进的缘由
持续预训练策略
持续微调(SFT/RLHF)的策略
安全地整合新数据源
模型架构变动后的更新
版本管理、部署与回滚策略

监控训练指标(损失、梯度范数)

有效的监控是应对可能破坏大规模语言模型训练稳定性的第一道防线。仅仅启动持续数天或数周的训练任务并寄希望于最好的结果是不现实的。相反,工程师需要通过重要的度量指标持续观察模型的行为。这有助于尽早发现问题,从而在大量计算资源被浪费之前进行及时干预。诊断训练状态最有用的两个度量指标是训练损失和梯度范数。

跟踪训练损失

训练损失量化 (quantization)了模型在任何给定时刻对训练数据的表现。对于语言模型而言,这通常是交叉熵损失等度量,它反映了模型在预测下一个词元 (token)时的不确定性。

预期表现: 在正常的训练过程中,损失通常会随时间下降,在早期阶段迅速下降,然后随着训练进行而变慢,最终在模型收敛时趋于平稳。轻微的波动是正常的,但总体趋势应是下降的。

不稳定迹象:

  • 损失骤升: 损失值突然急剧增加。这通常表明模型遇到了有问题的数据批次,或者学习率过高,导致更新不稳定。
  • NaN 或 Inf 损失: 损失值变为 NaN(非数值)或无穷大。这是一个严重故障,通常由数值溢出(例如除以零、对零或负数取对数)或梯度爆炸引起。一旦出现 NaN,训练就无法继续。
  • 发散: 损失随时间持续增加,表明模型的预测越来越差,而不是变好。
  • 震荡: 损失剧烈波动,没有明确的下降趋势,可能表明学习率、优化算法稳定性或数据质量存在问题。

实现: 在标准训练循环中记录损失是简单直接的。通常在前向传播之后计算损失,并定期记录其值。

import torch
import torch.nn as nn
# 假设 model、data_loader、optimizer 已定义

# 示例日志记录设置(可以使用 TensorBoard、WandB 等)
def log_metric(step, metric_name, value):
    # 替换为你的实际日志记录实现
    print(f"步骤 {step}: {metric_name} = {value:.4f}")

global_step = 0
for batch in data_loader:
    optimizer.zero_grad()

    # 假设 inputs 和 targets 是从批次中获取的
    inputs = batch['input_ids'].to('cuda')
    targets = batch['labels'].to('cuda')

    outputs = model(inputs)
    # 假设损失计算涉及为交叉熵进行形状重塑
    loss_fct = nn.CrossEntropyLoss()
    loss = loss_fct(outputs.view(-1, model.config.vocab_size), targets.view(-1))

    # 记录损失(例如,每 10 步)
    if global_step % 10 == 0:
        log_metric(global_step, "train_loss", loss.item())

    loss.backward()
    optimizer.step()
    global_step += 1

    # 尽早检查是否存在 NaN 损失
    if torch.isnan(loss):
        print(f"在步骤 {global_step} 检测到 NaN 损失!停止训练。")
        break

随时间可视化损失曲线很重要。诸如 TensorBoard 或 Weights & Biases 等工具使这变得容易。

示例损失曲线显示了稳定的训练、突然的损失骤升以及损失随时间增加的发散情况。请注意对数 Y 轴,这在查看损失时很常见。

监控梯度范数

梯度是指示损失函数 (loss function)最陡峭上升方向和大小的向量 (vector)。该向量的范数(通常是 L2 范数,∣∣ablaL∣∣2|| abla L||_2∣∣ablaL∣∣2​)度量其大小。监控梯度范数提供了关于应用于模型权重 (weight)更新尺度的见解。

∣∣∇L∣∣2=∑p∈参数∣∣∇pL∣∣22||\nabla L||_2 = \sqrt{\sum_{p \in \text{参数}} ||\nabla_p L||_2^2}∣∣∇L∣∣2​=p∈参数∑​∣∣∇p​L∣∣22​​

ablapL abla_p Lablap​L 是损失 LLL 相对于特定参数 (parameter)张量 ppp 的梯度。

为何它重要:

  • 梯度爆炸: 过大的梯度范数表明权重更新将非常大,可能导致数值溢出、损失骤升和发散。这是训练不稳定的常见原因,尤其是在深度网络中。
  • 梯度消失: 非常小或为零的梯度范数表明更新极小或不存在,导致训练停滞。尽管与旧的 RNN 相比,这在 Transformer 中作为灾难性故障较不常见(归因于残差连接和归一化 (normalization)),但它仍然会阻碍收敛。
  • 学习率的合适性: 梯度范数与学习率有关联。持续较高的范数可能表明学习率需要降低,而持续微小的范数(在某些情况下)可能需要增加,尽管梯度消失更多是架构或初始化问题。

预期表现: 梯度范数通常开始时较高,并随着模型收敛和损失在最小值附近趋于平坦而下降。然而,其行为高度依赖于学习率调度、优化器和数据。可能会出现显著波动,但极端大的值是一个危险信号。

不稳定迹象:

  • 突然的大幅骤升: 比平时大几个数量级的值通常在 NaN 损失或显著损失骤升之前发生。这是梯度爆炸的显著特征。
  • 持续接近零: 如果梯度范数在训练早期变得非常小并保持如此,可能表明存在梯度消失问题或初始化问题。

实现: 计算总梯度范数需要在调用 loss.backward() 之后但在调用 optimizer.step() 之前遍历所有模型参数。梯度裁剪,一种稍后讨论的技术,通常无论如何都会涉及计算这个范数。

import torch
import torch.nn as nn
from torch.nn.utils import clip_grad_norm_
# 假设 model、data_loader、optimizer 已定义,log_metric 已定义

global_step = 0
# 定义用于裁剪的最大梯度范数值(在稳定性技术中讨论)
max_grad_norm = 1.0

for batch in data_loader:
    optimizer.zero_grad()

    # --- 前向传播和损失计算,如前所述 ---
    inputs = batch['input_ids'].to('cuda')
    targets = batch['labels'].to('cuda')
    outputs = model(inputs)
    loss_fct = nn.CrossEntropyLoss()
    loss = loss_fct(
        outputs.view(-1, model.config.vocab_size),
        targets.view(-1)
    )

    # 记录损失
    if global_step % 10 == 0:
        log_metric(global_step, "train_loss", loss.item())

    if torch.isnan(loss):
        print(f"在步骤 {global_step} 检测到 NaN 损失!停止训练。")
        break

    loss.backward()

    # --- 在优化器步骤之前计算并记录梯度范数 ---
    # 创建参数梯度的生成器
    grads = [p.grad for p in model.parameters() if p.grad is not None]
    if len(grads) > 0:
      # 计算所有梯度的 L2 范数
      total_norm = torch.norm(
          torch.stack([
              torch.norm(g.detach(), 2.0) for g in grads
          ]),
          2.0
      )

      # 记录梯度范数(例如,每 10 步)
      if global_step % 10 == 0:
          log_metric(global_step, "grad_norm", total_norm.item())

      # 可选:裁剪梯度(常见做法)
      # clip_grad_norm_(model.parameters(), max_grad_norm)

      # 检查梯度爆炸
      if total_norm > 100 * max_grad_norm: # Heuristic threshold
            print(
                f"警告:在步骤 {global_step} 检测到高梯度范数({total_norm:.2f})"
            )
    else:
        # 处理没有梯度的情况
        # (例如,如果模型没有可训练参数)
        if global_step % 10 == 0:
            log_metric(global_step, "grad_norm", 0.0)


    optimizer.step()
    global_step += 1

可视化梯度范数以及损失,提供了关于训练动态的更完整情况。

示例梯度 L2 范数曲线显示了稳定的下降和范数急剧增加的梯度爆炸情况。

通过仔细监控训练损失和梯度范数,您能对训练过程获得必要的了解。这些度量指标充当早期预警系统,使您能够在潜在不稳定情况升级为严重故障之前发现它们,从而节省宝贵的时间和计算资源。这些曲线中的异常是诊断具体根本问题的起点,我们将在接下来的内容中查看。

  • Deep Learning, Ian Goodfellow, Yoshua Bengio, and Aaron Courville, 2016 (MIT Press) - 提供神经网络训练的核心理论,包括优化、损失函数以及梯度爆炸/消失等问题。
  • CS224n: Natural Language Processing with Deep Learning, Diyi Yang, Tatsunori Hashimoto, 2023 (Stanford University) - 自然语言处理深度学习课程材料,涵盖语言模型训练实践、优化和监控指标。
  • Scaling Laws for Neural Language Models, Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, and Dario Amodei, 2020 arXiv preprint arXiv:2001.08361 DOI: 10.48550/arXiv.2001.08361 - 研究论文分析大型语言模型训练损失与模型及数据集规模的行为关系,为性能设定预期。

© 2026 ApX Machine Learning