ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

PyTorch入门
章节 1: PyTorch 入门与环境搭建
PyTorch 是什么?
安装与环境配置
张量介绍
创建张量
基本张量操作
与 NumPy 的关联
动手实践:环境配置与张量基本操作
第 1 章测验
章节 2: 高级张量操作
张量索引与切片
张量的重塑与维度调整
张量的合并与分割
理解广播机制
张量数据类型
CPU 与 GPU 张量
练习:张量操作技巧
第 2 章测验
章节 3: Autograd 自动微分
自动微分的原理
PyTorch 计算图
张量与梯度计算 (requires_grad)
执行反向传播 (backward())
访问梯度(.grad)
禁用梯度追踪
梯度累积
动手实践:Autograd 运用
第 3 章测验
章节 4: 使用 torch.nn 搭建模型
torch.nn.Module 基类
定义自定义网络架构
常见层:线性、卷积、循环
激活函数 (ReLU, Sigmoid, Tanh)
简单模型的顺序容器
损失函数 (torch.nn 损失)
优化器 (torch.optim)
练习:构建一个简单网络
第 4 章测验
章节 5: 高效数据处理
对专用数据加载器的需求
使用 torch.utils.data.Dataset
内置数据集(例如:TorchVision)
数据变换 (torchvision.transforms)
使用 torch.utils.data.DataLoader
自定义DataLoader用法
动手实践:构建数据处理流程
第 5 章测验
章节 6: 实现训练循环
训练循环的构成
设置模型、损失函数和优化器
使用 DataLoader 遍历数据
前向传播:获取预测结果
计算损失
反向传播:计算梯度
使用优化器更新权重
梯度清零
实现评估循环
保存和加载模型检查点
动手实践:完整训练流程
第 6 章测验
章节 7: 常用模型结构介绍
卷积神经网络 (CNN) 概述
在PyTorch中构建一个简单的CNN
理解CNN层的输入/输出形状
循环神经网络 (RNN) 概述
在PyTorch中构建一个简单的RNN
循环神经网络(RNN)的序列数据输入处理
LSTM 和 GRU 简要介绍
实践:实现基本CNN和RNN
第 7 章测验
章节 8: 监控与调试模型
PyTorch开发中常见错误
调试张量形状不匹配
检查设备放置 (CPU/GPU)
检查梯度问题(消失/爆炸)
使用 TensorBoard 可视化训练进度
训练/评估期间的指标记录
在 PyTorch 中使用 Python 调试器 (pdb)
实践:调试与可视化
第 8 章测验

检查梯度问题(消失/爆炸)

有效的训练依赖于反向传播 (backpropagation)期间计算的梯度。这些梯度引导优化器更新模型参数 (parameter)以最小化损失函数 (loss function)。然而,这些梯度的大小有时会成为问题,导致训练不稳定或停滞。两个常见问题是梯度消失和梯度爆炸。了解如何检查梯度是诊断训练中出现的问题的一项重要技能。

理解梯度问题

在反向传播 (backpropagation)过程中,梯度使用链式法则逐层计算。在深度网络中,这涉及将许多小数字(导数)相乘。

  • 梯度消失: 当梯度从输出层向初始层反向传播时变得极其小,就会发生这种情况。结果是,初始层的权重 (weight)和偏置 (bias)更新得非常缓慢,甚至完全不更新。网络基本上停止从早期层的数据中学习有意义的特征。这在深度网络中尤其常见,当使用 sigmoid 或 tanh 等激活函数 (activation function)时,这些函数在大多数区域的导数都小于 1。
  • 梯度爆炸: 这是相反的问题,即在反向传播过程中梯度变得过大。大梯度会导致模型权重发生显著更新。这可能导致优化过程变得不稳定,损失剧烈波动甚至变成 NaN(非数字),从而有效地停止训练。梯度爆炸可能由于不佳的权重初始化、过高的学习率或某些网络结构引起,尤其是在循环神经网络 (neural network) (RNN)中。

在 PyTorch 中检测梯度问题

PyTorch 的 Autograd 系统计算梯度,并将其存储在 requires_grad=True 的张量的 .grad 属性中。这些梯度在 loss.backward() 调用后即可访问,并在 optimizer.step() 更新模型参数 (parameter)或 optimizer.zero_grad() 清除梯度之前保持可用。

监控整体梯度范数

一个常用做法是监控模型中所有可训练参数的梯度整体大小(范数)。L2 范数(欧几里得范数)是常用的一种。非常小的范数表明梯度消失,而非常大或 NaN 的范数则表明梯度爆炸。

以下是在训练循环中计算并记录总梯度范数的方法:

# 在训练循环中,在 loss.backward() 之后

total_norm = 0
for p in model.parameters():
    if p.grad is not None:
        param_norm = p.grad.detach().data.norm(2) # 计算此参数梯度的 L2 范数
        total_norm += param_norm.item() ** 2      # 平方和
total_norm = total_norm ** 0.5                   # 平方和的平方根

print(f"总梯度范数: {total_norm}")
# 通常,你会使用 TensorBoard 或其他日志框架来记录此值

随时间监控此值可以提供信息:

模型梯度总 L2 范数随训练步数变化的趋势,以对数尺度显示。稳定的训练显示相对一致的范数,梯度爆炸显示快速增加(常导致 NaN),梯度消失则显示趋近于零的下降。

逐层检查梯度

有时,梯度问题可能局限于特定层。你可以直接检查单个参数的梯度。

# 在训练循环中,在 loss.backward() 之后

# 示例:检查第一个卷积层的权重梯度
if hasattr(model, 'conv1') and model.conv1.weight.grad is not None:
    conv1_grad_mean = model.conv1.weight.grad.abs().mean().item()
    conv1_grad_max = model.conv1.weight.grad.abs().max().item()
    print(f"层 conv1 - 平均绝对梯度: {conv1_grad_mean:.6f}, 最大绝对梯度: {conv1_grad_max:.6f}")

# 示例:检查特定线性层的偏置梯度
if hasattr(model, 'fc2') and model.fc2.bias.grad is not None:
    fc2_bias_grad_norm = model.fc2.bias.grad.norm(2).item()
    print(f"层 fc2 (偏置) - L2 范数: {fc2_bias_grad_norm:.6f}")

查看平均或最大绝对梯度值,或特定层的范数,可以帮助确定梯度是在减小还是在不受控制地增长。使用直方图(例如,使用 Matplotlib 或通过 TensorBoard 记录)来可视化某一层的梯度值分布也很有用。

使用钩子进行更细致的检查

为了进行更详细的调试,PyTorch 提供了钩子。可以在任何 nn.Module 上注册一个反向钩子(register_full_backward_hook)。当为该模块计算了梯度时,此钩子会执行,允许你检查甚至修改通过它的梯度(grad_input,grad_output)。尽管功能强大,但钩子会增加复杂性,通常在简单检查方法不足时使用。

观察损失行为

间接来看,训练损失本身就是一个强有力的指示器。

  • 损失变为 NaN: 几乎总是梯度爆炸或数学上无效操作(如 log(0))的迹象。
  • 损失下降极其缓慢或过早停滞: 可能是梯度消失的症状,特别是如果涉及初始层。
  • 损失剧烈波动: 可能表示梯度爆炸或学习率过高。

缓解的初步措施

检测梯度问题是第一步。解决这些问题通常涉及其他地方更详细介绍的技术,但常见策略包括:

  • 梯度裁剪: 对于梯度爆炸,在优化器步骤之前限制梯度的最大范数或值。torch.nn.utils.clip_grad_norm_ 或 torch.nn.utils.clip_grad_value_ 是标准实用工具。
  • 激活函数 (activation function): 在深度网络中用 ReLU 或其变体(Leaky ReLU, PReLU, ELU)替换 sigmoid/tanh,这些函数通常具有问题较少的导数特性。
  • 权重 (weight)初始化: 使用旨在维持各层方差的初始化方案,例如 Xavier/Glorot 或 He 初始化。
  • 批量归一化 (normalization): 通过归一化层输入,有助于稳定学习并可以缓解梯度消失/爆炸问题。
  • 网络架构: 使用跳跃连接或残差连接(如 ResNets 中)为梯度流动提供替代路径,从而在非常深的神经网络 (neural network)中对抗梯度消失。
  • 学习率调整: 降低学习率有时可以帮助解决梯度爆炸问题,尽管它可能无法解决根本原因。

模型工作后,你不一定需要在每次训练运行时都检查梯度,但当训练不稳定或无效时,它是一个必不可少的诊断工具。通过监控梯度范数和检查单个层的梯度,你可以获得关于训练动态的有价值信息,并发现潜在的梯度消失或梯度爆炸问题。

  • Deep Learning, Ian Goodfellow, Yoshua Bengio, and Aaron Courville, 2016 (MIT Press) - 一本全面的教科书,提供了深度学习的理论背景,包括反向传播、梯度消失/爆炸以及各种缓解策略的详细解释。
  • Autograd mechanics, PyTorch Contributors, 2023 (PyTorch) - PyTorch官方文档,详细说明了如何使用Autograd系统计算、存储和访问梯度,这对于检测和调试梯度问题至关重要。
  • Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift, Sergey Ioffe and Christian Szegedy, 2015 Proceedings of the 32nd International Conference on Machine Learning (ICML), Vol. 37 DOI: 10.48550/arXiv.1502.03167 - 介绍了批标准化,这是一种通过归一化层输入来稳定和加速深度神经网络训练的常用技术,从而有助于缓解梯度消失/爆炸问题。
  • Deep Residual Learning for Image Recognition, Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun, 2016 Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (IEEE) DOI: 10.1109/CVPR.2016.90 - 提出了带有跳跃连接的残差网络(ResNets),这是一种通过提供替代梯度路径来有效解决超深网络中梯度消失问题的基础架构。

© 2026 ApX Machine Learning