ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

循环神经网络与序列建模
章节 1: 序列数据简介
理解序列数据
序列数据的特点
序列模型的需求
将序列数字表示
常见的序列建模任务
第 1 章测验
章节 2: 循环神经网络基本原理
核心思想:迭代处理序列
简单RNN架构
隐藏状态的作用
RNN 单元的数学表述
循环神经网络中的信息流动
沿时间的反向传播 (BPTT)
展开网络进行训练
第 2 章测验
章节 3: 构建简单RNN
搭建开发环境
RNN 单元实现
使用框架API构建简单RNN层
处理输入与输出形状
构建一个简单RNN模型
RNN 的训练循环
动手实践:简单序列预测
第 3 章测验
章节 4: RNN训练中的难点
梯度消失问题
梯度爆炸问题
长期依赖学习的影响
梯度裁剪解析
权重初始化策略
激活函数考量
第 4 章测验
章节 5: 长短期记忆 (LSTM) 网络
通过门控应对循环神经网络的局限
LSTM单元结构
遗忘门
输入门
更新细胞状态
输出门
LSTM单元中的信息流动
LSTM 的优势
第 5 章测验
章节 6: 门控循环单元 (GRUs)
介绍GRU:一种更简洁的门控架构
GRU 单元结构
更新门
重置门
计算候选隐藏状态
计算最终隐藏状态
GRU与LSTM的比较
计算效率考量
何时选择 GRU 或 LSTM
第 6 章测验
章节 7: 实现 LSTM 和 GRU
在深度学习框架中使用LSTM层
在深度学习框架中使用GRU层
配置 LSTM/GRU 层参数
堆叠循环层
理解双向循环神经网络
实现双向层
动手实践:情感分析
第 7 章测验
章节 8: 为循环神经网络准备序列数据
文本数据预处理概述
分词与词汇表构建
整数编码序列
嵌入层介绍
处理变长序列
序列填充
填充值的掩码处理
序列数据批处理
时间序列数据预处理
实践:数据准备流程
第 8 章测验
章节 9: 序列建模应用方法
序列预测方法
时间序列预测模型
序列分类技术
文本分类模型
序列生成方法
文本生成模型
编码器-解码器架构简介
注意力机制概览
实战:时间序列预测
第 9 章测验
章节 10: 评估与调优序列模型
序列分类的评估指标
序列预测的评估指标
序列生成模型的评估指标
可视化模型行为
超参数调整策略
RNN的正则化方法
常见训练问题的排查
实践:调整RNN模型
第 10 章测验

权重初始化策略

梯度消失和梯度爆炸问题在训练循环神经网络 (neural network) (RNN)时带来显著的难题,特别是在许多时间步上。时间反向传播 (backpropagation)(BPTT)涉及对相同的循环权重 (weight)矩阵(在我们简单的RNN公式中为WhhW_{hh}Whh​)进行重复乘法。如果权重的大小(或更准确地说,权重矩阵的特征值或奇异值)持续小于1,梯度在反向传播时会呈指数级缩小。反之,如果它们持续大于1,梯度会呈指数级增长。在训练开始时初始化网络权重的方式,对于为稳定的梯度流动做好准备起着重要作用。

随机初始化权重是标准做法,但这些随机值的尺度和分布非常重要。简单的初始化策略,例如从非常小范围的均匀分布(如U[−0.01,0.01]U[-0.01, 0.01]U[−0.01,0.01])或具有微小标准差的高斯分布中提取权重,通常直接导致梯度消失,特别是在深度网络或展开许多步骤的RNN中。同样,使用过大的值进行初始化会从一开始就引发梯度爆炸。

现代深度学习 (deep learning)依赖于更符合原理的初始化方法,这些方法旨在保持信息通过层向前传播时的信号方差,以及误差向后传播时的梯度方差。

Glorot (Xavier) 初始化

由Glorot和Bengio(2010年)提出,此方法旨在使激活和梯度的方差在各层之间保持近似不变。它假设使用对称激活函数 (activation function),如双曲正切(tanh),这在简单RNN和LSTM/GRU中很常见。其核心思想是根据给定层(或权重 (weight)矩阵)的输入单元数(ninn_{in}nin​)和输出单元数(noutn_{out}nout​)来缩放初始权重。

  • Glorot 均匀分布: 权重从均匀分布中抽取: W∼U[−6nin+nout,6nin+nout]W \sim U\left[-\sqrt{\frac{6}{n_{in} + n_{out}}}, \sqrt{\frac{6}{n_{in} + n_{out}}}\right]W∼U[−nin​+nout​6​​,nin​+nout​6​​]
  • Glorot 正态分布: 权重从均值为零、方差为以下值的正态分布中抽取: σ2=2nin+nout\sigma^2 = \frac{2}{n_{in} + n_{out}}σ2=nin​+nout​2​

对于一个RNN单元,ninn_{in}nin​通常是输入特征向量 (vector)的大小加上隐藏状态的大小,noutn_{out}nout​则是隐藏状态的大小。许多深度学习 (deep learning)框架将Glorot初始化作为全连接层和循环层的默认设置。

He 初始化

由He等人(2015年)开发,此初始化方案专门为使用修正线性单元(ReLU)激活函数 (activation function)及其变体(Leaky ReLU、ELU)的层设计。由于ReLU不对称且会将负输入置为零,因此其方差动态与tanh不同。He初始化考虑了这一点。

  • He 均匀分布: 权重 (weight)从均匀分布中抽取: W∼U[−6nin,6nin]W \sim U\left[-\sqrt{\frac{6}{n_{in}}}, \sqrt{\frac{6}{n_{in}}}\right]W∼U[−nin​6​​,nin​6​​]
  • He 正态分布: 权重从均值为零、方差为以下值的正态分布中抽取: σ2=2nin\sigma^2 = \frac{2}{n_{in}}σ2=nin​2​

请注意,He初始化仅考虑输入单元数(ninn_{in}nin​)。虽然ReLU作为单元内的主要循环激活函数较不常见(因为无界激活可能导致不稳定),但它可能用于更复杂单元内的前馈连接或输出层。如果大量使用类似ReLU的激活函数,He初始化通常更受青睐。

正交初始化

针对RNN而言,循环权重 (weight)矩阵(WhhW_{hh}Whh​)在每个时间步都被重复应用。正交矩阵具有保持其所乘向量 (vector)的范数(长度)不变的属性。将WhhW_{hh}Whh​初始化为(或接近于)一个正交矩阵,理论上可以帮助在BPTT期间保持梯度范数,从而减轻梯度消失和梯度爆炸问题。

在初始化时实现完美的正交性通常涉及对初始随机矩阵进行奇异值分解(SVD),将奇异值设置为1,然后重构矩阵等方法。虽然计算上比Glorot或He稍微复杂一些,但它对于普通RNN或LSTM/GRU中的循环权重特别有效,尤其是在处理非常长的序列时。框架可能提供此选项作为特定的初始化器(例如,tf.keras.initializers.Orthogonal 或 torch.nn.init.orthogonal_)。

实际考量

  • 框架默认设置: 了解你所选深度学习 (deep learning)库(TensorFlow/Keras、PyTorch)使用的默认初始化器。它们通常默认为Glorot/Xavier,这是一个合理的起点。
  • 自定义: 框架允许你为循环层内的不同权重 (weight)矩阵(例如,输入权重、循环权重、偏置 (bias))指定不同的初始化器。你可以尝试将正交初始化专门用于循环权重(WhhW_{hh}Whh​),同时将Glorot或He用于输入权重(WxhW_{xh}Wxh​)。
  • 偏置初始化: 偏置通常初始化为零,尽管有时建议将LSTM遗忘门的偏置初始化为一个小的正值(例如1.0),以鼓励在训练开始时默认记住信息。

尽管精密的初始化有助于建立一个良好的训练起点,但它并不能完全消除梯度问题,特别是对于非常深的网络或长序列。它作为一项重要的预防措施,通常与梯度裁剪(将在下文讨论)以及LSTM和GRU等架构(将在后续章节介绍)结合使用,这些架构本身对这些问题更具鲁棒性。选择合适的初始化策略是配置RNN模型以实现成功训练的基本步骤。

  • Understanding the difficulty of training deep feedforward neural networks, Xavier Glorot, Yoshua Bengio, 2010 Proceedings of the Thirteenth International Conference on Artificial Intelligence and Statistics, Vol. 9 (PMLR) DOI: 10.5598/AISTATS.2010.53 - 介绍了Xavier(Glorot)初始化方法,用于在具有对称激活函数的深度网络中保持稳定的信号方差。
  • Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification, Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun, 2015 Proceedings of the IEEE International Conference on Computer Vision (ICCV) (IEEE) DOI: 10.1109/ICCV.2015.122 - 提出了适用于ReLU激活函数的He初始化方法,确保深度网络中恰当的方差缩放。
  • Exact solutions to the nonlinear dynamics of learning in deep linear neural networks, Andrew M. Saxe, James L. McClelland, Stephen Ganguli, 2014 International Conference on Learning Representations (ICLR) DOI: 10.48550/arXiv.1312.6120 - 为正交矩阵如何在深度网络中保持信号和梯度范数提供了理论基础,与循环权重初始化有关。
  • Deep Learning, Ian Goodfellow, Yoshua Bengio, Aaron Courville, 2016 (MIT Press) - 一本涵盖各种神经网络主题的教科书,包括初始化策略和RNN面临的挑战。
  • torch.nn.init, PyTorch Authors, 2023 (PyTorch) - PyTorch中权重初始化函数的官方文档,展示了所讨论策略的实际实现。

© 2026 ApX Machine Learning