趋近智
循环神经网络与序列建模
章节 1: 序列数据简介
理解序列数据
序列数据的特点
序列模型的需求
将序列数字表示
常见的序列建模任务
章节 2: 循环神经网络基本原理
核心思想：迭代处理序列
简单RNN架构
隐藏状态的作用
RNN 单元的数学表述
循环神经网络中的信息流动
沿时间的反向传播 (BPTT)
展开网络进行训练
章节 3: 构建简单RNN
搭建开发环境
RNN 单元实现
使用框架API构建简单RNN层
处理输入与输出形状
构建一个简单RNN模型
RNN 的训练循环
动手实践：简单序列预测
章节 4: RNN训练中的难点
梯度消失问题
梯度爆炸问题
长期依赖学习的影响
梯度裁剪解析
权重初始化策略
激活函数考量
章节 5: 长短期记忆 (LSTM) 网络
通过门控应对循环神经网络的局限
LSTM单元结构
遗忘门
输入门
更新细胞状态
输出门
LSTM单元中的信息流动
LSTM 的优势
章节 6: 门控循环单元 (GRUs)
介绍GRU：一种更简洁的门控架构
GRU 单元结构
更新门
重置门
计算候选隐藏状态
计算最终隐藏状态
GRU与LSTM的比较
计算效率考量
何时选择 GRU 或 LSTM
章节 7: 实现 LSTM 和 GRU
在深度学习框架中使用LSTM层
在深度学习框架中使用GRU层
配置 LSTM/GRU 层参数
堆叠循环层
理解双向循环神经网络
实现双向层
动手实践：情感分析
章节 8: 为循环神经网络准备序列数据
文本数据预处理概述
分词与词汇表构建
整数编码序列
嵌入层介绍
处理变长序列
序列填充
填充值的掩码处理
序列数据批处理
时间序列数据预处理
实践：数据准备流程
章节 9: 序列建模应用方法
序列预测方法
时间序列预测模型
序列分类技术
文本分类模型
序列生成方法
文本生成模型
编码器-解码器架构简介
注意力机制概览
实战：时间序列预测
章节 10: 评估与调优序列模型
序列分类的评估指标
序列预测的评估指标
序列生成模型的评估指标
可视化模型行为
超参数调整策略
RNN的正则化方法
常见训练问题的排查
实践：调整RNN模型
权重初始化策略
这部分内容有帮助吗？
- Understanding the difficulty of training deep feedforward neural networks, Xavier Glorot, Yoshua Bengio, 2010 Proceedings of the Thirteenth International Conference on Artificial Intelligence and Statistics, Vol. 9 (PMLR) DOI: 10.5598/AISTATS.2010.53 - 介绍了Xavier（Glorot）初始化方法，用于在具有对称激活函数的深度网络中保持稳定的信号方差。
- Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification, Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun, 2015 Proceedings of the IEEE International Conference on Computer Vision (ICCV) (IEEE) DOI: 10.1109/ICCV.2015.122 - 提出了适用于ReLU激活函数的He初始化方法，确保深度网络中恰当的方差缩放。
- Exact solutions to the nonlinear dynamics of learning in deep linear neural networks, Andrew M. Saxe, James L. McClelland, Stephen Ganguli, 2014 International Conference on Learning Representations (ICLR) DOI: 10.48550/arXiv.1312.6120 - 为正交矩阵如何在深度网络中保持信号和梯度范数提供了理论基础，与循环权重初始化有关。
- Deep Learning, Ian Goodfellow, Yoshua Bengio, Aaron Courville, 2016 (MIT Press) - 一本涵盖各种神经网络主题的教科书，包括初始化策略和RNN面临的挑战。
- torch.nn.init, PyTorch Authors, 2023 (PyTorch) - PyTorch中权重初始化函数的官方文档，展示了所讨论策略的实际实现。