趋近智
循环神经网络与序列建模
章节 1: 序列数据简介
理解序列数据
序列数据的特点
序列模型的需求
将序列数字表示
常见的序列建模任务
章节 2: 循环神经网络基本原理
核心思想：迭代处理序列
简单RNN架构
隐藏状态的作用
RNN 单元的数学表述
循环神经网络中的信息流动
沿时间的反向传播 (BPTT)
展开网络进行训练
章节 3: 构建简单RNN
搭建开发环境
RNN 单元实现
使用框架API构建简单RNN层
处理输入与输出形状
构建一个简单RNN模型
RNN 的训练循环
动手实践：简单序列预测
章节 4: RNN训练中的难点
梯度消失问题
梯度爆炸问题
长期依赖学习的影响
梯度裁剪解析
权重初始化策略
激活函数考量
章节 5: 长短期记忆 (LSTM) 网络
通过门控应对循环神经网络的局限
LSTM单元结构
遗忘门
输入门
更新细胞状态
输出门
LSTM单元中的信息流动
LSTM 的优势
章节 6: 门控循环单元 (GRUs)
介绍GRU：一种更简洁的门控架构
GRU 单元结构
更新门
重置门
计算候选隐藏状态
计算最终隐藏状态
GRU与LSTM的比较
计算效率考量
何时选择 GRU 或 LSTM
章节 7: 实现 LSTM 和 GRU
在深度学习框架中使用LSTM层
在深度学习框架中使用GRU层
配置 LSTM/GRU 层参数
堆叠循环层
理解双向循环神经网络
实现双向层
动手实践：情感分析
章节 8: 为循环神经网络准备序列数据
文本数据预处理概述
分词与词汇表构建
整数编码序列
嵌入层介绍
处理变长序列
序列填充
填充值的掩码处理
序列数据批处理
时间序列数据预处理
实践：数据准备流程
章节 9: 序列建模应用方法
序列预测方法
时间序列预测模型
序列分类技术
文本分类模型
序列生成方法
文本生成模型
编码器-解码器架构简介
注意力机制概览
实战：时间序列预测
章节 10: 评估与调优序列模型
序列分类的评估指标
序列预测的评估指标
序列生成模型的评估指标
可视化模型行为
超参数调整策略
RNN的正则化方法
常见训练问题的排查
实践：调整RNN模型
时间序列预测模型
这部分内容有帮助吗？
- Long Short-Term Memory, Sepp Hochreiter, Jürgen Schmidhuber, 1997 Neural Computation, Vol. 9 (MIT Press) DOI: 10.1162/neco.1997.9.8.1735 - 这是一篇开创性论文，介绍了长短期记忆（LSTM）网络架构，这是本节中提及的用于捕捉时间序列数据中时间依赖性的核心组件。
- Deep Learning, Ian Goodfellow, Yoshua Bengio, and Aaron Courville, 2016 (MIT Press) - 这本权威教材的第10章全面介绍了循环神经网络的理论背景，包括LSTM和GRU，以及它们在序列建模和时间序列中的应用。
- Time series forecasting, TensorFlow Developers, 2024 (Google) - 这份官方TensorFlow教程提供了将RNN（LSTM和GRU）应用于时间序列预测的实际示例和代码，涵盖了数据预处理、窗口化以及在Keras中实现不同模型架构等基本步骤。
- Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation, Kyunghyun Cho, Bart van Merrienboer, Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, and Yoshua Bengio, 2014 Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP) DOI: 10.48550/arXiv.1406.1078 - 这篇论文介绍了门控循环单元（GRU），作为LSTM的一个更简单的替代方案，由于其捕捉长期依赖的能力，它也被广泛用于序列建模和时间序列预测。
- Deep learning for time series forecasting: A survey, Bryan Lim and Stefan Zohren, 2021 European Journal of Operational Research, Vol. 296 (Elsevier) DOI: 10.1016/j.ejor.2020.08.006 - 这项全面的调查综述了深度学习模型在时间序列预测方面的最新进展，讨论了各种架构、预处理技术及其应用，为本节中介绍的方法提供了更广阔的背景。