序列建模的历史背景

这部分内容有帮助吗？

参考文献

Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition, Daniel Jurafsky and James H. Martin, 2025 (Pearson Education) - 一本全面的教科书，涵盖自然语言处理的基础概念，包括N-gram模型及其统计估计。
Long Short-Term Memory, Sepp Hochreiter, Jürgen Schmidhuber, 1997 Neural Computation, Vol. 9 (MIT Press) DOI: 10.1162/neco.1997.9.8.1735 - 介绍长短期记忆（LSTM）网络的原始论文，解决了RNN中的梯度消失问题。
Neural Machine Translation by Jointly Learning to Align and Translate, Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio, 2014 International Conference on Learning Representations (ICLR) DOI: 10.48550/arXiv.1409.0473 - 这篇论文介绍了注意力机制，使模型能够在生成输出序列时关注相关的输入部分。
Attention Is All You Need, Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin, 2017 Advances in Neural Information Processing Systems (NeurIPS), Vol. 30 DOI: 10.48550/arXiv.1706.03762 - 这篇开创性论文介绍了Transformer架构，该架构完全依赖于注意力机制，并显著提高了序列建模的并行化能力。