来自注意力权重的上下文向量

这部分内容有帮助吗？

参考文献

Neural Machine Translation by Jointly Learning to Align and Translate, Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio, 2015 International Conference on Learning Representations (ICLR) DOI: 10.48550/arXiv.1409.0473 - 这篇开创性论文在序列到序列模型中引入了注意力机制，详细说明了上下文向量是如何作为编码器隐藏状态的加权和来创建的，以聚焦于相关的输入部分。
Attention Is All You Need, Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin, 2017 Advances in Neural Information Processing Systems 30 (NeurIPS 2017) DOI: 10.48550/arXiv.1706.03762 - 这篇基础性论文介绍了Transformer架构，该架构完全依赖于注意力机制，并明确定义了通过Value向量的加权和计算上下文向量的方式。
CS224N: Natural Language Processing with Deep Learning - Lecture 8: Attention and Transformers, Christopher Manning, John Hewitt, 2023 (Stanford University) - 提供了清晰易懂的讲义，解释了注意力、自注意力以及Transformer架构中上下文向量的形成，适合入门读者。
Speech and Language Processing (3rd ed. draft) - Chapter 9: Attention and Transformers, Daniel Jurafsky and James H. Martin, 2024 - 这本教科书的章节详细解释了注意力机制和Transformer模型，包括上下文向量的数学定义和作用。