Transformer-XL 相对位置编码

这部分内容有帮助吗？

参考文献

Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context, Zihang Dai, Zhilin Yang, Yiming Yang, Jaime Carbonell, Quoc V. Le, Ruslan Salakhutdinov, 2019 Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL) DOI: 10.48550/arXiv.1901.02860 - 介绍 Transformer-XL 架构及其相对位置编码方案的原始论文，包含详细的数学公式和实现策略。
Attention Is All You Need, Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin, 2017 Advances in Neural Information Processing Systems (NeurIPS) 30 DOI: 10.48550/arXiv.1706.03762 - 引入 Transformer 架构及其原始绝对正弦位置编码的开创性论文，为后续相对编码方法提供了背景。
Self-Attention with Relative Position Representations, Peter Shaw, Jakob Uszkoreit, Ashish Vaswani, 2018 NAACL 2018 DOI: 10.48550/arXiv.1803.02155 - 介绍了一种在自注意力中进行相对位置编码的早期方法，使用可学习的相对位置偏差，为与 Transformer-XL 方法的比较提供了参考。