架构选择对稳定性的影响

这部分内容有帮助吗？

参考文献

Attention Is All You Need, Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin, 2017 Advances in Neural Information Processing Systems 30 (NIPS 2017) DOI: 10.48550/arXiv.1706.03762 - 提出Transformer架构的奠基性论文，内容包括Post-LN和缩放点积注意力。
On Layer Normalization in the Transformer Architecture, Ruibin Xiong, Yunchang Yang, Di He, Kai Zheng, Shuxin Zheng, Chen Xing, Huishuai Zhang, Yanyan Lan, Liwei Wang, Tie-Yan Liu, 2020 ICML 2020, Vol. 119 DOI: 10.48550/arXiv.2002.04745 - 分析Transformer中层归一化（Layer Normalization）位置（Pre-LN与Post-LN）对训练稳定性和梯度流的影响。
GLU Variants Improve Transformer, Noam Shazeer, 2020 arXiv preprint arXiv:2002.05202 DOI: 10.48550/arXiv.2002.05202 - 介绍SwiGLU和其他门控线性单元变体，展示它们在Transformer中提高性能和训练特性。
RoFormer: Enhanced Transformer with Rotary Position Embedding, Jianlin Su, Yu Lu, Shengfeng Pan, Ahmed Murtadha, Bo Wen, Yunfeng Liu, 2021 arXiv preprint arXiv:2104.09864 DOI: 10.48550/arXiv.2104.09864 - 介绍旋转位置嵌入（RoPE），一种将相对位置信息集成到自注意力机制中的方法。