趋近智
高级Transformer架构
章节 1: 重温序列建模的局限性
循环网络中的顺序计算
梯度消失与梯度爆炸问题
长短期记忆（LSTM）门控机制
门控循环单元 (GRU) 架构
远距离依赖的挑战
循环模型中的并行化限制
章节 2: 注意力机制：基本原理
动机：克服固定长度上下文向量的不足
通用框架：查询、键、值表示
点积注意力机制的数学形式
缩放点积注意力
注意力权重的Softmax函数
计算考量与矩阵运算
实践：实现缩放点积注意力
章节 3: 多头自注意力
自注意力：查询、键、值源于同一来源
单一注意力头的局限性
引入多头注意力
每个注意力头的Q、K、V线性投影
并行注意力计算
拼接与最终线性投影
不同注意力头学习内容的分析
动手实践：构建多头注意力层
章节 4: 位置编码与嵌入层
位置信息的必要性
输入嵌入层转换
正弦型位置编码：公式表述
正弦编码的特性
结合嵌入与位置编码
替代方案：学习型位置嵌入
比较：正弦式与学习式嵌入
实践：生成与可视化位置编码
章节 5: 编码器和解码器堆栈
Transformer 整体架构概览
编码器层结构
解码器层结构
解码器中的掩码自注意力
编码器-解码器交叉注意力
逐位置前馈网络 (FFN)
残差连接 (相加)
层归一化
多层堆叠
最终线性层和Softmax输出
动手实践：构建编码器块
章节 6: 高级架构变体与分析
自注意力机制的计算复杂度
稀疏注意力机制
近似注意力机制：线性Transformer
基于核的注意力近似 (Performers模型)
低秩投影方法（Linformer）
Transformer-XL：分段循环
相对位置编码
预归一化与后归一化 (预LN与后LN)
神经网络语言模型的缩放法则
参数效率与共享技术
章节 7: 实现细节与优化
选择框架 (PyTorch, TensorFlow, JAX)
权重初始化策略
适用于Transformer的优化器 (Adam, AdamW)
学习率调度 (热身, 衰减)
正则化方法 (Dropout, 标签平滑)
梯度裁剪
混合精度训练
高效注意力算法实现 (FlashAttention)
模型并行与数据并行策略
实践：分析注意力权重分布
相对位置编码
这部分内容有帮助吗？
- Self-Attention with Relative Position Representations, Peter Shaw, Jakob Uszkoreit, Ashish Vaswani, 2018 Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers) (Association for Computational Linguistics) DOI: 10.18653/v1/N18-2074 - 本文提出了最早将相对位置信息通过学习到的相对位置嵌入添加到键和值中，从而引入自注意力机制的明确公式之一。
- Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context, Zihang Dai, Zhilin Yang, Yiming Yang, Jaime Carbonell, Quoc Le, Ruslan Salakhutdinov, 2019 Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (Association for Computational Linguistics) DOI: 10.18653/v1/P19-1285 - 这项工作提出了一种高效的相对位置编码方案，它重新构建了注意力分数计算，将其分解为内容和相对位置项，有助于更好地处理长序列。
- Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer, Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu, 2020 JMLR, Vol. 21 (JMLR) - 本文描述了T5模型，该模型采用了简化版的相对位置编码，展示了其在大规模预训练中对各种自然语言处理任务的有效性。
- DeBERTa: Decoding-enhanced BERT with Disentangled Attention, Pengcheng He, Xiaodong Liu, Jianfeng Gao, Weizhu Chen, 2021 International Conference on Learning Representations (ICLR) DOI: 10.48550/arXiv.2006.03654 - 这项研究引入了一种分离式注意力机制，通过将内容和相对位置嵌入视为独立的向量来优化相对位置编码，在许多自然语言处理基准测试中取得了优异表现。