趋近智
高级Transformer架构
章节 1: 重温序列建模的局限性
循环网络中的顺序计算
梯度消失与梯度爆炸问题
长短期记忆（LSTM）门控机制
门控循环单元 (GRU) 架构
远距离依赖的挑战
循环模型中的并行化限制
章节 2: 注意力机制：基本原理
动机：克服固定长度上下文向量的不足
通用框架：查询、键、值表示
点积注意力机制的数学形式
缩放点积注意力
注意力权重的Softmax函数
计算考量与矩阵运算
实践：实现缩放点积注意力
章节 3: 多头自注意力
自注意力：查询、键、值源于同一来源
单一注意力头的局限性
引入多头注意力
每个注意力头的Q、K、V线性投影
并行注意力计算
拼接与最终线性投影
不同注意力头学习内容的分析
动手实践：构建多头注意力层
章节 4: 位置编码与嵌入层
位置信息的必要性
输入嵌入层转换
正弦型位置编码：公式表述
正弦编码的特性
结合嵌入与位置编码
替代方案：学习型位置嵌入
比较：正弦式与学习式嵌入
实践：生成与可视化位置编码
章节 5: 编码器和解码器堆栈
Transformer 整体架构概览
编码器层结构
解码器层结构
解码器中的掩码自注意力
编码器-解码器交叉注意力
逐位置前馈网络 (FFN)
残差连接 (相加)
层归一化
多层堆叠
最终线性层和Softmax输出
动手实践：构建编码器块
章节 6: 高级架构变体与分析
自注意力机制的计算复杂度
稀疏注意力机制
近似注意力机制：线性Transformer
基于核的注意力近似 (Performers模型)
低秩投影方法（Linformer）
Transformer-XL：分段循环
相对位置编码
预归一化与后归一化 (预LN与后LN)
神经网络语言模型的缩放法则
参数效率与共享技术
章节 7: 实现细节与优化
选择框架 (PyTorch, TensorFlow, JAX)
权重初始化策略
适用于Transformer的优化器 (Adam, AdamW)
学习率调度 (热身, 衰减)
正则化方法 (Dropout, 标签平滑)
梯度裁剪
混合精度训练
高效注意力算法实现 (FlashAttention)
模型并行与数据并行策略
实践：分析注意力权重分布
模型并行与数据并行策略
这部分内容有帮助吗？
- ZeRO: Memory Optimizations Toward Training Trillion Parameter Models, Samyam Rajbhandari, Cong Guo, Jeff Rasley, Shaden Smith, Yuxiong He, 2020 SC '20: Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis (ACM) DOI: 10.1145/3418856.3418915 - 介绍了ZeRO（零冗余优化器），该技术通过分片优化器状态、梯度以及可选的模型参数，显著减少分布式训练中的内存占用。
- Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism, Mohammad Shoeybi, Mostofa Patwary, Raul Puri, Patrick LeGresley, Jared Casper, Bryan Catanzaro, 2019 arXiv DOI: 10.48550/arXiv.1909.08053 - 详细介绍了Megatron-LM框架，该框架采用张量并行策略，高效训练跨多GPU的巨型语言模型。
- GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism, Yanping Huang, Youlong Cheng, Dehao Chen, Hyoukjin Kwon, Ankur Bapna, Zhifeng Chen, Mia Xu Chen, Jonathan Dean, Marc Edwards, Yuan Gong, Geoffrey Hinton, Lars Jylkka, Sebastian Kastner, Ravi Kumar, Da Li, Quoc V. Le, Jiquan Ngiam, Jeff Norris, Adam Paszke, Alexandre Passos, James Perkins, Sascha Pokrovsky, Jamie Smith, Noam Shazeer, Aurora S. Smith, Barret Zoph, Yonghui Wu, 2019 Advances in Neural Information Processing Systems, Vol. 32 (NeurIPS Proceedings) DOI: 10.5591/978-1-7138-0401-4.neurips-2019-397 - 介绍了GPipe，这是一种层间模型并行方法，它利用微批处理减少通信开销并提高设备利用率。