趋近智
高级Transformer架构
章节 1: 重温序列建模的局限性
循环网络中的顺序计算
梯度消失与梯度爆炸问题
长短期记忆（LSTM）门控机制
门控循环单元 (GRU) 架构
远距离依赖的挑战
循环模型中的并行化限制
章节 2: 注意力机制：基本原理
动机：克服固定长度上下文向量的不足
通用框架：查询、键、值表示
点积注意力机制的数学形式
缩放点积注意力
注意力权重的Softmax函数
计算考量与矩阵运算
实践：实现缩放点积注意力
章节 3: 多头自注意力
自注意力：查询、键、值源于同一来源
单一注意力头的局限性
引入多头注意力
每个注意力头的Q、K、V线性投影
并行注意力计算
拼接与最终线性投影
不同注意力头学习内容的分析
动手实践：构建多头注意力层
章节 4: 位置编码与嵌入层
位置信息的必要性
输入嵌入层转换
正弦型位置编码：公式表述
正弦编码的特性
结合嵌入与位置编码
替代方案：学习型位置嵌入
比较：正弦式与学习式嵌入
实践：生成与可视化位置编码
章节 5: 编码器和解码器堆栈
Transformer 整体架构概览
编码器层结构
解码器层结构
解码器中的掩码自注意力
编码器-解码器交叉注意力
逐位置前馈网络 (FFN)
残差连接 (相加)
层归一化
多层堆叠
最终线性层和Softmax输出
动手实践：构建编码器块
章节 6: 高级架构变体与分析
自注意力机制的计算复杂度
稀疏注意力机制
近似注意力机制：线性Transformer
基于核的注意力近似 (Performers模型)
低秩投影方法（Linformer）
Transformer-XL：分段循环
相对位置编码
预归一化与后归一化 (预LN与后LN)
神经网络语言模型的缩放法则
参数效率与共享技术
章节 7: 实现细节与优化
选择框架 (PyTorch, TensorFlow, JAX)
权重初始化策略
适用于Transformer的优化器 (Adam, AdamW)
学习率调度 (热身, 衰减)
正则化方法 (Dropout, 标签平滑)
梯度裁剪
混合精度训练
高效注意力算法实现 (FlashAttention)
模型并行与数据并行策略
实践：分析注意力权重分布
适用于Transformer的优化器 (Adam, AdamW)
这部分内容有帮助吗？
- Adam: A Method for Stochastic Optimization, Diederik P. Kingma, Jimmy Ba, 2014 International Conference on Learning Representations (ICLR 2015) DOI: 10.48550/arXiv.1412.6980 - 介绍 Adam 优化器的原始研究论文，概述其算法和理论基础。
- Decoupled Weight Decay Regularization, Ilya Loshchilov, Frank Hutter, 2019 International Conference on Learning Representations (ICLR 2019) DOI: 10.48550/arXiv.1711.05101 - 这篇论文介绍了 AdamW，它是 Adam 的一个改进，正确应用了权重衰减，从而增强了正则化效果。
- Deep Learning, Ian Goodfellow, Yoshua Bengio, Aaron Courville, 2016 (MIT Press) - 一本基础教材，全面概述了深度学习，包括对优化算法的详细解释。
- CS231n Convolutional Neural Networks for Visual Recognition: Neural Network Training Part 2, Stanford University, 2023 Online Course Notes (Stanford University) - 作为一门广受认可课程的一部分，这些笔记提供了神经网络训练优化器的实用且直观的解释。