趋近智
高级Transformer架构
章节 1: 重温序列建模的局限性
循环网络中的顺序计算
梯度消失与梯度爆炸问题
长短期记忆（LSTM）门控机制
门控循环单元 (GRU) 架构
远距离依赖的挑战
循环模型中的并行化限制
章节 2: 注意力机制：基本原理
动机：克服固定长度上下文向量的不足
通用框架：查询、键、值表示
点积注意力机制的数学形式
缩放点积注意力
注意力权重的Softmax函数
计算考量与矩阵运算
实践：实现缩放点积注意力
章节 3: 多头自注意力
自注意力：查询、键、值源于同一来源
单一注意力头的局限性
引入多头注意力
每个注意力头的Q、K、V线性投影
并行注意力计算
拼接与最终线性投影
不同注意力头学习内容的分析
动手实践：构建多头注意力层
章节 4: 位置编码与嵌入层
位置信息的必要性
输入嵌入层转换
正弦型位置编码：公式表述
正弦编码的特性
结合嵌入与位置编码
替代方案：学习型位置嵌入
比较：正弦式与学习式嵌入
实践：生成与可视化位置编码
章节 5: 编码器和解码器堆栈
Transformer 整体架构概览
编码器层结构
解码器层结构
解码器中的掩码自注意力
编码器-解码器交叉注意力
逐位置前馈网络 (FFN)
残差连接 (相加)
层归一化
多层堆叠
最终线性层和Softmax输出
动手实践：构建编码器块
章节 6: 高级架构变体与分析
自注意力机制的计算复杂度
稀疏注意力机制
近似注意力机制：线性Transformer
基于核的注意力近似 (Performers模型)
低秩投影方法（Linformer）
Transformer-XL：分段循环
相对位置编码
预归一化与后归一化 (预LN与后LN)
神经网络语言模型的缩放法则
参数效率与共享技术
章节 7: 实现细节与优化
选择框架 (PyTorch, TensorFlow, JAX)
权重初始化策略
适用于Transformer的优化器 (Adam, AdamW)
学习率调度 (热身, 衰减)
正则化方法 (Dropout, 标签平滑)
梯度裁剪
混合精度训练
高效注意力算法实现 (FlashAttention)
模型并行与数据并行策略
实践：分析注意力权重分布
输入嵌入层转换
这部分内容有帮助吗？
- Efficient Estimation of Word Representations in Vector Space, Tomas Mikolov, Kai Chen, Greg Corrado, Jeffrey Dean, 2013 arXiv preprint arXiv:1301.3781 DOI: 10.48550/arXiv.1301.3781 - 详细说明学习表示语义关系的密集、连续词向量，为Transformer输入嵌入奠定基础。
- CS224N: Natural Language Processing with Deep Learning, Diyi Yang, Tatsunori Hashimoto, 2023 (Stanford University) - 一门关于自然语言处理基础课题的大学课程，包括分词、词嵌入和Transformer设计。
- Natural Language Processing with Transformers: Building Innovative Applications with 🤗 Transformers, Lewis Tunstall, Leandro von Werra, Thomas Wolf, 2022 (O'Reilly Media) - 一本关于使用Transformer进行现代自然语言处理的实践指南，解释了分词方法（BPE、WordPiece）和嵌入处理。