趋近智
高级Transformer架构
章节 1: 重温序列建模的局限性
循环网络中的顺序计算
梯度消失与梯度爆炸问题
长短期记忆（LSTM）门控机制
门控循环单元 (GRU) 架构
远距离依赖的挑战
循环模型中的并行化限制
章节 2: 注意力机制：基本原理
动机：克服固定长度上下文向量的不足
通用框架：查询、键、值表示
点积注意力机制的数学形式
缩放点积注意力
注意力权重的Softmax函数
计算考量与矩阵运算
实践：实现缩放点积注意力
章节 3: 多头自注意力
自注意力：查询、键、值源于同一来源
单一注意力头的局限性
引入多头注意力
每个注意力头的Q、K、V线性投影
并行注意力计算
拼接与最终线性投影
不同注意力头学习内容的分析
动手实践：构建多头注意力层
章节 4: 位置编码与嵌入层
位置信息的必要性
输入嵌入层转换
正弦型位置编码：公式表述
正弦编码的特性
结合嵌入与位置编码
替代方案：学习型位置嵌入
比较：正弦式与学习式嵌入
实践：生成与可视化位置编码
章节 5: 编码器和解码器堆栈
Transformer 整体架构概览
编码器层结构
解码器层结构
解码器中的掩码自注意力
编码器-解码器交叉注意力
逐位置前馈网络 (FFN)
残差连接 (相加)
层归一化
多层堆叠
最终线性层和Softmax输出
动手实践：构建编码器块
章节 6: 高级架构变体与分析
自注意力机制的计算复杂度
稀疏注意力机制
近似注意力机制：线性Transformer
基于核的注意力近似 (Performers模型)
低秩投影方法（Linformer）
Transformer-XL：分段循环
相对位置编码
预归一化与后归一化 (预LN与后LN)
神经网络语言模型的缩放法则
参数效率与共享技术
章节 7: 实现细节与优化
选择框架 (PyTorch, TensorFlow, JAX)
权重初始化策略
适用于Transformer的优化器 (Adam, AdamW)
学习率调度 (热身, 衰减)
正则化方法 (Dropout, 标签平滑)
梯度裁剪
混合精度训练
高效注意力算法实现 (FlashAttention)
模型并行与数据并行策略
实践：分析注意力权重分布
参数效率与共享技术
这部分内容有帮助吗？
- ALBERT: A Lite BERT for Self-supervised Learning of Language Representations, Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, Radu Soricut, 2019 arXiv DOI: 10.48550/arXiv.1909.11942 - 介绍了用于高效Transformer模型的因子化嵌入参数化和跨层参数共享技术。
- Attention Is All You Need, Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin, 2017 Advances in Neural Information Processing Systems (NeurIPS), Vol. 30 DOI: 10.48550/arXiv.1706.03762 - 介绍了Transformer架构的原始论文，是讨论的效率技术的基础。
- Using the Output Embedding to Improve Language Models, Ofir Press and Lior Wolf, 2017 European Chapter of the Association for Computational Linguistics (EACL) DOI: 10.48550/arXiv.1608.05859 - 考察了语言模型中绑定输入和输出嵌入权重的优势和应用。