趋近智
高级Transformer架构
章节 1: 重温序列建模的局限性
循环网络中的顺序计算
梯度消失与梯度爆炸问题
长短期记忆（LSTM）门控机制
门控循环单元 (GRU) 架构
远距离依赖的挑战
循环模型中的并行化限制
章节 2: 注意力机制：基本原理
动机：克服固定长度上下文向量的不足
通用框架：查询、键、值表示
点积注意力机制的数学形式
缩放点积注意力
注意力权重的Softmax函数
计算考量与矩阵运算
实践：实现缩放点积注意力
章节 3: 多头自注意力
自注意力：查询、键、值源于同一来源
单一注意力头的局限性
引入多头注意力
每个注意力头的Q、K、V线性投影
并行注意力计算
拼接与最终线性投影
不同注意力头学习内容的分析
动手实践：构建多头注意力层
章节 4: 位置编码与嵌入层
位置信息的必要性
输入嵌入层转换
正弦型位置编码：公式表述
正弦编码的特性
结合嵌入与位置编码
替代方案：学习型位置嵌入
比较：正弦式与学习式嵌入
实践：生成与可视化位置编码
章节 5: 编码器和解码器堆栈
Transformer 整体架构概览
编码器层结构
解码器层结构
解码器中的掩码自注意力
编码器-解码器交叉注意力
逐位置前馈网络 (FFN)
残差连接 (相加)
层归一化
多层堆叠
最终线性层和Softmax输出
动手实践：构建编码器块
章节 6: 高级架构变体与分析
自注意力机制的计算复杂度
稀疏注意力机制
近似注意力机制：线性Transformer
基于核的注意力近似 (Performers模型)
低秩投影方法（Linformer）
Transformer-XL：分段循环
相对位置编码
预归一化与后归一化 (预LN与后LN)
神经网络语言模型的缩放法则
参数效率与共享技术
章节 7: 实现细节与优化
选择框架 (PyTorch, TensorFlow, JAX)
权重初始化策略
适用于Transformer的优化器 (Adam, AdamW)
学习率调度 (热身, 衰减)
正则化方法 (Dropout, 标签平滑)
梯度裁剪
混合精度训练
高效注意力算法实现 (FlashAttention)
模型并行与数据并行策略
实践：分析注意力权重分布
低秩投影方法（Linformer）
这部分内容有帮助吗？
- Linformer: Self-Attention with Linear Complexity, Sinong Wang, Belinda Z. Li, Madian Khabsa, Han Fang, Hao Ma, 2020 Advances in Neural Information Processing Systems (NeurIPS), Vol. 33 (Curran Associates, Inc.) DOI: 10.48550/arXiv.2006.04768 - 介绍了Linformer模型，该模型通过将键和值投影到较低维度，实现了自注意力机制的线性复杂度。
- Nyströmformer: A Nyström-Algorithm-based Efficient Transformer, Yuqi Xiong, Ye Li, Bo Li, Zhanpeng Zeng, Eytan Hu, Lizhen Nie, Chao Zhang, Mohan Teng, Xiao Zhang, Hao Ma, 2021 International Conference on Machine Learning (ICML), Vol. 139 DOI: 10.48550/arXiv.2102.03906 - 提出了一种基于Nyström方法的高效Transformer，用于注意力矩阵的低秩近似。
- A Survey of Efficient Transformers, Yi Tay, Mostafa Dehghani, Dara Bahri, Donald Metzler, 2022 ACM Computing Surveys, Vol. 35 (ACM) DOI: 10.48550/arXiv.2009.06732 - 提供了各种高效Transformer架构的概述和分类，包括Linformer及其他线性注意力模型。
- Attention Is All You Need, Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, Illia Polosukhin, 2017 Advances in Neural Information Processing Systems (NeurIPS), Vol. 30 (Curran Associates, Inc.) DOI: 10.48550/arXiv.1706.03762 - 引入了Transformer架构和自注意力机制的奠基性论文，指出了Linformer旨在解决的二次复杂度瓶颈。