ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

高级Transformer架构
章节 1: 重温序列建模的局限性
循环网络中的顺序计算
梯度消失与梯度爆炸问题
长短期记忆(LSTM)门控机制
门控循环单元 (GRU) 架构
远距离依赖的挑战
循环模型中的并行化限制
章节 2: 注意力机制:基本原理
动机:克服固定长度上下文向量的不足
通用框架:查询、键、值表示
点积注意力机制的数学形式
缩放点积注意力
注意力权重的Softmax函数
计算考量与矩阵运算
实践:实现缩放点积注意力
章节 3: 多头自注意力
自注意力:查询、键、值源于同一来源
单一注意力头的局限性
引入多头注意力
每个注意力头的Q、K、V线性投影
并行注意力计算
拼接与最终线性投影
不同注意力头学习内容的分析
动手实践:构建多头注意力层
章节 4: 位置编码与嵌入层
位置信息的必要性
输入嵌入层转换
正弦型位置编码:公式表述
正弦编码的特性
结合嵌入与位置编码
替代方案:学习型位置嵌入
比较:正弦式与学习式嵌入
实践:生成与可视化位置编码
章节 5: 编码器和解码器堆栈
Transformer 整体架构概览
编码器层结构
解码器层结构
解码器中的掩码自注意力
编码器-解码器交叉注意力
逐位置前馈网络 (FFN)
残差连接 (相加)
层归一化
多层堆叠
最终线性层和Softmax输出
动手实践:构建编码器块
章节 6: 高级架构变体与分析
自注意力机制的计算复杂度
稀疏注意力机制
近似注意力机制:线性Transformer
基于核的注意力近似 (Performers模型)
低秩投影方法(Linformer)
Transformer-XL:分段循环
相对位置编码
预归一化与后归一化 (预LN与后LN)
神经网络语言模型的缩放法则
参数效率与共享技术
章节 7: 实现细节与优化
选择框架 (PyTorch, TensorFlow, JAX)
权重初始化策略
适用于Transformer的优化器 (Adam, AdamW)
学习率调度 (热身, 衰减)
正则化方法 (Dropout, 标签平滑)
梯度裁剪
混合精度训练
高效注意力算法实现 (FlashAttention)
模型并行与数据并行策略
实践:分析注意力权重分布

并行注意力计算

并行注意力计算涉及将原始的查询 (QQQ)、键 (KKK) 和值 (VVV) 投影到 hhh 个不同的子空间中,对每个头 iii 使用不同的学习到的线性变换 WiQ,WiK,WiVW^Q_i, W^K_i, W^V_iWiQ​,WiK​,WiV​。对于每个头,注意力计算独立且同时地进行。这种并行处理是多头注意力 (multi-head attention)的一种明确特征,并且对它的效率和计算特性有很大的贡献。

对于每个头 iii(iii 的范围从 1 到 hhh),我们准确地按照之前定义的方式计算带缩放的点积注意力,但使用的是该头特有的投影矩阵 QiQ_iQi​、KiK_iKi​ 和 ViV_iVi​:

headi=Attention(Qi,Ki,Vi)=softmax(QiKiTdki)Vi\text{head}_i = \text{Attention}(Q_i, K_i, V_i) = \text{softmax}\left(\frac{Q_i K_i^T}{\sqrt{d_{k_i}}}\right) V_iheadi​=Attention(Qi​,Ki​,Vi​)=softmax(dki​​​Qi​KiT​​)Vi​

这里:

  • Qi=QWiQQ_i = Q W^Q_iQi​=QWiQ​ 表示为头 iii 投影的查询。
  • Ki=KWiKK_i = K W^K_iKi​=KWiK​ 表示为头 iii 投影的键。
  • Vi=VWiVV_i = V W^V_iVi​=VWiV​ 表示为头 iii 投影的值。
  • dkid_{k_i}dki​​ 是头 iii 内部键(和查询)的维度。这个缩放因子,类似于单头带缩放点积注意力中使用的,能在训练期间稳定梯度。

正确管理维度是很重要的。如果输入嵌入 (embedding)维度是 dmodeld_{\text{model}}dmodel​ 并且我们使用 hhh 个头,投影通常被设计成使每个头的键、查询 (dkid_{k_i}dki​​) 和值 (dvid_{v_i}dvi​​) 的维度相等:dki=dvi=dmodel/hd_{k_i} = d_{v_i} = d_{\text{model}} / hdki​​=dvi​​=dmodel​/h。这种划分确保了总计算成本与使用完整 dmodeld_{\text{model}}dmodel​ 维度的单头注意力机制 (attention mechanism)相似,同时将表示能力分配到多个头。此外,它保证了当所有头的输出稍后被拼接时,结果维度与后续层所需的输入维度 dmodeld_{\text{model}}dmodel​ 相匹配,从而保持了模型架构的统一性。

假设输入序列的长度为 NNN(词元 (token)数量),为了简化,忽略批处理维度,头 iii 的矩阵形状通常是:

  • QiQ_iQi​: N×dkiN \times d_{k_i}N×dki​​
  • KiK_iKi​: N×dkiN \times d_{k_i}N×dki​​ (因为在自注意力 (self-attention)中,键和查询来自相同的输入序列)
  • ViV_iVi​: N×dviN \times d_{v_i}N×dvi​​

因此,头 iii 的注意力计算输出,记为 headi\text{head}_iheadi​,将具有形状 N×dviN \times d_{v_i}N×dvi​​。由于我们通常设置 dvi=dki=dmodel/hd_{v_i} = d_{k_i} = d_{\text{model}} / hdvi​​=dki​​=dmodel​/h,输出形状为 N×(dmodel/h)N \times (d_{\text{model}} / h)N×(dmodel​/h)。

从计算角度看,这种结构非常适合并行处理。现代深度学习 (deep learning)框架和像 GPU 这样的硬件擅长执行大型矩阵乘法。所有 hhh 个头的计算通常可以并行执行,而不是顺序地迭代每个头。这通常通过在注意力计算之前重塑投影的 Q、K 和 V 张量来实现,使其包含一个独立的“头”维度。例如,表示批处理查询的张量可以从 (batch_size, seq_len, d_model) 重塑为 (batch_size, num_heads, seq_len, d_k_i)。用于 QiKiTdki\frac{Q_i K_i^T}{\sqrt{d_{k_i}}}dki​​​Qi​KiT​​ 项的批量矩阵乘法(matmul),然后是 softmax 和与 ViV_iVi​ 的最终 matmul,可以同时高效地在批处理和头维度上运行。

对每个头,使用其特有的投影 Q、K、V 矩阵 (Qi,Ki,ViQ_i, K_i, V_iQi​,Ki​,Vi​) 执行独立的带缩放点积注意力计算。输出(head1,...,headh\text{head}_1, ..., \text{head}_hhead1​,...,headh​),每个的维度为 N×dviN \times d_{v_i}N×dvi​​,在传递到下一阶段之前并行生成。注意,dkid_{k_i}dki​​ 和 dvid_{v_i}dvi​​ 代表 dmodel/hd_{\text{model}}/hdmodel​/h。

这种并行结构的主要优点不限于计算效率。它允许每个注意力头可能专门学习不同类型的关系,或者同时关注来自不同表示子空间的信息。例如,一个头可以学习侧重于局部的句法依赖(如形容词与名词的一致性),而另一个头则捕捉更远距离的语义联系(如跨句子的指代消解),还有一个头可能侧重于位置关系。单个注意力机制将被迫平均这些可能不同的信号,这可能会稀释信息。多头注意力为信息流提供了多个独立的“通道”,让模型能够汇集多样化的关系信息,并最终构建更丰富、更具上下文 (context)意识的表示。

这些并行计算的输出,head1,head2,...,headh\text{head}_1, \text{head}_2, ..., \text{head}_hhead1​,head2​,...,headh​,捕获了输入序列内部关系的不同方面。它们现在已准备好在下一步中组合:先拼接,再进行最终的线性投影。

  • Attention Is All You Need, Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin, 2017 Advances in Neural Information Processing Systems 30 (NIPS 2017) DOI: 10.48550/arXiv.1706.03762 - 这篇基础论文介绍了Transformer架构和多头自注意力机制,详细阐述了其数学公式和并行处理的优点。
  • Dive into Deep Learning, Aston Zhang, Zachary C. Lipton, Mu Li, Alex Smola, 2024 (Cambridge University Press) - 一本易于理解的在线教科书章节,清晰且实用地解释了多头注意力机制,包括其并行计算和实现细节。
  • CS224N: Natural Language Processing with Deep Learning - Lecture Notes: Transformers and Large Language Models, Christopher Manning, John Hewitt, 2023 - 斯坦福大学的课程讲义,清晰地解释了多头注意力机制、其并行结构以及在Transformer架构中的作用。

© 2026 ApX Machine Learning