知识蒸馏 (knowledge distillation)可用于提升类似大小模型的性能或针对特定任务进行微调 (fine-tuning)，但在大语言模型（LLM）效率提升的背景下，一个主要用途是大幅度的模型压缩。这涉及将一个非常庞大的教师模型（可能包含数千亿参数 (parameter)）的能力迁移到一个显著更小的学生模型中（可能只有数十亿参数）。目标宏大：在最大程度减少强大教师模型性能损失的同时，实现模型大小、内存占用和推理 (inference)延迟的显著减少。这种大模型到小模型蒸馏过程中特有的挑战和策略得到考察。
选择学生模型架构
首要步骤是确定学生模型的架构。此选择受预期压缩比、目标部署硬件以及可接受的性能权衡所影响。常见方法包括：
- 按比例缩小的教师模型： 通过减少层数、注意力头数、隐藏维度或前馈网络大小来创建教师模型架构的更小版本。这保留了架构相似性，可能简化知识迁移，尤其是在使用中间层匹配时。
- 不同的高效架构： 采用一种以高效著称的完全不同架构，例如高度优化的Transformer变体，或者在特定任务允许的情况下，尝试非Transformer模型。这可能为每个参数 (parameter)带来更好的性能，但由于架构不匹配，会使蒸馏过程变得复杂。
决策通常涉及凭经验的尝试。例如，如果将一个700亿参数的Llama模型蒸馏到70亿参数的目标模型，可以从标准的70亿参数Llama架构作为学生模型开始。然而，如果需要极致效率，那么考虑专门为移动端推理 (inference)设计的架构可能合理。
容量差距难题
大模型到小模型蒸馏中的一个根本困难在于模型容量的显著差异。学生模型参数 (parameter)量远少于教师模型，其表示能力天生就不如教师模型。仅仅匹配最终输出分布（软标签）可能不足以让学生模型习得教师模型所掌握的复杂内在功能。学生模型可能学会在迁移数据集上模仿教师模型的预测，但却无法泛化或掌握推理 (inference)能力。
一些策略用于弥合这种容量差距：
中间表示匹配
蒸馏除了仅依赖最终输出层外，还可以引入损失项，鼓励学生模型的中间激活或表示模仿教师模型的对应部分。
- 隐藏状态： 计算教师模型和学生模型对应层隐藏状态之间的损失（例如，均方误差 - MSE）。
L隐藏=N层数1∑i∈匹配层MSE(h学生(i),h教师(i))
其中 h(i) 表示第 i 层的隐藏状态输出。选择要匹配的层需要仔细考量，通常侧重于那些被认为掌握重要语义信息的层。架构差异可能需要转换层来对齐 (alignment)维度，然后才能计算损失。
- 注意力图： 鼓励学生模型的注意力机制 (attention mechanism)表现得与教师模型类似。这涉及计算对应注意力头生成的注意力概率分布之间的损失（例如，KL散度或MSE）。
L注意力=N头数1∑j∈匹配头DKL(A学生(j)∣∣A教师(j))
其中 A(j) 是注意力头 j 的注意力图。这有助于迁移教师模型习得的结构理解和注意力偏好。
匹配中间表示提供更丰富、逐层的指导，帮助较小的学生模型更有效地习得教师模型的内部“推理”过程。
渐进式蒸馏和辅助模型
直接弥合巨大的容量差距可能不稳定。渐进式方法可以缓解这种过渡：
- 逐层蒸馏： 从训练学生模型的初始层开始，使其匹配教师模型的初始层，然后逐步增加更多学生层，并从教师模型的更深层添加相应的蒸馏目标。
- 教师助手（TA）模型： 在大型教师模型和小型学生模型之间引入一个或多个中间大小的模型。首先，将知识从教师模型蒸馏到TA1，然后从TA1到TA2（如果使用），最后从最后一个TA蒸馏到学生模型。这为知识迁移创造了一条更平滑的“滑行路径”，但会显著增加整体训练流程的计算成本和复杂性。
使用中间教师助手模型有助于弥合超大型教师模型和小型学生模型之间的容量差距，尽管这会增加训练复杂性。
有效迁移的数据策略
蒸馏所用数据（即“迁移数据集”）的选择非常重要，尤其是在进行大幅度压缩时。
- 教师生成数据： 使用教师模型本身来生成一个大型、多样化的数据集，用于训练学生模型。这可以涉及在与学生模型预期用途相关的各种主题或任务上对教师模型进行提示。其理由是，由教师模型生成的数据可能比原始的、可能带噪声的训练数据更能体现其内部知识结构和特点。然而，必须谨慎行事，因为这可能放大教师模型中存在的偏见。
- 数据选择/过滤： 不使用所有可用数据，而是将蒸馏过程侧重于特定子集。这可以包括选择教师模型高度确信的示例（表明核心知识），或者反过来，选择学生模型初始版本与教师模型相比表现不佳的示例（困难示例挖掘）。
- 数据增强： 对迁移数据集应用与任务相关的数据增强技术（例如，回译、释义），以提升学生模型的鲁棒性和泛化能力。
优化蒸馏损失函数 (loss function)
虽然任务损失（例如，交叉熵）和软标签的KL散度的标准组合构成了根本，但对于大模型到小模型的蒸馏，通常需要进行调整：
- 温度缩放： KL散度项（LKD）中的温度参数 (parameter) T 变得尤其重要。较高的温度（T>1）会使教师和学生模型的对数概率（pi=∑jexp(zj/T)exp(zi/T)）分布变得“柔和”。这种平滑效应可以使容量较小的学生模型更容易匹配教师模型的输出分布，因为它更强调不同输出的相对概率，而不是过度侧重于单一最高概率的预测。最佳温度通常需要调优。
- 组合损失： 将中间表示损失与最终层KD损失和任务损失结合。整体损失函数成为加权和：
L总=αL任务+βLKD+∑kγkL中间(k)
其中 L任务 是针对下游任务的标准损失（如果适用），LKD 是最终对数概率上的Kullback-Leibler散度，L中间(k) 代表各种中间损失（隐藏状态、注意力图）。超参数 (hyperparameter) α,β,γk 控制各个部分的相对重要性，需要仔细调优，这通常通过大量实验完成。
蒸馏后微调 (fine-tuning)
在主要的蒸馏阶段之后，学生模型通常会受益于最后的微调阶段。这通常涉及仅使用标准任务损失（例如，用于分类或语言模型的交叉熵）直接在目标任务数据集（或高质量子集）上训练学生模型。此步骤有助于“磨砺”学生模型在特定任务上的性能，可能挽回压缩过程中损失的一些性能。在此阶段的学习率通常应小于初始蒸馏阶段所使用的学习率。
量化 (quantization)性能与模型大小的权衡
将大型模型蒸馏成显著更小的模型，必然涉及压缩效果和性能保留之间的权衡。学生模型拥有比其庞大教师模型少10倍或100倍的参数 (parameter)，但要在所有能力上完美匹配教师模型的情况很少见。严格的评估必不可少。
- 标准基准测试： 在相关学术基准（例如，用于NLU的GLUE、SuperGLUE；用于语言模型的困惑度；用于文本摘要的ROUGE）上评估学生模型。
- 定性分析： 对于生成模型，自动化指标通常无法全面反映情况。需要人工评估或定性分析来评判连贯性、事实准确性、创造性和安全性等方面。
- 针对性评估： 评估在特定任务或数据分布上的性能，这些对于预期的部署情景最为关键。
通过可视化这种权衡，可以指导选择合适的学生模型大小和蒸馏策略。
当学生模型大小大幅缩小时，性能通常会下降。与简单方法相比，更精密的蒸馏策略（如中间匹配）通常在给定学生模型大小下提供更好的性能，但这种权衡依然存在。
成功地将大型模型蒸馏成小得多的模型，需要仔细考量学生模型架构，使用中间匹配或教师助手等技术弥合容量差距，采用有效的数据策略，设计合适的损失函数 (loss function)，并进行严格评估以理解所实现压缩的性能影响。对于在资源受限环境中部署强大语言能力而言，这仍然是一种具有挑战性但有价值的技术。
