有效的负载均衡，常通过辅助损失Laux来实现，对于分配计算负载是必需的，但它不能自动保证专家会学习到独特、专门化的功能。MoE 模型训练中的一个主要难题是专家特化退化，这种情况表现为专家功能上冗余，或者某些专家接收到的输入很少，即便进行了旨在预防后者的负载均衡，它们仍会被路由器有效忽略。这种退化抵消了MoE的主要优势——借助专门的子网络来提升效率和容量。
诊断特化退化
识别特化退化需要不仅仅查看负载均衡指标。以下是常见表现：
- 模型性能停滞或下降： 最明显的迹象是模型在主要任务（Ltask）上的性能未能提升甚至恶化，即使辅助损失（Laux）表明负载均衡。这表明专家没有贡献有意义的、专门化的计算。
- 专家权重 (weight)间高度相似： 如果多个专家学习到几乎相同的功能，它们的权重矩阵将变得高度相似。这可以通过衡量不同专家对的平坦化权重向量 (vector)之间的余弦相似度等指标进行定量测量。专家间较高的平均成对相似度是退化的一个有力佐证。
- 路由器输出一致： 分析门控网络的输出概率（Top-k选择前的logits）。如果对于许多不同的输入，路由器在多个专家之间分配相似的概率，这表明缺乏信心或鉴别能力。这可能导致专家接收到它们无法专门处理的混合输入。
- 专家激活值方差低： 如果不同专家对相同的输入标记 (token)（经过专家网络后）产生非常相似的激活值，这表明功能冗余。
在训练期间可以监测这些诊断指标。例如，定期计算专家权重之间的平均余弦相似度可以提供线索，判断特化是否正在发生或退化。
专家权重之间的平均成对余弦相似度。相似度上升表明可能发生退化，而较低、稳定的相似度则表明健康的特化。
退化的根本原因
了解原因有助于选择合适的预防策略：
- 路由器学习失败： 门控网络可能未能学习到有意义的表示来区分哪个专家最适合给定标记 (token)。这可能发生在路由器架构过于简单、梯度不稳定（消失/爆炸）或输入表示缺乏用于路由的判别性特征时。
- 过分强调负载均衡： 尽管Laux是必需的，但在Ltotal=Ltask+αLaux中，过大的系数α会主导训练动态。路由器可能优先完美地均衡负载，即使这意味着将标记发送给次优专家，从而阻碍它们专门处理特定数据类型或特征的能力。路由器本质上学会忽略标记内容，而只是均匀地分配负载。
- 初始化不佳： 如果所有专家都以相同或非常相似的权重 (weight)开始，惯性会阻止它们在训练期间显著分化，尤其是在早期。
- 数据多样性不足： 如果训练数据缺乏足够的多样性，或者没有呈现出不同专家可以特化处理的清晰模式，模型可能无法从特化中获得优势，从而导致向共同功能退化。
- 优化不稳定： 高学习率或难以处理稀疏梯度的优化器有时会加剧这个问题，阻止路由器和专家都稳定地进入专门的角色。
预防和缓解技术
预防退化通常涉及架构选择、正则化 (regularization)和仔细的超参数 (parameter) (hyperparameter)调整的组合：
- 路由器稳定化： 如第2章（“高级MoE架构”）所述，在路由器logits中添加噪声（例如，在
softmax或Top-k选择前使用少量均匀噪声）等技术可以促进探索，并防止路由器退化为以相同方式路由所有标记 (token)。应用于路由器输入特征的Dropout也能有所帮助。
- 仔细初始化： 明确地初始化专家权重 (weight)。虽然随机初始化有帮助，但可以考虑确保更大初始分离的策略，例如通过划分初始化空间或为每个专家使用略有意图偏移的不同随机种子。
- 调整负载均衡因子（α）： 这一点很重要。从小的α开始，并监测负载均衡和专家相似度。仅当负载不均衡是一个持续存在的问题且特化表现良好时，才逐渐增加α。一些研究建议对α使用自适应调度。目标是找到一个平衡点，即负载合理分配，但路由器仍有根据内容进行路由的自由度。
- 路由器梯度控制： 确保路由器梯度稳定。专门应用于路由器参数的梯度裁剪等技术可以防止可能破坏学习稳定性的爆炸。
- 专家正则化： 在每个专家网络内部应用权重衰减（L2正则化）或Dropout等技术，有时可以促使产生更多样化的表示，使它们更不容易退化为相同的功能。
- 增加专家容量（如有必要）： 有时，如果标记数量超过了计划的专家容量（
capacity = capacity_factor * tokens_per_batch / num_experts），会有许多标记被丢弃。虽然第3.4节讨论了如何处理丢弃的标记，但持续高丢弃率可能通过提供嘈杂信号间接导致退化。增加capacity_factor可以缓解这种情况，尽管这会增加计算量。
通过仔细监测专家相似度等诊断指标，并调整训练动态，特别是负载均衡系数和路由器稳定性机制，您可以显著降低专家特化退化的风险，并充分发挥MoE架构的全部潜力。
