趋近智
专家混合模型：核心思想与实践应用
章节 1: 专家混合模型的核心原理
稀疏门控专家混合架构概述
门控网络：公式与作用
专家网络：专精与容量
MoE层的数学表述
负载均衡和辅助损失
MoE 训练中的难题：专家退化
与密集模型扩展的比较
动手实践：实现一个基本 MoE 层
章节 2: 进阶路由机制
Top-k门控及其变体的分析
噪声Top-k门控实现负载均衡
基于哈希的确定性选择路由
Switch Transformer：简化路由
软MoE：可微分路由
路由决策与专长化分析
动手实践：实现不同的路由策略
章节 3: 大规模MoE的训练与优化
分布式训练中的专家并行
结合模型并行、数据并行与专家并行
容量因子及其对性能的影响
缓解路由器Z损失不稳的办法
精度及其作用：BFloat16训练
预训练MoE模型的微调策略
实践：配置分布式训练作业
章节 4: 高效的MoE模型推理
推理面临的困难：内存与延迟
专家卸载到 CPU 或 NVMe
稀疏激活的批处理策略
MoE 模型压缩的模型蒸馏
MoE层量化技术
使用MoE模型进行推测解码
动手实践：构建优化推理管线
章节 5: MoE在现代架构中的应用
将FFN替换为Transformer中的MoE层
MoE 层的位置：频率与部位
视觉Transformer (ViT) 中的MoE
多模态模型中的MoE
架构变体及其特性
分析参数与FLOPs的权衡
实践：修改Transformer模型以使用MoE
软MoE：可微分路由
这部分内容有帮助吗？
- Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer, Noam Shazeer, Azalia Mirhoseini, Krzysztof Maziarz, Andy Davis, Quoc Le, Geoffrey Hinton, Jeff Dean, 2017 arXiv preprint arXiv:1701.06538 DOI: 10.48550/arXiv.1701.06538 - 这篇基础论文介绍了稀疏门控专家混合（MoE）层，通过与密集（软）门控的对比，为理解其背景提供了依据，并讨论了稀疏性的计算优势。
- Learning to Route: A Differentiable Approach to Mixture of Experts, Clemens Rosenbaum, Chetan Sanan, Charith Gunasekara, Josh Trani, Andrew Gordon Wilson, Kyunghyun Cho, 2018 Proceedings of the 35th International Conference on Machine Learning (ICML), Vol. 80 (PMLR) DOI: 10.5555/3326938.3326955 - 本文提出了一种在专家混合模型中实现可微分路由的方法，与本节中对软路由的讨论直接相关。
- Attention Is All You Need, Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, Illia Polosukhin, 2017 Advances in Neural Information Processing Systems (NeurIPS) 30 DOI: 10.48550/arXiv.1706.03762 - 介绍了Transformer架构及其自注意力机制，这为软路由中的加权求和计算提供了很好的类比。
- Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity, William Fedus, Barret Zoph, Noam Shazeer, 2021 arXiv DOI: 10.48550/arXiv.2101.03961 - 介绍了Switch Transformers，这是硬门控专家混合的一个代表性例子，展示了稀疏性的计算效率，而软专家混合则与之不同。