趋近智
专家混合模型：核心思想与实践应用
章节 1: 专家混合模型的核心原理
稀疏门控专家混合架构概述
门控网络：公式与作用
专家网络：专精与容量
MoE层的数学表述
负载均衡和辅助损失
MoE 训练中的难题：专家退化
与密集模型扩展的比较
动手实践：实现一个基本 MoE 层
章节 2: 进阶路由机制
Top-k门控及其变体的分析
噪声Top-k门控实现负载均衡
基于哈希的确定性选择路由
Switch Transformer：简化路由
软MoE：可微分路由
路由决策与专长化分析
动手实践：实现不同的路由策略
章节 3: 大规模MoE的训练与优化
分布式训练中的专家并行
结合模型并行、数据并行与专家并行
容量因子及其对性能的影响
缓解路由器Z损失不稳的办法
精度及其作用：BFloat16训练
预训练MoE模型的微调策略
实践：配置分布式训练作业
章节 4: 高效的MoE模型推理
推理面临的困难：内存与延迟
专家卸载到 CPU 或 NVMe
稀疏激活的批处理策略
MoE 模型压缩的模型蒸馏
MoE层量化技术
使用MoE模型进行推测解码
动手实践：构建优化推理管线
章节 5: MoE在现代架构中的应用
将FFN替换为Transformer中的MoE层
MoE 层的位置：频率与部位
视觉Transformer (ViT) 中的MoE
多模态模型中的MoE
架构变体及其特性
分析参数与FLOPs的权衡
实践：修改Transformer模型以使用MoE
缓解路由器Z损失不稳的办法
这部分内容有帮助吗？
- Sparsely-Gated Mixture-of-Experts Layers, Noam M. Shazeer, Azalia Mirhoseini, Krzysztof Maziarz, Andy Davis, Quoc V. Le, Geoffrey E. Hinton, Jeffrey Dean, 2017 Advances in Neural Information Processing Systems 30 (NeurIPS 2017) DOI: 10.48550/arXiv.1701.06538 - 这篇开创性论文介绍了专家混合架构和辅助负载平衡损失的概念，这对于路由器操作和潜在Z损失的起源至关重要。
- Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity, William Fedus, Barret Zoph, Noam Shazeer, 2022 The Journal of Machine Learning Research, Vol. 23 (JMLR, Inc. and Microtome Publishing) DOI: 10.5555/3547192.3547209 - 本文详细介绍了训练大型专家混合模型时的实际挑战和解决方案，包括负载平衡损失（路由器Z损失由此而来）的实现和调整，以确保训练的稳定性。
- Stable and Efficient Training of Sparse Mixture-of-Experts Models, Zonglin Yang, Zhiqiang Shen, Xiaodan Liang, Shanshan Zhang, Junjie Yan, Xian-Sheng Hua, and Deng Cai, 2023 International Conference on Learning Representations (ICLR 2023) (ACM) DOI: 10.5555/3587498.3587572 - 本文专门探讨了稀疏专家混合模型训练中的数值不稳定问题，提供了与管理路由器Z损失直接相关的深入分析和缓解技术。