趋近智
专家混合：高级架构、训练与扩展
章节 1: 稀疏专家模型基本原理
条件计算原理
稀疏专家混合模型（MoE）方法
对比密集激活与稀疏激活
基本MoE层的数学表述
章节 2: 进阶 MoE 架构
设计有效的门控网络
分层MoE结构
路由架构：线性、非线性、基于注意力
专家容量与规模考量
路由器稳定化技术
动手实践：实现自定义门控机制
章节 3: 训练动态与优化
MoE 中的负载均衡问题
辅助损失函数用于负载均衡
路由优化策略
处理丢弃令牌
专家特化退化及预防
优化器选择与超参数的影响
实践操作：实现和调整负载均衡损失
章节 4: 扩展 MoE 模型：分布式训练
分布式MoE训练中的难点
专家并行：在不同设备上分配专家
专家并行与数据并行的结合
All-to-All 通信模式
MoE 模型的流水线并行
通信优化方法（例如，重叠）
用于分布式MoE的框架和库 (例如：DeepSpeed, Tutel)
实践：配置分布式MoE训练
章节 5: 推理优化与部署
稀疏模型的推理难题
MoE推理的批处理策略
MoE 模型压缩方法
硬件加速的考量
路由器缓存与优化
大型稀疏模型的部署模式
动手实践：MoE 推理性能分析
MoE 模型的流水线并行
这部分内容有帮助吗？
- GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism, Yanping Huang, Youlong Cheng, Ankur Bapna, Orhan Firat, Dehao Chen, Mia Chen, HyoukJoong Lee, Jiquan Ngiam, Quoc V Le, Yonghui Wu, Zhifeng Chen, 2019 Advances in Neural Information Processing Systems (NeurIPS), Vol. 32 DOI: 10.5555/3454287.3455171 - 介绍了用于训练大型神经网络的带有微批处理的流水线并行技术，是该领域的奠基性工作。
- Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism, Mohammad Shoeybi, Mostofa Patwary, Raul Puri, Patrick LeGresley, Jared Casper, and Bryan Catanzaro, 2019 arXiv preprint arXiv:1909.08053 DOI: 10.48550/arXiv.1909.08053 - 描述了用于高效训练数十亿参数语言模型的模型并行技术，其中包括流水线并行。
- Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity, William Fedus, Barret Zoph, and Noam Shazeer, 2022 Journal of Machine Learning Research, Vol. 23 (Journal of Machine Learning Research) DOI: 10.48550/arXiv.2101.03961 - 详细介绍了Switch Transformers的架构和分布式训练策略，这是一种扩展到万亿参数的稀疏专家混合模型。