趋近智
专家混合：高级架构、训练与扩展
章节 1: 稀疏专家模型基本原理
条件计算原理
稀疏专家混合模型（MoE）方法
对比密集激活与稀疏激活
基本MoE层的数学表述
章节 2: 进阶 MoE 架构
设计有效的门控网络
分层MoE结构
路由架构：线性、非线性、基于注意力
专家容量与规模考量
路由器稳定化技术
动手实践：实现自定义门控机制
章节 3: 训练动态与优化
MoE 中的负载均衡问题
辅助损失函数用于负载均衡
路由优化策略
处理丢弃令牌
专家特化退化及预防
优化器选择与超参数的影响
实践操作：实现和调整负载均衡损失
章节 4: 扩展 MoE 模型：分布式训练
分布式MoE训练中的难点
专家并行：在不同设备上分配专家
专家并行与数据并行的结合
All-to-All 通信模式
MoE 模型的流水线并行
通信优化方法（例如，重叠）
用于分布式MoE的框架和库 (例如：DeepSpeed, Tutel)
实践：配置分布式MoE训练
章节 5: 推理优化与部署
稀疏模型的推理难题
MoE推理的批处理策略
MoE 模型压缩方法
硬件加速的考量
路由器缓存与优化
大型稀疏模型的部署模式
动手实践：MoE 推理性能分析
条件计算原理
这部分内容有帮助吗？
- Adaptive Mixture of Local Experts, Robert A. Jacobs, Michael I. Jordan, Steven J. Nowlan, and Geoffrey E. Hinton, 1991 Neural Computation, Vol. 3 (MIT Press) DOI: 10.1162/neco.1991.3.1.79 - 介绍了混合专家架构的基本概念，其中不同的“专家”专门处理输入空间的不同区域，并由一个门控网络管理。
- Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer, Noam Shazeer, Azalia Mirhoseini, Krzysztof Maziarz, Andy Davis, Quoc Le, Geoffrey Hinton, and Jeff Dean, 2017 arXiv preprint arXiv:1701.06538 DOI: 10.48550/arXiv.1701.06538 - 提出了稀疏门控混合专家层，这是在保持每个样本计算成本不变的情况下，将神经网络扩展到庞大参数数量的关键创新，特别是在Transformer模型中。
- GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding, Dmitry Lepikhin, Hieu Pham, Anselm Levskaya, Jonathan Shlens, Artem Grygoryev, Xingguang Chen, Yanqi Zhou, Yuanzhong Xu, Vikram Muralidharan, George Tucker, Anirudh Gowthaman, Chandraekhar Sowrirajan, David So, Jeffrey Dean, 2021 International Conference on Learning Representations (ICLR) 2021 DOI: 10.48550/arXiv.2006.16668 - 详细介绍了一种自动分片和训练巨型条件计算模型（包括稀疏MoE）的系统，能够在数千个加速器上进行，从而实现万亿参数的模型。