专家混合：高级架构、训练与扩展

• 高级MoE架构

  分析并实现区别于基础设计的精巧MoE架构变体。

• 专家路由机制

  理解并实践先进路由算法以及用于条件计算的门控网络。

• MoE训练动态

  应对MoE训练中的难题，包括负载均衡、路由器优化与专家特化。

• 分布式训练优化

  应用特别为稀疏MoE模型定制的先进分布式训练技巧。

• MoE扩展策略

  实践结合模型、数据与流水线并行的高效MoE扩展策略。

• 性能分析与调优

  分析、评估与调整大规模MoE模型在分布式环境下的性能。

本课程没有先修课程。

目前没有推荐的后续课程。