趋近智
PyTorch FSDP 大模型分布式训练
章节 1: 数据并行的局限性与 ZeRO 基本原理
DDP 与 FSDP 中的内存占用
ZeRO 阶段与分片策略
通信量分析
实现基础FSDP包装器
章节 2: 模型包装与初始化策略
Transformer 封装策略
自定义包装策略
延迟初始化与meta设备
处理共享参数
代码实践: 高级包装配置
章节 3: 混合精度与内存优化
BFloat16 与 Float16 配置
激活检查点工作原理
CPU 卸载的实现
分片下的梯度累积
实践：调整内存限制
章节 4: 多节点扩展与NCCL调优
初始化多节点进程组
NCCL 集合通信原语
速率限制与反向预取
混合分片策略
实践：多节点集群配置
章节 5: 分布式检查点与容错
分片状态字典与完整状态字典
PyTorch 分布式检查点 API
弹性训练集成
实践：实现可恢复训练
章节 6: 性能分析与调优
解读 PyTorch Profiler 追踪
分析通信重叠
显存碎片分析
吞吐量优化技术
实践：优化案例工作
PyTorch FSDP 大模型分布式训练
先修课程 PyTorch高级应用，分布式基础知识
级别:
专家
FSDP架构
利用ZeRO阶段对参数、梯度和优化器状态进行分区，设计扩展方案。
内存优化
实现激活检查点和CPU卸载，以最大化每GPU的吞吐量。
多节点网络
配置并调整NCCL通信，以实现高效的跨节点扩展。
性能分析
分析通信与计算重叠，并解决内存碎片问题。
本课程没有先修课程。
目前没有推荐的后续课程。
登录以撰写评论
分享您的反馈以帮助其他学习者。
© 2025 ApX Machine Learning用心打造