趋近智
PyTorch FSDP 大模型分布式训练
章节 1: 数据并行的局限性与 ZeRO 基本原理
DDP 与 FSDP 中的内存占用
ZeRO 阶段与分片策略
通信量分析
实现基础FSDP包装器
章节 2: 模型包装与初始化策略
Transformer 封装策略
自定义包装策略
延迟初始化与meta设备
处理共享参数
代码实践: 高级包装配置
章节 3: 混合精度与内存优化
BFloat16 与 Float16 配置
激活检查点工作原理
CPU 卸载的实现
分片下的梯度累积
实践：调整内存限制
章节 4: 多节点扩展与NCCL调优
初始化多节点进程组
NCCL 集合通信原语
速率限制与反向预取
混合分片策略
实践：多节点集群配置
章节 5: 分布式检查点与容错
分片状态字典与完整状态字典
PyTorch 分布式检查点 API
弹性训练集成
实践：实现可恢复训练
章节 6: 性能分析与调优
解读 PyTorch Profiler 追踪
分析通信重叠
显存碎片分析
吞吐量优化技术
实践：优化案例工作
CPU 卸载的实现
这部分内容有帮助吗？
© 2025 ApX Machine Learning用心打造