高级 PyTorch

• PyTorch 内部机制

  理解 PyTorch 张量和自动求导引擎的底层运行原理。

• 自定义操作

  实现自定义自动求导函数和 C++/CUDA 扩展，用于特殊运算。

• 高级结构

  构建复杂的模型，例如 Transformer、GNN 和 Normalizing Flow。

• 优化技术

  应用高级优化器、学习率调度器、混合精度训练和正则化。

• 分布式训练

  实现多种并行训练策略，包括 DDP、模型并行和 FSDP。

• 模型部署优化

  优化模型推理性能，运用 TorchScript、量化、剪枝和性能分析。

本课程没有先修课程。

目前没有推荐的后续课程。