趋近智
高级生成对抗网络
章节 1: 重温GAN基本原理
生成器-判别器架构
最小最大目标函数
常见的训练不稳定现象
原版GAN的局限性
深度卷积GANs (DCGANs) 回顾
章节 2: 高级GAN架构
渐进式生成对抗网络 (ProGAN)
基于风格的生成器架构 (StyleGAN)
StyleGAN2 改进
大规模GAN训练 (BigGAN)
GAN中的自注意力机制
非配对图像到图像转换 (CycleGAN)
StyleGAN 组件的动手实现
章节 3: GAN训练的动态与稳定性
不收敛的难题
模式坍塌：成因与后果
其他散度：Wasserstein 距离
WGAN 中的权重剪裁
梯度惩罚 (WGAN-GP)
谱范数归一化
双时间尺度更新规则 (TTUR)
相对论生成对抗网络
WGAN-GP 的实现：实践
章节 4: 条件式与可控生成
条件式GAN（cGAN）介绍
cGAN的架构
信息最大化GAN (InfoGAN)
StackGAN：文本到图像生成
通过潜在空间操作控制属性
解耦度量与挑战
构建条件生成对抗网络：实操练习
章节 5: 生成对抗网络的定量与定性评估
评估生成模型的挑战
定性评估：视觉图灵测试
Inception Score (IS)：计算方法与局限性
Fréchet Inception 距离 (FID): 公式
解读 FID 分数
分布的准确率与召回率
感知路径长度 (PPL)
FID分数计算：实践
章节 6: GANs：不只生成图像
离散数据带来的难题：文本生成
强化学习方法 (SeqGAN, RankGAN)
连续近似（Gumbel-Softmax）
基于GAN的音频合成 (WaveGAN, SpecGAN)
视频生成与预测
三维数据生成 (点云, 网格)
使用GANs生成图
章节 7: 实施、优化与工具应用
选择深度学习框架
高级优化器 (AdamW, Lookahead)
超参数调整策略
权重初始化技术
调试不稳定的GAN训练
混合精度训练
大型GAN的分布式训练策略
性能分析与优化
优化GAN实现：实践
大型GAN的分布式训练策略
这部分内容有帮助吗？
- Large Scale GAN Training for High Fidelity Natural Image Synthesis, Andrew Brock, Jeff Donahue, and Karen Simonyan, 2018 arXiv preprint arXiv:1809.11096 DOI: 10.48550/arXiv.1809.11096 - 详细介绍大规模GAN训练方法，展示增大批次大小对图像保真度和训练稳定性的益处。
- Distributed Data Parallel, PyTorch Documentation, 2024 - PyTorch官方的分布式数据并行（DDP）指南，是数据并行训练的常用工具。
- Horovod: Fast and Easy Distributed Deep Learning Training, Alexander Sergeev and Mike Del Balso, 2018 arXiv preprint arXiv:1802.05799 DOI: 10.48550/arXiv.1802.05799 - 介绍Horovod，一个通过高效AllReduce操作简化数据并行分布式训练的框架。
- Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism, Mohammad Shoeybi, Mostofa Patwary, Raul Puri, Patrick LeGresley, Jared Casper, Bryan Catanzaro, 2019 arXiv preprint arXiv:1909.08053 DOI: 10.48550/arXiv.1909.08053 - 概述一个用于训练超大型语言模型的框架，它采用多种并行技术，并讨论了同步批标准化。