趋近智
高级生成对抗网络
章节 1: 重温GAN基本原理
生成器-判别器架构
最小最大目标函数
常见的训练不稳定现象
原版GAN的局限性
深度卷积GANs (DCGANs) 回顾
章节 2: 高级GAN架构
渐进式生成对抗网络 (ProGAN)
基于风格的生成器架构 (StyleGAN)
StyleGAN2 改进
大规模GAN训练 (BigGAN)
GAN中的自注意力机制
非配对图像到图像转换 (CycleGAN)
StyleGAN 组件的动手实现
章节 3: GAN训练的动态与稳定性
不收敛的难题
模式坍塌：成因与后果
其他散度：Wasserstein 距离
WGAN 中的权重剪裁
梯度惩罚 (WGAN-GP)
谱范数归一化
双时间尺度更新规则 (TTUR)
相对论生成对抗网络
WGAN-GP 的实现：实践
章节 4: 条件式与可控生成
条件式GAN（cGAN）介绍
cGAN的架构
信息最大化GAN (InfoGAN)
StackGAN：文本到图像生成
通过潜在空间操作控制属性
解耦度量与挑战
构建条件生成对抗网络：实操练习
章节 5: 生成对抗网络的定量与定性评估
评估生成模型的挑战
定性评估：视觉图灵测试
Inception Score (IS)：计算方法与局限性
Fréchet Inception 距离 (FID): 公式
解读 FID 分数
分布的准确率与召回率
感知路径长度 (PPL)
FID分数计算：实践
章节 6: GANs：不只生成图像
离散数据带来的难题：文本生成
强化学习方法 (SeqGAN, RankGAN)
连续近似（Gumbel-Softmax）
基于GAN的音频合成 (WaveGAN, SpecGAN)
视频生成与预测
三维数据生成 (点云, 网格)
使用GANs生成图
章节 7: 实施、优化与工具应用
选择深度学习框架
高级优化器 (AdamW, Lookahead)
超参数调整策略
权重初始化技术
调试不稳定的GAN训练
混合精度训练
大型GAN的分布式训练策略
性能分析与优化
优化GAN实现：实践
高级优化器 (AdamW, Lookahead)
这部分内容有帮助吗？
- Decoupled Weight Decay Regularization, Ilya Loshchilov and Frank Hutter, 2019 International Conference on Learning Representations (ICLR) DOI: 10.48550/arXiv.1711.05101 - 演示了分离权重衰减如何改进 Adam 等自适应优化器的性能和泛化能力，从而引入了 AdamW。
- Lookahead Optimizer: k steps forward, 1 step back, Michael R. Zhang, James Lucas, Geoffrey Hinton, and Jimmy Ba, 2019 Advances in Neural Information Processing Systems (NeurIPS) DOI: 10.48550/arXiv.1907.08610 - 提出了 Lookahead 优化器，一种通过快慢权重插值来提高稳定性和收敛性的包装器。
- Adam: A Method for Stochastic Optimization, Diederik P. Kingma and Jimmy Ba, 2015 International Conference on Learning Representations (ICLR) DOI: 10.48550/arXiv.1412.6980 - 介绍 Adam 优化器的基础论文，该优化器使用梯度的一阶和二阶矩的自适应估计。