趋近智
高级生成对抗网络
章节 1: 重温GAN基本原理
生成器-判别器架构
最小最大目标函数
常见的训练不稳定现象
原版GAN的局限性
深度卷积GANs (DCGANs) 回顾
章节 2: 高级GAN架构
渐进式生成对抗网络 (ProGAN)
基于风格的生成器架构 (StyleGAN)
StyleGAN2 改进
大规模GAN训练 (BigGAN)
GAN中的自注意力机制
非配对图像到图像转换 (CycleGAN)
StyleGAN 组件的动手实现
章节 3: GAN训练的动态与稳定性
不收敛的难题
模式坍塌：成因与后果
其他散度：Wasserstein 距离
WGAN 中的权重剪裁
梯度惩罚 (WGAN-GP)
谱范数归一化
双时间尺度更新规则 (TTUR)
相对论生成对抗网络
WGAN-GP 的实现：实践
章节 4: 条件式与可控生成
条件式GAN（cGAN）介绍
cGAN的架构
信息最大化GAN (InfoGAN)
StackGAN：文本到图像生成
通过潜在空间操作控制属性
解耦度量与挑战
构建条件生成对抗网络：实操练习
章节 5: 生成对抗网络的定量与定性评估
评估生成模型的挑战
定性评估：视觉图灵测试
Inception Score (IS)：计算方法与局限性
Fréchet Inception 距离 (FID): 公式
解读 FID 分数
分布的准确率与召回率
感知路径长度 (PPL)
FID分数计算：实践
章节 6: GANs：不只生成图像
离散数据带来的难题：文本生成
强化学习方法 (SeqGAN, RankGAN)
连续近似（Gumbel-Softmax）
基于GAN的音频合成 (WaveGAN, SpecGAN)
视频生成与预测
三维数据生成 (点云, 网格)
使用GANs生成图
章节 7: 实施、优化与工具应用
选择深度学习框架
高级优化器 (AdamW, Lookahead)
超参数调整策略
权重初始化技术
调试不稳定的GAN训练
混合精度训练
大型GAN的分布式训练策略
性能分析与优化
优化GAN实现：实践
连续近似（Gumbel-Softmax）
这部分内容有帮助吗？
- Categorical Reparameterization with Gumbel-Softmax, Eric Jang, Shixiang Gu, Ben Poole, 2016 International Conference on Learning Representations (ICLR) DOI: 10.48550/arXiv.1611.01144 - 介绍Gumbel-Softmax技巧以实现从分类分布中可微分采样的两篇原始论文之一。
- The Concrete Distribution: A Continuous Relaxation of Discrete Random Variables, Chris J. Maddison, Andriy Mnih, Yee Whye Teh, 2016 International Conference on Learning Representations (ICLR) DOI: 10.48550/arXiv.1611.00712 - 同期发表的另一项具有影响力的工作，提出了与Gumbel-Softmax数学上等价的Concrete分布。
- Text Generation with Gumbel-Softmax, Matt J. Kusner, José Miguel Hernández-Lobato, 2017 Proceedings of the 34th International Conference on Machine Learning (ICML), Vol. 70 (PMLR (Proceedings of Machine Learning Research)) DOI: 10.48550/arXiv.1704.05814 - 展示了Gumbel-Softmax重参数化技巧在文本生成中的实际应用，包括在生成对抗网络（GANs）和变分自编码器（VAEs）中的使用。