趋近智
高级合成数据生成：GAN和扩散模型
章节 1: 生成模型基本原理回顾
用于生成的概率建模
生成模型分类
高维数据生成中的挑战
GAN 核心
扩散模型原理介绍
章节 2: 高级GAN架构与技术
渐进式生成对抗网络 (ProGAN)
基于风格的生成器（StyleGAN变体）
非配对图像到图像转换 (CycleGAN)
条件生成对抗网络：架构与控制
GAN中的注意力机制
分析与调整GAN潜在空间
动手实践：实现StyleGAN组件
章节 3: GAN训练稳定性与优化
诊断训练不稳定：振荡与发散
模式坍塌：原因与缓解策略
替代损失函数（WGAN, WGAN-GP, LSGAN）
GAN 的正则化方法
双时间尺度更新规则 (TTUR)
GAN的超参数调整策略
动手实践：WGAN-GP 的实现
章节 4: 扩散模型：理论与进阶实现
数学基本原理：随机微分方程
去噪扩散概率模型 (DDPM)
基于得分的生成模型
改进技术：DDIM和方差调度
分类器引导与无分类器引导
扩散模型 (U-Net) 的结构考量
动手实践：构建基础DDPM
章节 5: 合成数据质量评估
生成模型评估中的难题
定量指标：IS、FID、精确率、召回率
分布度量：核Inception距离 (KID)
生成对抗网络（GAN）的感知路径长度（PPL）
定性评估方法
评估条件生成模型
动手实践：计算FID分数
章节 6: 高级应用与整合
高分辨率生成策略
文本到图像生成架构
合成数据：扩充与隐私保护
使用生成模型进行视频生成
结合GAN与扩散模型
计算考量与扩展
实践操作：条件图像生成
计算考量与扩展
这部分内容有帮助吗？
- ZeRO: Memory Optimizations Toward Training Trillion-Parameter Models, Samyam Rajbhandari, Cong Guo, Jeff Rasley, Shaden Smith, Yuxiong He, 2020 SC '20: Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis (IEEE) DOI: 10.1109/SC41405.2020.00078 - 介绍了ZeRO内存优化策略，通过在设备间分片优化器状态、梯度和参数，对训练大型模型至关重要。
- Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism, Mohammad Shoeybi, Mostofa Patwary, Raul Puri, Patrick LeGresley, Jared Casper, Bryan Catanzaro, 2019 arXiv DOI: 10.48550/arXiv.1909.08053 - 提出了用于训练超大型神经网络的模型并行技术，解决了模型无法适应单个设备内存的挑战。
- Automatic Mixed Precision for Deep Learning, PyTorch Documentation, 2024 (PyTorch Foundation) - 提供了在PyTorch中使用自动混合精度训练的指南和示例，有助于减少内存占用并加速计算。
- Training Deep Nets with Sublinear Memory Cost, Tianqi Chen, Bing Xu, Chiyuan Zhang, Carlos Guestrin, 2016 arXiv preprint arXiv:1604.06174 DOI: 10.48550/arXiv.1604.06174 - 描述了通过在反向传播中重新计算中间激活来减少训练期间内存消耗的方法，即梯度检查点技术。
- Training Generative Adversarial Networks with Limited Data, Tero Karras, Miika Aittala, Janne Hellsten, Samuli Laine, Jaakko Lehtinen, Timo Aila, 2020 Advances in Neural Information Processing Systems (NeurIPS) 33 - 介绍了一种自适应判别器增强方法，显著改进了有限数据下的GAN训练，其训练需要大量的计算资源。