趋近智
高级合成数据生成：GAN和扩散模型
章节 1: 生成模型基本原理回顾
用于生成的概率建模
生成模型分类
高维数据生成中的挑战
GAN 核心
扩散模型原理介绍
章节 2: 高级GAN架构与技术
渐进式生成对抗网络 (ProGAN)
基于风格的生成器（StyleGAN变体）
非配对图像到图像转换 (CycleGAN)
条件生成对抗网络：架构与控制
GAN中的注意力机制
分析与调整GAN潜在空间
动手实践：实现StyleGAN组件
章节 3: GAN训练稳定性与优化
诊断训练不稳定：振荡与发散
模式坍塌：原因与缓解策略
替代损失函数（WGAN, WGAN-GP, LSGAN）
GAN 的正则化方法
双时间尺度更新规则 (TTUR)
GAN的超参数调整策略
动手实践：WGAN-GP 的实现
章节 4: 扩散模型：理论与进阶实现
数学基本原理：随机微分方程
去噪扩散概率模型 (DDPM)
基于得分的生成模型
改进技术：DDIM和方差调度
分类器引导与无分类器引导
扩散模型 (U-Net) 的结构考量
动手实践：构建基础DDPM
章节 5: 合成数据质量评估
生成模型评估中的难题
定量指标：IS、FID、精确率、召回率
分布度量：核Inception距离 (KID)
生成对抗网络（GAN）的感知路径长度（PPL）
定性评估方法
评估条件生成模型
动手实践：计算FID分数
章节 6: 高级应用与整合
高分辨率生成策略
文本到图像生成架构
合成数据：扩充与隐私保护
使用生成模型进行视频生成
结合GAN与扩散模型
计算考量与扩展
实践操作：条件图像生成
文本到图像生成架构
这部分内容有帮助吗？
- Learning Transferable Visual Models From Natural Language Supervision, Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, Ilya Sutskever, 2021 Proceedings of the 38th International Conference on Machine Learning, Vol. 139 (PMLR) DOI: 10.48550/arXiv.2103.00020 - 介绍对比语言-图像预训练（CLIP），该模型学习文本和图像的共享嵌入空间，为文本到图像合成提供强大的文本编码器和引导机制。
- High-Resolution Image Synthesis with Latent Diffusion Models, Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, Björn Ommer, 2022 Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (IEEE) DOI: 10.1109/CVPR52688.2022.01047 - 介绍潜在扩散模型，即Stable Diffusion背后的架构，该模型利用压缩的潜在空间通过交叉注意力机制和无分类器引导实现高效的高分辨率文本条件图像生成。
- Hierarchical Text-Conditional Image Generation with CLIP Latents, Aditya Ramesh, Prafulla Dhariwal, Alex Nichol, Casey Chu, Mark Chen, 2022 DOI: 10.48550/arXiv.2204.06125 - 介绍DALL-E 2，一个分层的文本到图像扩散模型，它利用CLIP嵌入和先验网络从文本提示生成多样化且高保真度的图像。