章节 3: GAN训练稳定性与优化

生成对抗网络 (GAN)能生成令人印象深刻的结果，但其训练过程常不稳定。在最小最大目标函数 $\min_G \max_D V(D, G)$ 中，实现生成器 $G$ 与判别器 $D$ 之间的收敛常常有难度，这会引起样本质量差或多样性不足等问题。

本章提供实用的方法来诊断并解决这些训练难题。您将学到：

• 识别出模式坍塌、训练震荡和散度等常见问题。
• 实施瓦瑟斯坦GAN（带梯度惩罚WGAN-GP）和最小二乘GAN（LSGAN）等替代损失函数 (loss function)，以提高稳定性。
• 应用正则化 (regularization)技术，包括谱归一化 (normalization)，到生成器和判别器。
• 运用双时间尺度更新规则 (TTUR) 等优化策略。
• 制定针对GAN的有效超参数 (parameter) (hyperparameter)调优方法。

我们将涵盖这些技术背后的原理，并引导您实现WGAN-GP等核心解决方案。