诊断训练不稳定：振荡与发散

训练生成对抗网络（GAN）是众所周知的难题。与最小化单个损失函数 (loss function)的传统监督学习 (supervised learning)不同，GAN训练涉及两个网络之间动态的最小-最大博弈。这种精细的平衡很容易被打破，导致训练不稳定。及早识别问题迹象对于采取纠正措施非常重要。

不稳定的GAN训练最常见的表现是振荡和彻底的发散。我们来了解如何发现这些问题。

监控损失曲线

诊断GAN训练状况的主要工具是观察生成器 ( $L_G$ ) 和判别器 ( $L_D$ ) 的损失曲线随时间（训练迭代次数或周期）的变化。

训练振荡

在理想情况下，两个损失值都会逐渐减小并稳定，表明生成器正在改进，判别器也保持其有效区分真实样本和虚假样本的能力。然而，你可能会观察到振荡行为：

损失值来回摆动： 生成器损失可能下降，而判别器损失上升，不久之后趋势又会逆转，如此循环往复。这通常表明生成器和判别器轮流压制对方，而不是平稳收敛。一个网络学习过快，大幅改变数据分布，而另一个网络难以适应，导致大的梯度更新，将系统推向另一个方向。
高频噪声： 尽管由于小批量随机性，损失曲线中存在一些噪声是正常的，但极度锯齿状或高幅度的波动可能表明不稳定。

振荡损失曲线的示例，其中 $L_D$ 和 $L_G$ 周期性地向相反方向移动。

尽管如果样本质量正在提高，一些振荡可能是可以接受的，但持续的大幅振荡通常在模式崩溃或发散之前出现。

训练发散

发散是一种更严重的失败模式，训练过程会完全中断。迹象包括：

损失值爆炸： 一个或两个损失值迅速增加到无穷大（或产生 NaN 值）。这通常发生在梯度变得过大时，导致参数 (parameter)更新大幅跳过。
生成器损失消失： 生成器损失 $L_G$ 降至接近零并保持不变。这看起来可能不错，但通常意味着生成器已经找到了一种非常容易欺骗当前判别器的方法（可能通过模式崩溃），但实际上并没有学习真实的数据分布。判别器可能停滞不前，无法提供有用的梯度。
判别器损失停留在零： 如果 $L_D$ 降至零，这意味着判别器可以完美地区分真实样本和虚假样本。尽管这表明判别器很强，但这也意味着生成器没有收到任何有用的梯度信号（梯度“消失”了），停止了其学习过程。

$L_D$ 爆炸而 $L_G$ 消失的示例，表明训练发散。注意Y轴是对数刻度。

分析判别器输出

检查判别器的原始输出（对数几率或概率）对于真实和虚假样本的表现。令 $D(x)$ 为判别器对真实样本 $x$ 的输出，而 $D(G(z))$ 为判别器对虚假样本 $G(z)$ 的输出。

输出饱和： 如果 $D(x)$ 始终接近1且 $D(G(z))$ 始终接近0（反之亦然，取决于标签约定），判别器非常自信。尽管这可能发生在训练早期，但如果持续存在，通常会导致生成器的梯度消失。理想情况是判别器不确定，输出值接近0.5，提供有意义的梯度以指导生成器。
判别器准确率： 监控判别器对真实样本和虚假样本的准确率也可以提供信息。如果准确率飙升至100%并保持不变，生成器可能没有在学习。反之，如果准确率停留在50%（随机猜测），判别器可能太弱，或者生成器可能已经产生出与真实样本无法区分的样本（在训练早期不太常见）。

监控梯度

不稳定性通常与流经网络的有问题梯度有关。

梯度消失： 梯度变得极小（接近零）会阻碍有效学习，特别是对于生成器，如果判别器变得太强或使用了像Sigmoid这样会饱和的激活函数 (activation function)。
梯度爆炸： 梯度变得过大可能导致参数 (parameter)更新跳过目标，导致发散。

深度学习 (deep learning)框架中的工具允许你在训练期间监控梯度的范数（大小）。梯度范数的突然激增通常在发散之前出现，而持续小的范数可能表明存在梯度消失问题。诸如梯度裁剪（限制最大梯度范数）之类的技术，或使用替代损失函数 (loss function)（如WGAN-GP，后续会讨论），旨在缓解这些问题。

检查生成样本

单凭量化 (quantization)指标无法说明全部情况。定期检查生成器在整个训练过程中产生的样本是必不可少的。

注意观察：
- 随着时间的推移，质量和真实感是否有所提升。
- 生成的样本多样性是否增加。
- 模式崩溃的迹象（生成器仅生成一种或少数几种类型的样本）。
- 出现噪声或无意义的模式，特别是如果在一段改进后质量突然下降。

目视检查提供了宝贵的定性反馈，补充了来源于损失曲线和判别器输出的量化指标。如果损失看起来稳定，但图像质量下降或发生崩溃，这仍然表明存在需要干预的问题。

识别这些不稳定的迹象是第一步。后续章节将详细介绍具体技术，包括替代损失函数 (loss function)和正则化 (regularization)方法，旨在预防或解决这些常见的GAN训练问题。

参考文献

Generative Adversarial Networks, Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio, 2014 arXiv preprint arXiv:1406.2661 DOI: 10.48550/arXiv.1406.2661 - 介绍了生成对抗网络的基本框架和对抗训练目标，这对于理解训练不稳定性的来源和最小最大博弈至关重要。
Improved Training of Wasserstein GANs, Ishaan Gulrajani, Faruk Ahmed, Martin Arjovsky, Vincent Dumoulin, Aaron Courville, 2017 Advances in Neural Information Processing Systems (NeurIPS) DOI: 10.48550/arXiv.1704.00028 - 通过引入带有梯度惩罚的 Wasserstein 距离，显著提高了 GAN 的训练稳定性，直接解决了梯度消失/爆炸和模式崩溃等常见问题。
Are GANs Created Equal? A Critical Review with Initial Guidelines for Fair Comparisons, Mario Lucic, Karol Kurach, Marcin Michalski, Sylvain Gelly, Olivier Bousquet, 2018 NIPS'18 DOI: 10.48550/arXiv.1711.10337 - 讨论了评估 GAN 的各种定量和定性指标，这对于诊断训练健康状况并通过生成样本识别模式崩溃等问题至关重要。
Deep Learning (Chapter 20: Generative Adversarial Networks), Ian Goodfellow, Yoshua Bengio, Aaron Courville, 2016 (MIT Press) - 提供了对生成对抗网络的详细学术论述，包括其理论基础、训练动态以及导致不稳定性问题的固有挑战。