ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

高级生成对抗网络
章节 1: 重温GAN基本原理
生成器-判别器架构
最小最大目标函数
常见的训练不稳定现象
原版GAN的局限性
深度卷积GANs (DCGANs) 回顾
章节 2: 高级GAN架构
渐进式生成对抗网络 (ProGAN)
基于风格的生成器架构 (StyleGAN)
StyleGAN2 改进
大规模GAN训练 (BigGAN)
GAN中的自注意力机制
非配对图像到图像转换 (CycleGAN)
StyleGAN 组件的动手实现
章节 3: GAN训练的动态与稳定性
不收敛的难题
模式坍塌:成因与后果
其他散度:Wasserstein 距离
WGAN 中的权重剪裁
梯度惩罚 (WGAN-GP)
谱范数归一化
双时间尺度更新规则 (TTUR)
相对论生成对抗网络
WGAN-GP 的实现:实践
章节 4: 条件式与可控生成
条件式GAN(cGAN)介绍
cGAN的架构
信息最大化GAN (InfoGAN)
StackGAN:文本到图像生成
通过潜在空间操作控制属性
解耦度量与挑战
构建条件生成对抗网络:实操练习
章节 5: 生成对抗网络的定量与定性评估
评估生成模型的挑战
定性评估:视觉图灵测试
Inception Score (IS):计算方法与局限性
Fréchet Inception 距离 (FID): 公式
解读 FID 分数
分布的准确率与召回率
感知路径长度 (PPL)
FID分数计算:实践
章节 6: GANs:不只生成图像
离散数据带来的难题:文本生成
强化学习方法 (SeqGAN, RankGAN)
连续近似(Gumbel-Softmax)
基于GAN的音频合成 (WaveGAN, SpecGAN)
视频生成与预测
三维数据生成 (点云, 网格)
使用GANs生成图
章节 7: 实施、优化与工具应用
选择深度学习框架
高级优化器 (AdamW, Lookahead)
超参数调整策略
权重初始化技术
调试不稳定的GAN训练
混合精度训练
大型GAN的分布式训练策略
性能分析与优化
优化GAN实现:实践

基于风格的生成器架构 (StyleGAN)

虽然像 ProGAN 这样的架构通过逐步增加网络深度来生成高分辨率图像,并表现出有效的方法,但控制生成图像的具体特性依然存在挑战。标准的潜在空间 zzz 常常表现出缠结,这意味着改变 zzz 中的一个维度可能会影响输出图像中多个不相关的特征。由 Karras 等人(NVIDIA)提出的 StyleGAN,代表着架构上的一大转变,其设计专门为了解决这个问题,并为合成过程提供更直观的控制。

StyleGAN 没有直接将初始潜在代码 zzz 输入到生成器网络,而是引入了几个新颖的组件,它们共同作用,使不同精细程度的风格特征分离。

映射网络 (fff)

第一个主要变化是引入了一个映射网络,记作 fff。这通常是一个8层的多层感知器 (MLP)。其作用是将从标准分布(例如高斯分布)中提取的输入潜在代码 zzz 转换为中间潜在空间 WWW。所以,w=f(z)w = f(z)w=f(z),其中 w∈Ww \in Ww∈W。

映射网络将输入潜在 zzz 转换为中间潜在 www 的简化图示。

为何引入这个中间空间 WWW?映射网络 fff 不必保持输入空间 ZZZ 的分布。这种自由使得 fff 能够“解开”潜在空间,使 WWW 可能比 ZZZ 更少缠结。数据中的变异因素可能在 WWW 中表示得更线性,从而使得在生成过程中更容易控制特定属性。例如,在 WWW 中分离身份、姿态和光照等因素可能更可行。

合成网络 (ggg)

第二个主要组成部分是合成网络 ggg。与传统 GAN 生成器在第一层直接接收潜在代码 zzz 作为输入不同,StyleGAN 合成网络从一个学习到的常数张量开始。中间潜在代码 www 随后用于控制 ggg 在网络中多个点生成的特征。

在合成网络的每个分辨率级别,也会明确地添加噪声。这种噪声是为每一层独立采样的,并提供了一种机制,使网络能够生成随机细节,例如毛发或雀斑的确切位置,而无需完全依赖于潜在代码 www。

自适应实例归一化 (normalization) (AdaIN)

将 www 中的风格信息注入合成网络 ggg 的机制是自适应实例归一化 (AdaIN)。AdaIN 根据从 www 获得的风格信息修改合成网络的归一化激活。

回想一下,实例归一化 (IN) 对每个通道每个样本的特征统计量(均值和标准差)进行归一化。AdaIN 通过使用从中间潜在向量 (vector) www 获得的风格尺度 (σ(ys)\sigma(y_s)σ(ys​)) 和偏置 (bias) (μ(yb)\mu(y_b)μ(yb​)) 来调制这些归一化特征,从而扩展了这一点。对于特定层 iii 的激活图 xix_ixi​:

AdaIN(xi,w)=ys,i(xi−μ(xi)σ(xi))+yb,i\text{AdaIN}(x_i, w) = y_{s,i} \left( \frac{x_i - \mu(x_i)}{\sigma(x_i)} \right) + y_{b,i}AdaIN(xi​,w)=ys,i​(σ(xi​)xi​−μ(xi​)​)+yb,i​

这里:

  • xix_ixi​ 是层 iii 的激活张量。
  • μ(xi)\mu(x_i)μ(xi​) 和 σ(xi)\sigma(x_i)σ(xi​) 是 xix_ixi​ 的均值和标准差,针对批次中的每个特征通道和每个样本,在空间维度上独立计算。
  • ys,iy_{s,i}ys,i​(尺度)和 yb,iy_{b,i}yb,i​(偏置)是对中间潜在代码 www 应用的学习到的仿射变换。一个单独的学习变换为应用 AdaIN 的每一层生成尺度和偏置。

简而言之,AdaIN 首先将特征图 xix_ixi​ 归一化,使其每个通道具有零均值和单位方差,从而移除编码在这些统计量中的原始风格信息。然后,它使用从 www 获得的参数 (parameter)对归一化图进行缩放和偏移,有效地将 www 指定的目标风格注入到该层的特征中。

StyleGAN 合成网络 (ggg) 的图示。中间潜在 www 通过 AdaIN 层控制风格,独立的噪声输入在不同分辨率下添加随机细节。

通过在合成网络中每个卷积层(或块)之后应用 AdaIN,StyleGAN 使用单个潜在向量 www 控制不同尺度下表示的视觉风格特征(如配色方案、纹理、光照)。常数输入确保网络从头开始学习所有空间信息,仅由 www 的风格输入和注入的噪声引导。

解缠与风格混合

这种架构促进解缠,因为映射网络 fff 可以学习将 zzz 映射到一个缠结更少的 WWW 空间,且合成网络 ggg 通过 AdaIN 全局使用 www,而不仅仅是在输入层。这种结构有助于实现强大的控制机制:

  • 风格混合: 在训练期间,一部分图像使用两个不同的中间潜在代码 w1w_1w1​ 和 w2w_2w2​ 生成。一个代码 (w1w_1w1​) 控制一部分层的风格(例如,粗糙空间分辨率,4x4 到 8x8),而另一个代码 (w2w_2w2​) 控制其余层的风格(例如,更精细的分辨率,16x16 到 1024x1024)。这种技术鼓励网络将风格控制定位于特定的层子集,并防止它假设不同层次风格之间的关联。在推理 (inference)时,这允许创造性地混合风格:从由 w1w_1w1​ 生成的图像中获取粗糙结构(姿态、脸型),并将其与由 w2w_2w2​ 生成的图像中的更精细细节(头发纹理、肤色)结合。

  • 感知路径长度 (PPL) 正则化 (regularization): StyleGAN 训练常常包含一个正则化项,鼓励从 WWW 到图像空间的映射平滑。WWW 中微小的变化应对应生成图像中微小的感知变化,这会进一步改善解缠效果和插值质量。(PPL 在第5章评估部分有更多介绍。)

  • 截断技巧: 尽管并非 StyleGAN 独有,但在这里它常被有效使用。通过采样 www 向量 (vector),然后将它们移向平均 www(根据许多样本计算得出),可以用多样性换取平均样本质量。这通过公式 w′=wˉ+ψ(w−wˉ)w' = \bar{w} + \psi (w - \bar{w})w′=wˉ+ψ(w−wˉ) 完成,其中 wˉ\bar{w}wˉ 是平均 www,ψ∈[0,1]\psi \in [0, 1]ψ∈[0,1] 是截断系数。较小的 ψ\psiψ 会提高保真度但减少多样性。

总之,StyleGAN 架构凭借其映射网络、基于 AdaIN 的风格调制、噪声注入和常数输入,提供了一个生成高分辨率、高质量图像的强大框架,在风格属性控制方面相比之前的 GAN 架构有大为改善。它为 StyleGAN2 和其他先进生成模型的后续发展提供了重要的起始点。

  • A Style-Based Generator Architecture for Generative Adversarial Networks, Tero Karras, Samuli Laine, Timo Aila, 2019 Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) DOI: 10.48550/arXiv.1812.04948 - 介绍StyleGAN架构的原始论文,详细阐述了映射网络、用于风格注入的AdaIN、噪声添加以及风格混合的概念,以生成高分辨率图像并改进特征解耦。
  • Analyzing and Improving the Image Quality of StyleGAN, Tero Karras, Samuli Laine, Miika Aittala, Janne Hellsten, Jaakko Lehtinen, Timo Aila, 2020 Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) DOI: 10.48550/arXiv.1912.04958 - 这篇后续论文识别并解决了原始StyleGAN中的几个问题,催生了StyleGAN2。它通过架构更改消除了伪影,并通过非饱和路径长度正则化提高了感知质量。
  • Generative Deep Learning: Teaching Machines to Paint, Write, Compose, and Play, David Foster, 2019 (O'Reilly Media) - 一本全面书籍,提供各种生成模型(包括GAN)的实践见解。它提供了对StyleGAN和其他高级生成架构背后原理的更广泛理解,适合高级学习者。

© 2026 ApX Machine Learning