高分辨率生成策略

生成摄影或数字艺术中常见分辨率的图像，例如1024x1024像素或更高（百万像素范围），对生成模型带来了重大挑战。在这些尺度下直接生成会占用大量GPU显存 (VRAM)，大幅增加计算耗时，且常使训练不稳定。为克服这些障碍，已发展出几种方法，使利用先进的GAN和扩散模型技术生成高保真、高分辨率图像成为可能。

运用渐进式和基于风格的架构

回顾第2章，我们讨论了渐进式GAN增长（ProGAN）。这种方法通过在生成器和判别器中增加层来逐步提高训练期间的输出分辨率。虽然在达到1024x1024等分辨率时表现良好，但训练稳定性和架构复杂性在更高分辨率下可能成为制约因素。

StyleGAN及其变体在此基础上构建，但引入了对高分辨率生成特别有益的架构改进：

解耦的潜在空间： 映射网络将输入潜在变量 $z$ 转换为中间潜在变量 $w$ 。这个空间通常更少缠结，实现更好的风格控制和可能更平滑的插值，这间接有助于稳定性。
自适应实例归一化 (normalization)（AdaIN）： 通过AdaIN在每个分辨率级别注入风格信息（ $w$ ）允许对特征进行精细控制，而无需将风格信息通过主卷积骨干网络传递。这种分离有助于管理生成高频细节的复杂性。
常量学习输入： 生成器从一个学习到的常量张量开始生成，而非潜在编码本身，为网络提供了一个稳定的根基。

这些特性共同促成了StyleGAN比早期架构更稳定地生成高质量、高分辨率图像的能力。然而，在直接生成多百万像素分辨率图像时，即使是StyleGAN也面临显存 (VRAM)和计算限制。

基于块的生成

另一种策略是在从高分辨率图像中提取的小块上训练生成模型。其核心是模型从这些块中学习与高分辨率相关的统计特性和纹理。

训练： 一个GAN（通常带有专门的PatchGAN判别器，用于评估局部块的真实性）或扩散模型在例如256x256或512x512的图像块上进行训练。
推理 (inference)： 生成完整的高分辨率图像需要拼接或组合为不同空间位置生成的输出。这可以使用重叠的图像块和融合技术完成，或采用能够保证空间一致性的生成方法。

基于块的方法主要困难在于保持全局连贯性并避免在块边界处出现可见的接缝或伪影。虽然对纹理和重复模式有效，但纯粹从图像块生成全局一致的结构（如人脸或复杂场景）具有挑战性。

多尺度和级联式细化模型

这些方法明确使用多个在不同分辨率下运行的模型或阶段，以构建最终的高分辨率输出。

级联生成： 基础模型生成低分辨率图像（例如，64x64或128x128）。后续模型充当条件超分辨率网络，接收前一阶段的输出并进行放大，同时增加适合新分辨率的更精细细节。每个阶段仅侧重于学习与其特定尺度增长相关的细节。这可以通过GAN或扩散模型来实现。

一张图表，说明了用于高分辨率图像生成的级联细化流程。基础生成器创建一个低分辨率图像，该图像随后由在逐渐增加的分辨率下运行的专用模型进行顺序上采样和细化。

优点： 这种模块化方法将高分辨率生成这项复杂任务分解开来。每个模型都在可控的分辨率增量下运行，从而可能提高训练稳定性，并允许为每个阶段优化不同的架构。
缺点： 需要训练多个模型，可能增加总体训练时间和复杂性。如果早期阶段产生有缺陷的输出，则可能发生阶段间的错误传播。细化模型的条件机制需要仔细设计，这点很重要。

潜在扩散模型 (LDMs)

扩散模型（第4章）擅长生成高保真图像，但计算开销大，尤其是在高分辨率下经过多步的去噪过程。潜在扩散模型（LDMs）通过在较低维度的潜在空间中执行计算密集型扩散过程来解决此问题。

架构： LDMs通常包括：
- 一个自编码器（通常是VAE）：用于将高分辨率图像压缩成紧凑的潜在表示并准确重建。编码器 $E$ 将图像 $x$ 映射到潜在变量 $z = E(x)$ ，解码器 $D$ 重建 $\hat{x} = D(z)$ 。
- 一个扩散模型：完全在自编码器学习到的潜在空间中进行训练。它学习反转应用于潜在编码 $z$ 的扩散过程。
生成过程：
- 在潜在空间维度中采样随机噪声。
- 使用仅在潜在空间中运行的已训练扩散模型来应用逆向扩散（去噪）过程。这会生成一个干净的潜在表示 $z_{gen}$ 。
- 使用预训练 (pre-training)的解码器 $D$ 将生成的潜在变量 $z_{gen}$ 映射回高分辨率像素空间： $x_{gen} = D(z_{gen})$ 。

潜在扩散模型方法。编码器将高分辨率图像映射到潜在空间。扩散/去噪过程完全发生在这个计算成本较低的潜在空间中。解码器随后将生成的潜在编码映射回高分辨率像素空间。

通过在空间维度上比像素空间小4倍、8倍甚至16倍的潜在空间中执行迭代去噪，LDMs大幅降低了计算需求，使扩散模型在消费级硬件上进行百万像素图像生成成为可能。自编码器的质量非常重要；它必须在潜在空间中捕获与感知相关的信息，以获得高质量的最终输出。

策略组合

通常，最先进的结果是通过结合这些策略实现的。例如：

在级联细化框架中采用类似StyleGAN的生成器架构。
采用潜在扩散生成基础分辨率（例如，256x256或512x512），然后使用单独的基于扩散或基于GAN的上采样器进一步细化到1024x1024。
将高分辨率模型（级联式、LDM）条件化于其他模型的输出，例如文本嵌入 (embedding)（下一节会涉及）。

计算现实

无论采用何种策略，生成高分辨率图像仍然是计算密集型任务。训练这些模型通常需要多GPU配置、大量内存（包括系统内存和GPU显存 (VRAM)）以及可观的训练时间（数天或数周）。梯度累积、混合精度训练以及可能的模型并行等技术成为从事高分辨率生成前沿工作的实践者不可或缺的工具。评估输出也需要仔细考量，因为像FID这样的指标在极高分辨率下可能会饱和或表现不同于较低分辨率，这使得定性评估和专用指标变得更为重要。

这部分内容有帮助吗？

参考文献

Progressive Growing of GANs for Improved Quality, Stability, and Variation, Tero Karras, Timo Aila, Samuli Laine, Jaakko Lehtinen, 2017 International Conference on Learning Representations (ICLR) DOI: 10.48550/arXiv.1710.10196 - 介绍了生成对抗网络的渐进式增长，这是一种通过在训练过程中逐步添加层来训练高分辨率生成模型的技术。
A Style-Based Generator Architecture for Generative Adversarial Networks, Tero Karras, Samuli Laine, Timo Aila, 2019 CVPR DOI: 10.48550/arXiv.1812.04948 - 介绍了StyleGAN，一个在ProGAN基础上构建的生成对抗网络，具有基于风格的生成器，使用映射网络和自适应实例归一化（AdaIN）以改善控制和高分辨率图像合成。
High-Resolution Image Synthesis with Latent Diffusion Models, Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, Björn Ommer, 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (IEEE) DOI: 10.1109/CVPR52688.2022.01049 - 介绍了潜在扩散模型，该模型在自编码器学习的压缩潜在空间中执行扩散过程，从而降低了高分辨率图像生成的计算成本。
Cascaded Diffusion Models for High Fidelity Image Generation, Jonathan Ho, Chitwan Saharia, William Chan, David J. Fleet, Mohammad Norouzi, Tim Salimans, 2021 International Conference on Learning Representations (ICLR) DOI: 10.48550/arXiv.2106.15282 - 详细介绍了扩散模型的级联方法，其中训练多个模型以逐步生成更高分辨率的图像，支持高保真合成。