ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

生成式AI扩散模型入门
章节 1: 生成模型简介
生成模型概述
扩散模型的缘由
核心思路:噪声与去噪
概率框架概述
第 1 章测验
章节 2: 前向扩散过程
定义马尔可夫链
高斯噪声调度
每一步的数学表示
从中间步骤采样
前向过程的性质
实践:模拟正向扩散
第 2 章测验
章节 3: 逆向扩散过程
目标:逆转马尔可夫链
逼近逆向转移
使用神经网络参数化逆向过程
预测噪声分量
去噪步骤的数学表达
第 3 章测验
章节 4: 模型架构与训练
用于噪声预测的U-Net架构
整合时间步信息
定义训练目标
简化训练损失的推导
训练算法
动手实践:搭建U-Net
第 4 章测验
章节 5: 采样与生成过程
从噪声生成数据
DDPM采样算法
理解采样方差
加速采样方法介绍:DDIM
DDIM采样算法
DDPM与DDIM的权衡
动手实践:实现采样循环
第 5 章测验
章节 6: 扩散模型的条件生成
条件生成的动因
分类器引导
无分类器引导 (CFG)
实现分类器无关引导
文本条件要点
用于条件生成的架构修改
动手实践:应用引导
第 6 章测验

用于噪声预测的U-Net架构

逆转生成式AI中的扩散过程,需要一个能够准确估计添加到图像x0x_0x0​中以在特定时间步ttt生成带噪声版本xtx_txt​的噪声的模型。当给定xtx_txt​和ttt时,模型的任务是预测为创建xtx_txt​而从高斯分布中采样的噪声ϵ\epsilonϵ。为此预测任务选择的标准神经网络 (neural network)架构,特别是在图像生成方面,是U-Net。

U-Net架构最初为生物医学图像分割而开发,已证明对扩散模型非常有效。其设计非常适合输入和输出具有相同空间维度(如图像及其对应的噪声图)且同时保持精细空间细节并考虑较广背景的任务。

U-Net因其可视化时的U形特征而得名。它由三个主要部分组成:

  1. 下采样路径(编码器)
  2. 瓶颈
  3. 上采样路径(解码器)

重要的一点是,它还采用跳跃连接,在下采样和上采样路径之间连接对应的层。下面我们查看每个部分:

下采样路径(编码器)

编码器路径的功能类似于用于分类或特征提取的典型卷积神经网络 (neural network) (CNN)。它接收输入(带噪声图像xtx_txt​以及时间步信息ttt,我们将在下一节讨论如何整合这些信息),并通过一系列层对其进行处理。每个层通常包含:

  • 卷积层: 这些层应用学习到的滤波器从输入中提取特征。通常每个层使用两个或更多卷积层。激活函数 (activation function)(如ReLU或GeLU)在卷积后应用。
  • 下采样操作: 在特定空间分辨率下进行特征提取后,下采样层(例如,最大池化或步幅卷积)会减小特征图的高度和宽度(通常是2倍),同时通常会增加特征通道的数量(深度)。

编码器的目的是逐渐降低空间分辨率,同时增加学习到特征的语义复杂度。通过下采样,网络在更深层获得更大的感受野,使其能够捕获输入图像较广区域的背景信息。这对于理解整体结构和内容是必要的,有助于预测合适的噪声模式。

瓶颈

这是“U”形中的最低点,连接编码器和解码器路径。它通常包含一个或多个卷积层。瓶颈以高度压缩、低空间分辨率、高层特征表示形式表示输入图像。它捕获编码器学习到的最显著、最抽象的信息。

上采样路径(解码器)

解码器路径逐步增加特征图的空间分辨率,使其恢复到原始输入大小,最终生成预测的噪声图ϵθ\epsilon_\thetaϵθ​。解码器中的每个层通常包括:

  • 上采样操作: 这会增加特征图的高度和宽度(例如,使用转置卷积,有时称为“反卷积”,或更简单的方法,如最近邻上采样后跟标准卷积)。
  • 通过跳跃连接进行拼接: 这是一个独特之处。上采样的特征图沿通道维度与编码器路径中对应的特征图(在相同空间分辨率下)进行拼接。我们将在下面讨论其重要性。
  • 卷积层: 类似于编码器,卷积层(带激活)用于处理拼接后的特征图,优化此分辨率下的表示。

解码器本质上通过逐步组合从瓶颈传递上来的高层信息与编码器跳跃连接提供的细粒度、高分辨率特征,来重建详细的噪声图。

跳跃连接

跳跃连接是直接的链接,将特征图从下采样路径(编码器)中的层传递到上采样路径(解码器)中对应的层。“对应”通常指具有相同空间分辨率的层。

为什么这些对于扩散模型中的噪声预测如此重要?

  1. 保持空间细节: 下采样过程本身会损失细粒度空间信息。通过将高分辨率特征图直接从编码器传递到解码器,跳跃连接使网络能够重用输入xtx_txt​中精确的空间细节。这对于预测准确对应噪声图像中存在结构噪声极为重要,从而在去噪后生成更清晰、更详细的图像。
  2. 梯度流动: 它们有助于缓解训练期间的梯度消失问题,使梯度能更直接地流回网络的早期层。

如果没有跳跃连接,解码器将只能接收来自高度压缩的瓶颈表示的信息,这将使重建一个精确的、像素级的、符合原始图像结构的噪声图变得非常困难。

图示U-Net结构。箭头表示数据流向。编码器路径逐步减小空间维度,而解码器路径则增加空间维度。跳跃连接(紫色虚线)将高分辨率特征从编码器传递到解码器。

总而言之,U-Net架构有效地结合了对背景信息的理解(通过编码器和瓶颈)和精确的空间定位(由解码器和跳跃连接实现)。这使其非常适合预测一个与输入带噪声图像xtx_txt​具有相同维度,并准确反映对应图像内容和时间步ttt所指示噪声水平的噪声图ϵθ\epsilon_\thetaϵθ​的任务。U-Net的最后一层通常是一个卷积(例如1x1或3x3),它将特征表示映射到所需的输出通道数量(例如,RGB图像噪声的3个通道)。

  • Denoising Diffusion Probabilistic Models, Jonathan Ho, Ajay Jain, Pieter Abbeel, 2020 Advances in Neural Information Processing Systems (NeurIPS), Vol. 33 DOI: 10.48550/arXiv.2006.11239 - 这篇基础性论文介绍了去噪扩散概率模型(DDPM),并确立了U-Net架构在噪声预测中的应用,这是本节讨论的核心任务。
  • Deep Learning, Ian Goodfellow, Yoshua Bengio, Aaron Courville, 2016 (MIT Press) - 一本标准教材,全面解释了卷积神经网络、编码器-解码器设计和跳跃连接等概念,为理解其基础原理提供了广泛的知识。

© 2026 ApX Machine Learning