适当的归一化对于深度神经网络的稳定高效训练很重要，扩散模型也是如此。尽管批归一化（BatchNorm）在许多视觉任务中普遍使用，但它对批次统计数据的依赖可能给扩散模型带来问题，原因如下：
小批次大小： 训练大型扩散模型由于内存限制，常需要小批次大小，这使得批次统计数据噪声多且不可靠。变化的统计数据： 在扩散过程中，不同时间步（t t t
因此，在用于扩散的U-Net架构中，更倾向于使用独立于当前批次的替代归一化方法。两种主要方法是组归一化和自适应层归一化。
组归一化（GroupNorm）
组归一化（GroupNorm）介于层归一化（跨所有通道进行归一化）和实例归一化（独立地对每个通道进行归一化）之间。它通过将通道分成预定义数量的组，并在每组内计算均值和方差来进行归一化。
设x x x ( N , C , H , W ) (N, C, H, W) ( N , C , H , W ) N N N C C C H , W H, W H , W C C C G G G C / G C/G C / G C C C G G G ( C / G , H , W ) (C/G, H, W) ( C / G , H , W )
均值 μ g \mu_g μ g σ g \sigma_g σ g g g g
μ g = 1 ( C / G ) H W ∑ k ∈ S g ∑ h = 1 H ∑ w = 1 W x n , k , h , w \mu_g = \frac{1}{(C/G)HW} \sum_{k \in S_g} \sum_{h=1}^H \sum_{w=1}^W x_{n,k,h,w} μ g = ( C / G ) H W 1 k ∈ S g ∑ h = 1 ∑ H w = 1 ∑ W x n , k , h , w σ g = 1 ( C / G ) H W ∑ k ∈ S g ∑ h = 1 H ∑ w = 1 W ( x n , k , h , w − μ g ) 2 + ϵ \sigma_g = \sqrt{\frac{1}{(C/G)HW} \sum_{k \in S_g} \sum_{h=1}^H \sum_{w=1}^W (x_{n,k,h,w} - \mu_g)^2 + \epsilon} σ g = ( C / G ) H W 1 k ∈ S g ∑ h = 1 ∑ H w = 1 ∑ W ( x n , k , h , w − μ g ) 2 + ϵ S g S_g S g g g g ϵ \epsilon ϵ x ^ \hat{x} x ^
x ^ n , c , h , w = x n , c , h , w − μ g σ g \hat{x}_{n,c,h,w} = \frac{x_{n,c,h,w} - \mu_g}{\sigma_g} x ^ n , c , h , w = σ g x n , c , h , w − μ g 当 c c c g g g γ \gamma γ β \beta β
y n , c , h , w = γ c x ^ n , c , h , w + β c y_{n,c,h,w} = \gamma_c \hat{x}_{n,c,h,w} + \beta_c y n , c , h , w = γ c x ^ n , c , h , w + β c GroupNorm的主要优点是它独立于批次大小N N N G G G
组归一化的数据流，突出显示了在计算统计数据之前对通道进行分组。
自适应层归一化（AdaLN）
尽管GroupNorm提供了稳定的归一化，但扩散模型常受益于条件 归一化，即归一化过程本身由条件信息调节，最重要的是扩散时间步t t t
AdaLN建立在层归一化（LayerNorm）之上，后者对给定样本的所有通道的特征进行归一化。其核心思想是使可学习的缩放（γ \gamma γ β \beta β e t \mathbf{e}_t e t
标准层归一化应用：
y = γ x − μ σ + β y = \gamma \frac{x - \mu}{\sigma} + \beta y = γ σ x − μ + β μ \mu μ σ \sigma σ C C C
在AdaLN中，缩放和平移参数是从条件嵌入中预测的：
对输入特征x x x
处理条件嵌入e t \mathbf{e}_t e t γ t \gamma_t γ t β t \beta_t β t
将这些预测的参数应用于归一化后的特征x ^ \hat{x} x ^ y = γ t x ^ + β t y = \gamma_t \hat{x} + \beta_t y = γ t x ^ + β t
一种常见变体，尤其是在扩散模型中，是AdaLN-Zero 。它初始化调制参数，使其在开始时没有效果，促进训练早期的稳定。应用调制的输出块常构建为：
y = x ^ ∗ ( 1 + γ t ) + β t y = \hat{x} * (1 + \gamma_t) + \beta_t y = x ^ ∗ ( 1 + γ t ) + β t 在这里，预测γ t \gamma_t γ t β t \beta_t β t y = x ^ y = \hat{x} y = x ^
AdaLN（或AdaLN-Zero）在扩散U-Net中特别有效，因为它允许网络根据噪声水平（时间步t t t 之后 应用，专门控制残差分支的输出，然后将其加回到恒等连接。
自适应层归一化（AdaLN-Zero变体）的数据流。条件嵌入用于预测调制归一化特征的缩放和平移参数。
归一化的选择与组合
在高级扩散U-Net架构中：
GroupNorm 常作为卷积块中的主要归一化层，因为它独立于批次并在视觉任务中表现良好。它在非线性层或注意力层之前稳定激活。AdaLN（或AdaLN-Zero） 经常专门用于引入条件信息（例如时间步t t t
结合使用GroupNorm进行通用稳定性和AdaLN进行条件调制，为构建高性能扩散模型提供了一个强大的组合。具体的位置和配置（GroupNorm的组数、预测AdaLN参数的MLP架构）是可能影响模型性能和训练动态的设计选择。
