前向扩散过程是一个马尔可夫链，它通过 T 个离散时间步逐步将噪声注入到数据 x0 中。控制每一步添加的噪声量是这个过程的一个重要方面。我们并非随意添加，而是遵循一个精心制定的计划，这被称为噪声调度。
噪声调度是一系列方差值，表示为 β1,β2,...,βT。每个 βt 决定了从状态 xt−1 过渡到 xt 时添加的高斯噪声的方差。这些值是超参数，意味着它们是在模型训练之前选定的。它们不会在训练过程中被学习。
可以将噪声调度理解为设定了每一步噪声化过程的“强度”。βt 的值通常选择满足以下条件：
- 它们很小，以确保连续步骤 xt−1 和 xt 之间的变化受到限制。
- 它们随时间步逐步增加，因此与早期步骤相比，后期步骤会添加更多的噪声。
- T 个步骤的累积效果足以将原始数据分布转换为非常接近标准高斯分布（各向同性噪声）的形式。
定义调度值
原始的去噪扩散概率模型（DDPM）论文提出了一种线性调度，其中 βt 在 T 个步骤中（通常 T=1000）从一个较小的起始值 βstart（例如 10−4）线性增加到一个较大的结束值 βend（例如 0.02）。
线性调度的公式是：
βt=βstart+(t−1)T−1βend−βstart对于 t=1,...,T
尽管这种方法简单有效，但也发展出了其他调度方案。一个常用的替代方案是余弦调度，它在“改进的去噪扩散概率模型”论文中被提出。这种调度在过程的开始和结束阶段变化较慢，可能带来更好的表现，并避免信号在早期阶段过快地被破坏。
余弦调度使用相关量 αt=1−βt 和 αˉt=∏i=1tαi 定义。它根据余弦函数设定 αˉt，然后推导出相应的 βt：
αˉt=f(0)f(t)其中f(t)=cos((Tt+s)/(1+s)⋅2π)2
这里，s 是一个小的偏移量（例如 0.008），用以防止 βt 在 t=0 附近过小。一旦为所有 t 计算出 αˉt，就可以得到单独的 βt 值：
βt=1−αˉt−1αˉt
调度方案的选择影响了原始数据 x0 的信息被遮蔽的速度。如果调度方案在早期阶段过于激进地添加噪声，可能会使逆向过程更难学习。反之，如果总体上添加的噪声过少，则可能无法在步骤 T 时充分将数据转换为简单的先验分布。
让我们来看看这两种常用调度方案在 T=1000 个步骤下如何比较，其中线性调度采用 βstart=0.0001 和 βend=0.02，余弦调度采用 s=0.008，以近似匹配在 T 时的噪声水平。
方差 (βt) 在 T=1000 个时间步中，通过线性调度和余弦调度在每个时间步添加。余弦调度在初期添加噪声的速度比线性调度慢，但在后期会加速。
在马尔可夫步骤中的作用
回顾上一节，前向过程步骤由条件概率 q(xt∣xt−1) 定义。这个转换定义为添加具有特定均值和方差的高斯噪声：
q(xt∣xt−1)=N(xt;1−βtxt−1,βtI)
在这里，噪声调度值 βt 直接设定了在时间步 t 添加的高斯噪声的方差。均值通过 1−βt 进行缩放，以确保数据的总体方差不会急剧增加。由于 βt 很小，1−βt 略小于 1，逐步减小了前一状态 xt−1 的作用。
总而言之，高斯噪声调度 {βt}t=1T 是一系列预定义的超参数，控制着前向扩散过程每一步添加噪声的大小。它的设计（例如线性、余弦）和值的范围是重要的选择，会影响从数据到噪声的路径，并影响后续逆向过程的学习。我们稍后将看到这些 βt 值及其相关推导量如何在训练目标和采样过程中出现。
