在我们学习了生成对抗网络之后,本章介绍扩散模型,这是一种独特且有效的生成建模方法。这些模型通过逐步向数据点添加噪声,然后学习逆向去噪过程,在生成高质量数据(特别是图像)方面取得了卓越成果。
本章涵盖以下几个方面:
- 将扩散过程与随机微分方程(SDE)联系起来的数学基础。
- 去噪扩散概率模型(DDPM)的公式和实现细节,包括其具体目标函数,例如实践中常用的简化目标函数:Lsimple(θ)=Et,x0,ϵ[∥ϵ−ϵθ(αˉtx0+1−αˉtϵ,t)∥2]。
- 扩散模型与基于分数的生成建模之间的关联,通过分数匹配和朗之万动力学等思想。
- 加速采样过程的方法,例如去噪扩散隐式模型(DDIM),以及使用分类器引导或无分类器引导来控制生成的技术。
- 常用的神经网络结构,尤其是用于噪声预测的U-Net结构。
- 通过动手编码环节构建基础的DDPM,以巩固理解。
您将理解扩散模型背后的理论,以及有效实现和改进它们的实际考量。