前面的章节介绍了自编码器,它们主要是用于降维和特征学习的工具,网络通过学习重建其输入。本章介绍变分自编码器(VAEs),这是一种独特的自编码器,结合了概率视角。VAEs 的设计目的不仅是重建,还在于学习一个连续且有结构的潜在空间,这使它们在生成模型方面特别有效——即生成新的数据样本。
通过学习本章,您将了解到:
- 生成模型的基本思想以及 VAEs 如何适应这个方面。
- 变分自编码器的核心原理,包括它们的概率编码器和解码器。
- VAE 编码器如何构造以输出参数(通常是均值 μ 和对数方差 log(σ2)),这些参数为每个输入定义了潜在空间中的概率分布。
- 重参数化技巧,这是一种允许梯度通过采样过程反向传播的方法,这对训练 VAEs 非常重要。
- VAE 解码器作为生成器,如何使用从潜在分布中抽取的样本来生成新数据。
- VAE 损失函数,它通常由两个主要部分组成:重建损失(例如,均方误差或二元交叉熵)和一个 Kullback-Leibler (KL) 散度项。KL 散度作为正则项,促使学到的潜在分布接近先验分布(通常是标准正态分布 N(0,I))。总损失可以表示为 LVAE=ReconstructionLoss+DKL(q(z∣x)∣∣p(z))
- VAE 潜在空间的特性,例如其平滑性以及如何促进数据点之间的插值。
- 使用 VAEs 潜在空间中的均值向量(或样本)作为特征,用于其他机器学习任务的方法。
一个实践部分将演示如何构建 VAE 并直观检查其潜在空间,以观察其学习到的结构。