前面的章节介绍了自编码器，它们主要是用于降维和特征学习的工具，网络通过学习重建其输入。本章介绍变分自编码器（VAEs），这是一种独特的自编码器，结合了概率视角。VAEs 的设计目的不仅是重建，还在于学习一个连续且有结构的潜在空间，这使它们在生成模型方面特别有效——即生成新的数据样本。

通过学习本章，您将了解到：

• 生成模型的基本思想以及 VAEs 如何适应这个方面。
• 变分自编码器的核心原理，包括它们的概率编码器和解码器。
• VAE 编码器如何构造以输出参数（通常是均值 $\mu$ 和对数方差 $\log(\sigma^2)$），这些参数为每个输入定义了潜在空间中的概率分布。
• 重参数化技巧，这是一种允许梯度通过采样过程反向传播的方法，这对训练 VAEs 非常重要。
• VAE 解码器作为生成器，如何使用从潜在分布中抽取的样本来生成新数据。
• VAE 损失函数，它通常由两个主要部分组成：重建损失（例如，均方误差或二元交叉熵）和一个 Kullback-Leibler (KL) 散度项。KL 散度作为正则项，促使学到的潜在分布接近先验分布（通常是标准正态分布 $\mathcal{N}(0, I)$）。总损失可以表示为 $L_{VAE} = \text{ReconstructionLoss} + D_{KL}(q(z|x) || p(z))$
• VAE 潜在空间的特性，例如其平滑性以及如何促进数据点之间的插值。
• 使用 VAEs 潜在空间中的均值向量（或样本）作为特征，用于其他机器学习任务的方法。

一个实践部分将演示如何构建 VAE 并直观检查其潜在空间，以观察其学习到的结构。