在确立了概率生成模型和表示学习的要点之后，本章侧重介绍变分自编码器（VAEs）的数学构造。对这些数学原理的扎实理解，对于有效使用和扩展VAEs来说是不可或缺的。

在这里，你将学习从变分推断的原理推导出VAEs。我们将分析证据下界 (ELBO)，通常写作 $L_{ELBO}$，它构成了训练VAEs的主要目标函数。你将理解重参数 (parameter)化技巧，这是一个重要技巧，它使通过随机隐变量进行基于梯度的优化成为可能。Kullback-Leibler (KL) 散度（通常写作 $D_{KL}(q(z|x) || p(z))$）在VAEs目标函数中的作用和解释也将被详细阐述。此外，我们还将涵盖编码器和解码器网络的设计考虑因素，讨论常见的VAEs训练难题，并分析VAEs目标函数的不同表达形式。本章包含一个实践部分，关于如何实现一个VAEs并执行诊断，以将理论与应用联系起来。