在构建复杂的贝叶斯模型之前，我们必须巩固对基本原理的理解。本章将重新审视贝叶斯推断的根本，确保我们具备处理后续主题所需的、共通的进阶视角。尽管您可能已经接触过贝叶斯理念，但我们将重新审视它们，考虑到复杂机器学习应用的需要。

我们首先回顾概率建模原则，并分析贝叶斯定理，特别是其在高维环境中的应用和影响。回忆该定理：

$$P(\theta | \mathcal{D}) = \frac{P(\mathcal{D} | \theta) P(\theta)}{P(\mathcal{D})}$$

其中，$P(\theta | \mathcal{D})$ 表示给定数据 $\mathcal{D}$ 时参数 $\theta$ 的后验概率，$P(\mathcal{D} | \theta)$ 是似然，$P(\theta)$ 是先验概率，而 $P(\mathcal{D})$ 是模型证据或边际似然。

我们将讨论先验选择的考量及其影响，并比较主观和客观的方法。贝叶斯推断与信息理论之间的关联性将被审视，通过熵和Kullback-Leibler (KL)散度等度量进行，通常写为 $D_{KL}(P||Q)$。此外，我们还会识别应用贝叶斯方法时面临的常见计算难题，例如难以计算的积分，并介绍检查和评估这些模型充分性的进阶技术。本次回顾为后续介绍的进阶推断算法和模型类型做好准备。