高级模型检查与评估

构建贝叶斯模型需要指定先验和似然，从而得到后验分布 $P(\theta | \mathcal{D})$。但我们如何知道所构建的模型是否良好？仅仅在MCMC采样器中达到收敛或在变分推断中获得较低的ELBO，并不能保证模型准确表示数据生成过程或提供有用的见解。我们需要系统的方法来检查模型，并严格评估它们的假设以及与数据的拟合程度。这个过程被称为模型检查。

与频率论假设检验不同，贝叶斯模型检查通常不是为了拒绝原假设。相反，它是为了理解模型在哪些方面未能捕捉数据的特点。发现这些不足之处通常能指明改进模型的具体方向。记住，正如乔治·博克斯的著名论断：“所有模型都是错的，但有些是有用的。” 我们的目标是构建有用的模型，模型检查有助于我们评估这种实用性。

后验预测检查（PPCs）

最常见且直观的贝叶斯模型检查方法是后验预测检查（PPCs）。核心思想很简单：如果我们的模型与数据拟合良好，那么模型拟合后模拟出的数据应与实际观测数据相似。

令 $y$ 表示我们的观测数据，$\theta$ 表示模型参数。我们已经计算（或近似）出后验分布 $p(\theta | y)$。后验预测分布根据拟合的模型生成复制数据集，记为 $y^{rep}$：

$$p(y^{rep} | y) = \int p(y^{rep} | \theta) p(\theta | y) d\theta$$

在实践中，生成 $y^{rep}$ 通常很简单，特别是当您从MCMC中获得了 $\theta$ 的后验样本时：

1. 对于每个后验样本 $\theta^{(s)}$（其中 $s=1, ..., S$），从似然 $p(y | \theta^{(s)})$ 中抽取一个复制数据集 $y^{rep(s)}$。
2. 集合 $\{y^{rep(s)}\}_{s=1}^S$ 代表从后验预测分布中抽取的样本。

一旦我们有了这些复制数据集，就将它们与我们的观测数据 $y$ 进行比较。

图形化检查

可视化比较通常是开始最有效的方式。我们可以将 $y$ 的各个方面与 $y^{rep}$ 中相应方面的分布进行比较。常见的图形检查包括：

• 直方图或密度图： 比较 $y$ 的分布与几个 $y^{rep}$ 的分布。形状看起来相似吗？众数和离散程度可比吗？
• 摘要统计量： 绘制观测到的摘要统计量值（例如，均值、中位数、方差、最小值、最大值）与为每个 $y^{rep}$ 计算的该统计量的直方图进行比较。

将观测数据（蓝色）的直方图与从后验预测分布模拟的多个数据集（灰色）的直方图进行比较。显著差异表明模型不拟合。

检验统计量和贝叶斯P值

我们可以使用检验统计量 $T(y)$ 来形式化这种比较，检验统计量是数据的函数。这些可以是标准统计量，如均值或方差，也可以是为检查模型中我们关注的特定方面而定制的（例如，计数数据中的零计数数量、最大值、自相关）。

对于选定的检验统计量 $T$，我们将其在观测数据 $T(y_{obs})$ 上的值与从复制数据集中获得的 $T(y^{rep})$ 值分布进行比较。贝叶斯p值（或后验预测p值）通常计算为：

$$p_B = P(T(y^{rep}) \ge T(y_{obs}) | y)$$

这是根据后验样本估计的，即检验统计量大于或等于观测值的复制数据集的比例：

$$p_B \approx \frac{1}{S} \sum_{s=1}^S \mathbb{I}(T(y^{rep(s)}) \ge T(y_{obs}))$$

其中 $\mathbb{I}(\cdot)$ 是指示函数。

解释： 贝叶斯p值接近0或1表明观测数据相对于模型预测而言是极端的，暗示模型可能存在不拟合之处，尤其是针对所选的检验统计量。例如，如果 $p_B \approx 0$，则观测统计量 $T(y_{obs})$ 大于几乎所有模拟值 $T(y^{rep})$。如果 $p_B \approx 1$，则 $T(y_{obs})$ 小于几乎所有模拟值。值在0.5左右表明模型很好地捕捉了数据的这一特定方面。

需要记住的是，这不是用于假设检验的频率论p值。这是一种“意外程度”的衡量。我们通常使用多个检验统计量来检查不同的潜在模型缺陷。

敏感性分析

贝叶斯模型依赖于先验 $P(\theta)$ 和似然 $P(\mathcal{D} | \theta)$ 的选择。一项分析需要理解我们的结论（即后验分布 $P(\theta | \mathcal{D})$ 和后验预测检查）对这些选择有多敏感。

• 先验敏感性： 如果我们指定不同且合理的先验分布，后验会发生多大变化？当数据稀缺时，这一点尤为显著，因为先验影响更大。我们可能会比较使用信息性先验与弱信息性先验的结果，或具有不同形状的先验（例如，高斯分布与学生t分布）。后验的显著变化表明我们的结论受到先验假设的严重影响，这需要仔细的论证或收集更多数据。
• 似然敏感性： 有时似然函数的选择是近似或简化。例如，当实际误差可能是重尾分布时，却假设为高斯噪声。我们可以通过拟合具有不同似然的替代模型（例如，对似然使用学生t分布而不是正态分布）来检查敏感性，并比较结果和模型拟合（使用PPCs或稍后讨论的其他比较方法）。

不确定性校准

贝叶斯方法的一个显著优势在于它们能够通过后验分布量化不确定性。模型检查还应评估这种不确定性量化是否可靠。我们希望模型是校准的。例如，如果我们为不同的参数或预测计算了许多90%的可信区间，那么大约90%的可信区间应该包含真实值（如果已知，或在模拟研究中）。校准不良可能表现为区间持续过窄（过于自信）或过宽（信心不足）。存在专门用于检查校准的技术，通常涉及模拟研究或检查保留数据的覆盖属性。

模型检查是迭代的

模型检查不是在最后才执行的一次性步骤。它是建模工作流程中不可或缺的一部分。当PPCs或敏感性分析显示问题时，它们会指导我们如何改进模型。也许先验选择不当，似然假设不合适，或者模型结构本身（例如，缺失预测变量、交互作用或潜在变量）需要重新考虑。修改模型后，我们重复推断和检查过程。这种制定、拟合、检查和改进的迭代循环有助于我们得到不仅在统计上足够好，而且在科学或实践中也具有意义的模型。前面提到的计算挑战常常与模型检查交织在一起，因为复杂的模型可能需要高级的MCMC或VI技术（第2章和第3章中涵盖），才能实现有效的后验采样和随后的检查。