中心极限定理

概率分布常呈现出几种特定形态，例如用于计数成功的二项分布或用于模拟许多自然现象的正态分布。中心极限定理（CLT）是一个非常重要的思想，它连接了不同的分布。它是统计学中最主要的结果之一，其影响在数据分析中频繁出现，尤其是在机器学习 (machine learning)场景中。

设想你拥有任意一个总体分布。它可能是偏斜的、均匀的、双峰的，或者完全不规则的。中心极限定理不直接关注这个原始分布。相反，它告诉我们关于样本均值分布的一些有趣信息。

这是其主要思路：

1. 从你的总体中随机抽取一定大小的样本，比如 $n$ 个观测值。
2. 计算此样本的均值。
3. 重复步骤1和2很多次，收集大量样本均值。
4. 现在，观察所有这些收集到的样本均值的分布。

中心极限定理指出，只要样本大小 $n$ 足够大，这些样本均值的分布将近似于正态（高斯）分布，无论原始总体分布的形状如何。

这相当令人惊讶！即使你从一个与钟形曲线完全不同的总体开始，从该总体样本计算出的均值分布也将趋向于熟悉的钟形。

需要哪些条件？

为了使中心极限定理合理地成立，通常需要几个条件：

• 随机样本： 样本必须从总体中随机抽取。
• 独立性： 每个样本中的观测值理想情况下应是独立的。
• 样本大小： 样本大小 $n$ 需要“足够大”。什么算“足够大”？一个常见经验法则是 $n \ge 30$，但这并非严格规定。如果原始总体分布严重偏斜，你可能需要更大的样本大小，以使样本均值的分布变得明显正态。如果原始总体已经对称，较小的样本大小可能就足够了。
• 有限方差： 原始总体必须具有有限方差（$\sigma^2$）。在实际情况中，这几乎总是成立的。

中心极限定理的推论

样本均值的分布（通常称为均值的抽样分布）将具有特定属性：

1. 中心： 抽样分布的均值将近似等于原始总体的均值（$\mu$）。
2. 离散程度： 抽样分布的标准差，称为标准误差，将近似等于总体标准差除以样本大小的平方根（$\sigma / \sqrt{n}$）。

请注意标准误差分母中的 $\sqrt{n}$。这告诉我们，随着样本大小 $n$ 的增加，样本均值的离散程度会减小。换句话说，从较大样本计算出的均值倾向于更紧密地聚集在真实总体均值周围。

概念可视化

让我们将其可视化。假设我们的总体遵循均匀分布（平坦的，非钟形）。我们抽取许多样本（例如，大小 $n=2$，然后 $n=10$，然后 $n=30$），并绘制其均值的分布。

显示了从均匀总体中针对不同样本大小 ($n$) 计算出的样本均值分布。随着 $n$ 的增加，均值分布变得更集中，并越来越接近正态分布，即使原始总体是均匀的。

中心极限定理在实践中为何重要？

中心极限定理非常有用，因为它允许我们在不知道总体潜在分布的情况下，使用正态分布的属性进行统计推断（根据样本数据对总体得出结论）。

• 均值推断： 它构成了许多关于总体均值的统计检验和置信区间的依据。我们可以估计总体均值，并量化 (quantization)我们对该估计的不确定性，因为我们知道均值的抽样分布行为可预测（它近似正态）。
• 统计检验的依据： 像t检验这样的程序，常用于比较组均值（例如，比较两个机器学习 (machine learning)模型的表现），依赖于中心极限定理得出的原则。 "* 解释正态性： 它有助于解释为什么正态分布在统计学中如此普遍。许多测量或指标可以被认为是各种潜在随机因素的总和或平均值，中心极限定理表明这些总和/平均值将趋向于正态性。"

总而言之，中心极限定理提供了一个强大的理论联系：从几乎任何分布中抽取足够大的随机样本，计算它们的均值，这些均值的分布将近似于广为人知的正态分布。这使我们能够对未知的总体参数 (parameter)进行统计推断，这是数据分析和评估机器学习模型所必需的过程。我们将在下一章讨论统计推断时重新审视这些思想。