基本统计检验用于漂移检测的局限性

尽管基本统计检验对于理解数据分布有益，但它们常用于漂移检测，例如科尔莫哥洛夫-斯米尔诺夫（KS）检验、卡方检验，或对均值和方差的简单检查，在监控动态生产环境中的复杂机器学习 (machine learning)模型时存在明显的不足。仅依赖这些方法可能导致虚假的安全感，潜在地掩盖模型效用的严重下降。

我们来看看为什么这些基础方法常常有欠缺：

单变量盲区

大多数基本统计检验本质上是单变量的。它们一次分析一个特征的分布，比较参考窗口（例如训练数据）和当前窗口（例如最近的生产数据）之间该特征的统计属性（如均值、方差或累积分布函数）。

“问题何在？数据很少表现为独立特征的集合。模型通常会学习特征之间复杂的关联。这些关联中的显著变化，即多变量漂移，可能不会在单个特征分布中表现得足够明显，从而无法触发单变量检验。”

考虑一个情况，其中两个特征 $X_1$ 和 $X_2$ 在训练时呈正相关，但在生产中变为负相关。即使边缘分布 $P(X_1)$ 和 $P(X_2)$ 保持相对稳定（或许通过了单独的KS检验），联合分布 $P(X_1, X_2)$ 已经发生根本性变化。依赖原始正相关性的模型现在可能产生错误的预测，然而单变量检验却不会发出警报。

尽管特征X和特征Y的独立分布在训练和生产之间可能看起来相似，但它们之间的关系（相关性）已经反转。只比较边缘分布的单变量检验可能无法检测到联合分布的这一显著变化。

对样本量和配置的敏感性

统计假设检验（如KS或卡方检验）依赖于p值和显著性水平（alpha）。它们的敏感性受比较窗口中数据点数量的显著影响：

• 小样本量： 如果当前窗口中的数据点过少，检验可能缺乏统计功效来检测即使是真正的漂移，从而导致漏报（假阴性）。
• 大样本量： 反之，在生产中常见的大数据集下，这些检验可能变得过于敏感。它们可能标记 (token)出微小的、统计上显著的差异，而这些差异对模型性能没有实际影响，从而导致误报和警报疲劳。

调整显著性水平（alpha）或窗口大小变得难以平衡，通常需要经验调整和领域知识。

假设违背

许多经典统计检验在关于数据的特定假设下运作，例如观测值的独立性或符合特定分布类型（例如t检验的正态性，KS检验的连续性）。生产数据流常常违背这些假设：

• 数据点可能表现出时间依赖性（自相关）。
• 分布可能复杂、多峰或重尾。
• 将为连续数据设计的检验应用于离散或分类特征需要仔细调整（如卡方检验的分箱处理），这会引入自己的参数 (parameter)集合和潜在的信息损失。

违背这些假设可能使检验结果失效，从而使它们的解释不可靠。

难以检测渐进漂移

一些基本检验，特别是那些比较固定窗口的检验，更擅长检测分布中突然的、急剧的变化。它们难以识别缓慢的、渐进的漂移，即分布在长时间内逐渐变化的情况。当累积变化大到足以触发两个窗口间的基本检验时，显著的性能下降可能已经发生。后面会提到的序贯分析方法，通常更适合应对这一难题。

高维度问题

现代机器学习 (machine learning)模型通常使用数百或数千个特征。对每个特征独立应用单变量检验会引入多重比较问题。如果你进行100个独立的检验，每个检验的alpha水平为0.05，即使没有实际漂移发生，你也可能预期约有5个检验纯粹因偶然性而显示出显著结果。虽然存在像Bonferroni校正这样的方法，但它们在非常高维度的情况下可能变得过于保守，大幅降低检测真正漂移的功效。此外，运行数百或数千个检验的计算成本可能很高，尤其是在高频数据流上。

缺乏模型背景和影响评估

或许最主要的不足在于，统计漂移检测独立于模型本身运作。基本检验可以告诉你一个特征的分布是否发生了变化（具有统计显著性），但它无法告诉你：

• 分布如何变化（例如均值偏移、方差增加、形态变化）。
• 它为什么变化（例如季节性、数据质量问题、上游数据源变化）。
• 这一变化是否真正重要，对于模型的性能或下游业务指标。

对于模型重要性较低的特征中出现的统计显著漂移可能无关紧要，而高影响力特征中一个微小的变化则可能是有害的。基本检验没有内在机制来评估这种影响。它们检测的是统计漂移，这与影响性能的漂移或概念漂移（关系 $P(y|X)$ 的变化）并不总是相同。

这些不足凸显了对更先进方法的需求。尽管基本检验可以作为第一道防线或用于监控更简单的系统，但生产监控需要能够处理多变量关系、适应数据量、提供更多背景信息，并且理想情况下能将分布变化与模型性能关联起来的方法。以下章节将介绍这些更完善的方法。