特征数据分布监控

检测训练数据与服务数据之间的差异（即线上/线下偏差）是执行一致性检查的主要目的。然而，数据分布也可能在服务环境 内部 随时间逐渐或突然改变，这种现象通常称为数据漂移或概念漂移（指特征与目标变量之间关系的变化）。因此，持续监控特征分布对于初始一致性以及模型持续健康运行和可靠性都必不可少。未能察觉漂移可能导致模型性能无声地下降。

这种监控包括追踪新数据流入特征存储时特征的统计属性，并将其与基准（通常是训练数据集中观察到的分布或稳定的历史时间窗口）进行比较。

需监控的统计属性

具体指标取决于特征类型（数值、类别、文本、嵌入 (embedding)）。

• 数值特征：

  • 集中趋势： 均值、中位数。显著变化可能表明底层群体或数据收集过程发生了改变。
  • 离散度： 标准差、方差、四分位距（IQR）。变化可能表明噪声增加或数据模式发生根本性差异。
  • 范围： 最小值、最大值。有助于发现异常值或错误。
  • 分位数/百分位数： 追踪特定点（例如，第5、第25、第75、第95百分位数）可以提供对分布形状更细致的视图。
  • 缺失值： 空值或缺失值百分比的增加通常指向数据上游管道问题。

• 类别特征：

  • 频率分布： 不同类别相对频率的变化。新增或消失的类别是尤其重要的标志。
  • 基数： 唯一类别的数量。突然增加可能表明噪声（例如，自由文本条目混入）或数据空间发生实际变化。
  • 缺失值： 与数值特征类似，追踪缺失条目的比例。

• 嵌入/文本特征： 监控高维或非结构化数据的分布更为复杂。方法可能包括追踪嵌入向量 (vector)分量的统计数据，在应用标准方法前使用降维，或监控从文本本身导出的指标（例如，文本长度、词汇变化）。

检测分布漂移的方法

比较整个分布需要的不仅仅是查看单个统计数据。常用以下几种量化 (quantization)方法：

1. 统计假设检验

这些检验评估两个样本（例如，参考数据和当前数据）来自相同底层分布的可能性。

• 柯尔莫哥洛夫-斯米尔诺夫 (KS) 检验： 主要用于数值特征，双样本KS检验比较两个样本的累积分布函数（CDF）。它计算两个CDF之间的最大绝对差。较小的p值表明分布存在显著差异。虽然有统计学依据，但KS检验可能对微小偏差过于敏感，尤其是在大型数据集上。其敏感度在中位数附近最高，在尾部较低。

• 卡方检验： 适用于类别特征。它将当前数据中的观察频率与基于参考分布的期望频率进行比较。与KS检验类似，它产生一个p值，表明如果分布相同，观察到的差异偶然发生的可能性。它要求每个类别有足够的样本量。

2. 分布距离指标

量化差异的单一分数通常比解释p值更适合用于监控阈值。

• 群体稳定性指标 (PSI)： PSI在信用风险建模中应用广泛，它衡量变量在两个群体（参考群体与当前群体）之间分布的变化。它适用于数值（分箱后）和类别特征。

  对于一个变量，如果它被分为 $n$ 个箱或类别，令 $R_i$ 为参考群体中第 $i$ 个箱的观测值百分比， $C_i$ 为当前群体中第 $i$ 个箱的百分比。PSI的计算公式如下：

  $$PSI = \sum_{i=1}^{n} (C_i - R_i) \times \ln\left(\frac{C_i}{R_i}\right)$$

  PSI的常见解释准则：

  • PSI < 0.1：无显著变化。
  • 0.1 <= PSI < 0.25：轻微漂移，需关注。
  • PSI >= 0.25：主要漂移，需调查并采取行动。

• 詹森-香农 (JS) 散度： 衡量两个概率分布之间的相似度。它基于库尔巴克-莱布勒 (KL) 散度，但它是对称的，并且始终具有有限值（对于以2为底的对数，范围从0（分布相同）到1（分布差异最大））。可应用于分箱后的数值数据或类别数据。

• Wasserstein距离（推土机距离）： 对于数值特征，它衡量将一个分布转换为另一个分布所需的最小“成本”。它通常被认为比KS检验对分布形状的变化更敏感，尤其是在分布没有显著重叠时。

实施策略

建立有效的分布监控涉及多个实际考量：

1. 建立参考分布： 通常，这是用于训练当前生产模型的特征数据集的分布。此参考数据集准确反映模型预期数据，这一点很重要。
2. 选择比较窗口： 监控传入数据批次（例如，每小时、每天）或近期数据的滑动窗口中的分布。窗口大小影响敏感度；较小的窗口能更快检测变化但噪声较大，而较大的窗口提供更平滑的趋势但反应较慢。
3. 计算指标和阈值： 计算所选统计数据或漂移指标（例如，PSI、KS检验p值），将当前窗口与参考分布进行比较。设置合适的警报阈值很重要。这些通常需要根据具体特征、业务背景以及对误报/漏报的容忍度进行经验性调整。阈值可能因特征对模型的重要性而异。
4. 自动化和警报： 将分布监控整合到您的MLOps流程中。自动化计算和比较过程。当阈值被突破时，设置警报（例如，通过电子邮件、Slack、PagerDuty），引导团队进行调查。
5. 可视化： 随时间推移显示漂移指标的仪表板，以及比较参考和当前分布的可视化（直方图、密度图），对于快速诊断非常有价值。

几个重要特征的群体稳定性指标 (PSI) 值，比较当前数据与训练分布。虚线表示轻微（0.1）和主要（0.25）分布漂移的常见阈值。“会话时长”显示主要漂移，而“登录频率”和“账户使用时长”显示轻微漂移。

应对检测到的漂移

当监控检测到显著漂移时：

1. 调查： 确定根本原因。是数据质量问题（例如，传感器故障、管道错误）吗？是用户行为或外部环境的真实变化吗？检查上游数据源和ETL流程。
2. 评估影响： 了解漂移如何影响模型性能。它是否与准确率、精确率、召回率或其他业务指标的下降相关？有时非关键特征的漂移可能是可接受的。
3. 采取行动：
   • 修复数据问题： 如果漂移是由于错误造成的，优先修复底层数据管道或来源。
   • 重新训练模型： 如果漂移反映了数据生成过程的实际变化，模型可能需要使用包含漂移分布的最新数据进行重新训练。
   • 更新特征工程： 有时，特征本身可能需要重新考量或转换才能更有效。
   • 调整阈值： 如果初始阈值被证明过于敏感或不够敏感，根据运营经验对其进行优化。

持续监控特征分布不仅仅是一项数据质量工作；它是生产环境中维持机器学习 (machine learning)系统可靠性和可信度的基础组成部分。它提供潜在问题的早期预警，使得在模型性能显著下降之前能进行主动干预。