虽然监测输入数据分布（P(X)）有助于识别数据漂移，但它不直接处理输入与目标变量之间潜在关联（P(y∣X)）的变化。这种变化被称为数据关联性漂移，即使输入数据分布看似稳定，它也可能大幅降低模型性能。识别数据关联性漂移需要专门的、有时更为复杂的方法，以有效应对这些挑战。
数据关联性漂移表示，目标变量（以输入特征为条件）的统计特性随时间发生变化。例如，客户购买偏好可能因新竞争者出现而转移（P(购买∣特征) 发生变化），或者垃圾邮件的定义可能随攻击者开发新手段而演变（P(垃圾邮件∣邮件内容) 发生变化）。
这里，我们介绍几种专门用于识别数据关联性漂移的策略：
直接监测模型性能
潜在数据关联性漂移最直接的迹象是模型预测性能的下降。如果您能够获取生产数据的真实标签（即使存在一定延迟），随时间持续追踪准确率、F1-score、AUC、平均绝对误差（MAE）或均方根误差（RMSE）等指标非常重要。
- 工作方式： 在包含真实标签的近期生产数据的滚动窗口上计算性能指标。性能出现统计学上的显著下降，特别是如果没有伴随明显的已识别数据漂移，强烈提示数据关联性漂移。
- 要求： 需要及时获取生产预测的真实标签。
- 优点： 直接衡量模型目标的受影响程度。如果有标签，相对容易理解和实施。
- 缺点： 识别具有滞后性，取决于获取真实标签的延迟。性能下降也可能是由于复杂数据漂移（未被简单方法识别）或操作问题。它不能明确指出数据关联性漂移的原因。
主要性能指标持续低于可接受阈值，通常预示数据关联性漂移，从而启动调查或重新训练。
监测模型输出分布
模型预测值分布（P(y^)）的变化有时可以是数据关联性漂移的早期、间接迹象，即使没有真实标签。例如，如果一个二分类器突然开始以远高于或远低于寻常的频率预测正类别，这可能表示一种偏移。
- 工作方式： 随时间追踪模型输出（预测概率或类别）的分布（例如，直方图、密度）。应用统计测试（如KS检验、卡方检验）或散度度量（KL散度、Jensen-Shannon散度）来比较参考窗口（例如，训练数据或早期生产数据）与当前窗口之间的输出分布。
- 要求： 仅需模型预测，无需真实值。
- 优点： 无需标签即可提供早期预警信号。计算成本低。
- 缺点： 易受数据漂移影响。即使P(y∣X)保持不变，P(X)的变化也容易导致P(y^)的变化。如不谨慎使用，误报率高。不如监测性能指标直接。
基于模型误差的漂移识别方法
专门的漂移识别算法可以直接应用于模型误差流，假设真实值随时间变得可用。这些方法监测模型的错误率（或相关统计数据），并在出现统计学上显著变化时发出信号。
- 工作方式： 创建一个流，其中每个元素代表一个预测结果（例如，0表示正确，1表示不正确）。将此流输入漂移识别器。
- DDM (漂移识别方法)： 监测二项式错误率。当错误率超过其历史最小值加标准差的阈值时，它发出预警信号；当超过更高阈值时，发出漂移信号。假设误差服从二项分布。
- EDDM (EWMA漂移识别方法)： 类似于DDM，但使用错误率的指数加权移动平均（EWMA），使其可能对较慢、渐进的漂移更敏感。它追踪连续错误之间的距离。
- Page-Hinkley 测试： 一种顺序分析技术，用于识别信号平均值的变化。应用于误差流时，它累积观测误差与平均错误率之间的差异；如果累积差异超过阈值，则发出漂移信号。
- 要求： 需要真实标签来确定正确性（0或1）。
- 优点： 基于统计学原理、为顺序监测设计的方法。可以识别性能上的突发和渐进漂移。提供正式的预警机制。
- 缺点： 仍依赖于真实标签的可用性和延迟。方法及其参数 (parameter)（例如，预警/漂移阈值、敏感度参数）的选择会显著影响性能。
将漂移识别方法应用于模型误差的流程，需要预测值和真实标签。
使用集成模型不一致性或不确定性
数据关联性漂移有时表现为集成模型之间不一致性增加，或单个模型（能够估计不确定性，如使用贝叶斯方法或推理 (inference)时应用Dropout的模型）的预测不确定性增加。
- 工作方式（集成模型）： 维护一个由在不同历史数据窗口训练或使用不同算法的模型组成的集成。监测同一输入实例在集成模型中预测值的方差或熵。不一致性增加表明模型正在偏离，可能归因于数据关联性漂移。
- 工作方式（不确定性）： 对于输出不确定性估计的模型（例如，回归中的方差，分类中的熵），随时间追踪平均不确定性。不确定性增加可能表明模型遇到了反映已变化关联性的实例。
- 要求： 需要维护一个集成模型或使用提供不确定性估计的模型。无需立即的真实值。
- 优点： 识别时不需要真实标签。相比仅依赖性能指标的方法，可能更早地识别漂移。
- 缺点： 不一致性/不确定性增加也可能由新数据点（数据漂移）引起，而非数据关联性漂移。设定不一致性/不确定性的适当阈值可能具有挑战性。如果使用大型集成模型，计算成本更高。
自适应窗口（ADWIN）
ADWIN（自适应窗口）是一种算法，它维护一个包含近期数据点（例如，模型误差、性能得分）的滑动窗口。它自动调整窗口大小，在识别到变化时缩小窗口以丢弃过时数据，在稳定时期扩大窗口。
- 工作方式： ADWIN在其当前窗口内维护两个子窗口。它根据统计测试（Hoeffding界）持续检查这两个子窗口的统计特性（例如，均值）是否显著不同。如果识别到变化，则丢弃较旧的子窗口，从而有效缩小主窗口并适应变化。
- 要求： 需要连续的数据点流（如误差，0/1）。如果应用于误差，需要真实值。
- 优点： 窗口大小无需参数 (parameter)设置。提供严格的统计保证。自动适应变化速率。
- 缺点： 比固定窗口方法计算量更大。如果监测错误率，仍需要真实值。其有效性取决于所监测的具体统计量。
策略的选择与组合
没有一种单一的数据关联性漂移识别策略是普适最优的。最好的方法取决于以下因素：
- 真实标签的可用性与延迟： 这通常是最大的区别点。如果标签容易获得，监测性能或误差是直接且有效的。否则，代理方法（如监测输出分布或集成模型不一致性）是必要的。
- 预期漂移的类型： 漂移是突发性、渐进性还是周期性？有些方法（例如，Page-Hinkley、ADWIN）比其他方法更适合渐进性漂移。
- 计算资源： 集成模型和一些自适应方法可能更消耗资源。
- 对误报/漏报的容忍度： 某些方法更敏感，但可能产生更多误报。
在实际应用中，结合多种策略能提供更全面的识别系统。例如，您可以使用输出分布监测作为早期、无标签的预警系统，而依靠性能指标监测或基于误差的识别器（一旦标签可用）进行确认并触发重新训练。理解每种方法的局限性以及您的特定应用的背景，对于建立有效的数据关联性漂移识别计划非常重要。
