选择合适的性能指标

“虽然模型的整体准确率提供了一个高层次的概览，但在生产环境中，仅仅依靠它进行监控可能会产生危险的误导，特别是在数据复杂且有特定业务需求时。正如章节引言中指出的那样，要确切地了解模型的表现，通常需要选择并跟踪针对任务及其运行环境量身定制的指标。若不这样做，可能会掩盖严重的性能问题，直到问题已造成损害。”

整体准确率的局限

准确率，定义为正确预测占总预测的比例：

$$\text{准确率} = \frac{\text{正确预测数量}}{\text{预测总数}} = \frac{TP + TN}{TP + TN + FP + FN}$$

(其中 TP=真阳性, TN=真阴性, FP=假阳性, FN=假阴性)

这看起来很直观，但当数据集不平衡时，准确率会大幅失效。设想一个欺诈检测模型，其中只有0.5%的交易实际上是欺诈性的。一个总是预测“非欺诈”的简单模型也能达到99.5%的准确率。虽然技术上准确，但这个模型对于其预期目的来说是完全无用的，因为它从未识别出那些罕见但重要的事件。在这种情况下，仅监控准确率会给人一种虚假的安全感。

这表明需要选择能体现模型具体目标的指标，以及应用程序中不同类型错误所产生的成本。

分类任务的指标

分类模型通常需要更细致地查看它们是如何做出正确或错误判断的。这里有一些重要的指标：

精确率

精确率回答了这个问题：“在模型预测为阳性的所有实例中，有多少是实际阳性的？”

$$\text{精确率} = \frac{TP}{TP + FP}$$

当假阳性 (FP) 的成本很高时，高精确率就显得重要。例子包括：

• 垃圾邮件过滤器： 错误地将重要邮件标记为垃圾邮件 (FP) 通常比让一封垃圾邮件通过 (FN) 更糟糕。
• 医学筛查： 假阳性诊断可能导致不必要的压力、成本和侵入性检查。
• 推荐系统： 推荐不相关或不合适的项目 (FP) 会降低用户体验。

召回率（敏感度，真阳性率）

召回率回答了这个问题：“在所有实际阳性实例中，模型正确识别出了多少？”

$$\text{召回率} = \frac{TP}{TP + FN}$$

当假阴性 (FN) 的成本很高时，高召回率就显得重要。例子包括：

• 欺诈检测： 未能检测到欺诈性交易 (FN) 可能导致重大经济损失。
• 疾病诊断： 漏诊严重疾病 (FN) 可能导致严重的健康后果。
• 关键系统警报： 未能检测到即将发生的故障 (FN) 可能会造成灾难性后果。

精确率-召回率权衡

通常，提高精确率会降低召回率，反之亦然。调整模型的分类阈值通常会沿着这条权衡曲线移动。选择合适的运行点完全取决于特定应用程序的需求。例如，对于欺诈检测，你可能接受较低的精确率（分析师需要审查更多虚假警报），以达到更高的召回率（捕获更多实际欺诈）。

一个典型的精确率-召回率曲线，说明了它们之间的反比关系。'X' 标记了根据应用程序需求选择的潜在运行点。

F1分数

当你需要在精确率和召回率之间取得平衡时，F1分数提供了一个单一指标：两者的调和平均值。

$$F_1 = 2 \cdot \frac{\text{精确率} \cdot \text{召回率}}{\text{精确率} + \text{召回率}}$$

F1分数对精确率和召回率给予同等权重。如果其中一个指标很低，F1分数也会很低。当假阳性和假阴性的成本大致相当时，或者你需要一个同时考虑两者的简洁汇总指标时，它会很有用。

你也可以使用广义F-beta分数 ($F_\beta$) 来给予召回率 ($\beta > 1$) 或精确率 ($\beta < 1$) 更大的权重：

$$F_\beta = (1 + \beta^2) \cdot \frac{\text{精确率} \cdot \text{召回率}}{(\beta^2 \cdot \text{精确率}) + \text{召回率}}$$

例如，$F_2$ 赋予召回率的权重是精确率的两倍，而 $F_{0.5}$ 赋予精确率的权重是召回率的两倍。

特异度（真阴性率）

特异度回答：“在所有实际阴性实例中，模型正确识别出了多少？”

$$\text{特异度} = \frac{TN}{TN + FP}$$

它是阴性类别召回率的对应指标。当正确识别阴性结果很重要时，例如确认健康个体没有疾病，高特异度就显得重要。请注意，特异度 = $1 - FPR$（假阳性率）。

AUC - ROC (受试者工作特征曲线下面积)

ROC曲线绘制了在不同分类阈值下，真阳性率（召回率）与假阳性率（FPR = $FP / (FP + TN)$）的关系。该曲线下的面积 (AUC-ROC) 表示模型将随机选择的阳性实例排在随机选择的阴性实例之上的概率。

• AUC为1.0表示一个完美的分类器。
• AUC为0.5表示模型的表现不比随机猜测好。

AUC-ROC 有助于比较模型在不依赖特定阈值时的整体区分能力。但是，在高度不平衡的数据集上，它可能过于乐观，因为大量的真阴性会抬高分数，即使模型在阳性类别上的表现不佳。

AUC - PR (精确率-召回率曲线下面积)

精确率-召回率 (PR) 曲线绘制了在不同阈值下精确率与召回率的关系。与ROC曲线不同，PR曲线关注模型在阳性类别上的表现，并且对于类别高度不平衡的任务通常提供更多信息。一个表现不比随机猜测好的模型，其AUC-PR大致等于阳性类别的发生率。一个完美的模型会达到1.0的AUC-PR。对于欺诈检测或异常检测等应用场景，监控AUC-PR通常比监控AUC-ROC更有见地。

对数损失（交叉熵损失）

对于输出概率的模型，对数损失通过惩罚基于置信度的不准确预测来衡量性能。

$$\text{对数损失} = -\frac{1}{N} \sum_{i=1}^N [y_i \log(p_i) + (1 - y_i) \log(1 - p_i)]$$

其中 $N$ 是样本数量，$y_i$ 是真实标签（0或1），$p_i$ 是类别1的预测概率。较低的对数损失值表明预测概率的校准和准确性更好。它会严厉惩罚那些自信但错误的预测。

回归任务的指标

回归模型预测连续值，需要不同的评估指标：

平均绝对误差 (MAE)

MAE 衡量一组预测中误差的平均大小，不考虑其方向。

$$\text{MAE} = \frac{1}{N} \sum_{i=1}^N |y_i - \hat{y}_i|$$

其中 $y_i$ 是真实值，$\hat{y}_i$ 是预测值。MAE 的单位与目标变量相同，易于理解，并且与MSE相比，对大的离群值不那么敏感。

均方误差 (MSE)

MSE 衡量误差平方的平均值。

$$\text{MSE} = \frac{1}{N} \sum_{i=1}^N (y_i - \hat{y}_i)^2$$

由于误差在平均前进行了平方，MSE 对大误差（离群值）给予不成比例的高权重。如果大误差特别不希望出现，这可能很有用，但这也意味着该指标可能受少数糟糕预测的主导。

均方根误差 (RMSE)

RMSE 是 MSE 的平方根。

$$\text{RMSE} = \sqrt{MSE} = \sqrt{\frac{1}{N} \sum_{i=1}^N (y_i - \hat{y}_i)^2}$$

RMSE 的优点是其单位与目标变量相同，使其比 MSE 更易于理解。与 MSE 类似，它对大误差敏感。

R平方 ($R^2$，决定系数)

$R^2$ 表示因变量中可由自变量预测的方差比例。

$$R^2 = 1 - \frac{\sum_{i=1}^N (y_i - \hat{y}_i)^2}{\sum_{i=1}^N (y_i - \bar{y})^2} = 1 - \frac{MSE}{\text{方差}(y)}$$

其中 $\bar{y}$ 是真实值的平均值。当 $R^2$ 为1时，表示模型完美预测了数据；而当 $R^2$ 为0时，表示模型的表现不比预测平均值更好。如果模型的表现比预测平均值更差，$R^2$ 甚至可以是负值。虽然 $R^2$ 被广泛使用，但应谨慎解读；高 $R^2$ 不一定意味着模型表现良好，特别是当发生过拟合或缺少重要预测变量时。

平均绝对百分比误差 (MAPE)

MAPE 衡量预测值与真实值之间的平均绝对百分比差异。

$$\text{MAPE} = \frac{100\%}{N} \sum_{i=1}^N |\frac{y_i - \hat{y}_i}{y_i}|$$

MAPE 与尺度无关，因此适用于比较不同数据集或变量之间的预测准确性。然而，它存在明显的缺点：当真实值 $y_i$ 为零时，它没有定义，并且可能受到较小实际值的扭曲影响。

使指标与目标一致

选择合适的指标需要仔细考虑以下几个因素：

1. 业务目标： 模型的最终目标是什么？是为了最小化经济损失（欺诈检测中偏重召回率），最大化用户参与度（推荐系统中的精确率），还是确保安全（医学诊断中的召回率）？主要指标应直接反映这一目标。
2. 错误成本： 量化，或至少定性评估不同错误类型（分类任务中的假阳性与假阴性；回归任务中的高估与低估）的相对成本。这指导了精确率与召回率，或MAE与RMSE等指标的选择。
3. 数据特点： 数据集是否高度不平衡？是预期会出现离群值还是离群值会带来问题？这会影响准确率、AUC-ROC与AUC-PR，或MAE与MSE/RMSE的适用性。
4. 模型输出： 模型输出的是概率还是硬标签？这决定了对数损失等指标的相关性。
5. 利益相关者需求： 哪些指标对业务用户或使用模型输出的下游系统来说是有意义且易于理解的？

在几乎所有生产场景中，建议监控一系列相关指标，而不是仅仅依赖单一指标。一个显示准确率、精确率、召回率、F1分数和AUC-PR随时间变化的仪表板，能比仅凭准确率提供更全面的分类模型健康状况。同样，对回归任务跟踪MAE、RMSE以及可能的MAPE，也能提供更完整的视图。这种多指标方法是本章讨论的精细监控和诊断的根本。通过理解这些不同的性能方面，你将更有能力发现细微的性能下降并诊断其根本原因，我们将在后续章节中对此进行说明。