精确率与召回率的权衡

精确率和召回率是衡量分类性能的指标。精确率表示被识别为正例的项目中有多少是实际的正例 ($TP / (TP + FP)$)。召回率表示在所有实际正例项目中，有多少被正确识别 ($TP / (TP + FN)$)。

您可能会想，我们能同时最大化这两个指标吗？理想情况下是可以的。但在实践中，提升精确率往往会导致召回率下降，反之亦然。这种反向关联被称为精确率-召回率权衡。

理解阈值

许多分类模型并非只输出最终的类别标签（如“垃圾邮件”或“非垃圾邮件”）。相反，它们通常会输出一个概率或置信分数，表明某个实例属于正类的可能性。然后，使用一个决策阈值将这个分数转换为最终的分类结果。例如，如果分数高于0.5，则分类为“垃圾邮件”；否则，分类为“非垃圾邮件”。

这个阈值是理解这种权衡的关键所在。让我们看看调整它会发生什么：

• 提高阈值： 如果我们让模型在将项目分类为正例之前更有把握（例如，要求分数 > 0.8），我们很可能会得到更少的假正例（$FP$）。为什么？因为只有模型非常有把握的项目才会被分类为正例。这会提高精确率（$TP / (TP + FP)$），因为分母（$TP + FP$）变小了（$FP$更少）。然而，我们也可能会遗漏更多得分在0.5到0.8之间、实际是正例的情况（更多的假负例，$FN$）。这会降低召回率（$TP / (TP + FN)$），因为分母（$TP + FN$）变大了（$FN$更多）。

• 降低阈值： 如果我们让模型在将项目分类为正例之前不那么有把握（例如，要求分数 > 0.3），我们将捕获更多的实际正例，包括那些模型不太确定的。这会减少假负例（$FN$）的数量，从而提高召回率（$TP / (TP + FN)$）。但是，这种宽松也意味着我们可能会错误地将更多负例项目分类为正例（更多的假正例，$FP$）。这会增加精确率公式的分母（$TP + FP$），从而导致精确率下降。

可以想象成布置一张网：

• 一个高阈值就像使用一张大孔网：你只捕到最大的鱼（高置信度的正例），确保了高精确率（捕到的东西大多数是鱼），但你会漏掉许多小鱼（低召回率）。
• 一个低阈值就像使用一张小孔网：你几乎能捕到所有鱼（高召回率），但你也会捕到很多海藻和杂物（低精确率）。

直观呈现权衡关系

我们通常可以通过精确率-召回率曲线来直观呈现这种关系。这条曲线会绘制不同阈值下的精确率（y轴）与召回率（x轴）。通常，随着召回率的增加，精确率会下降。

这张图显示了精确率和召回率之间典型的反向关联。沿着曲线移动表示改变决策阈值。

精确率与召回率的选择

精确率和召回率之间的“最佳”平衡完全取决于具体问题以及不同类型错误所带来的成本：

• 当假正例代价高昂时，优先考虑精确率：

  • 垃圾邮件检测： 你绝不希望重要邮件（非垃圾邮件）被错误地标记 (token)为垃圾邮件（假正例）。遗漏几封垃圾邮件（召回率较低）通常比丢失重要信息更容易接受。你可能会倾向于选择更高的阈值。
  • 产品推荐： 推荐不相关的产品（假正例）可能会惹恼用户。推荐较少的项目但确保它们高度相关（高精确率），即使可能因此遗漏一些潜在的好推荐（召回率较低），也可能更好。

• 当假负例代价高昂时，优先考虑召回率：

  • 疾病诊断（严重疾病）： 未能检测出已存在的疾病（假负例）可能会带来严重后果。通常情况下，宁愿有更多误报（精确率较低，意味着更多健康人需要进行进一步检查），也不愿遗漏实际病例。你可能会倾向于选择更低的阈值。
  • 欺诈检测： 让欺诈交易未被察觉（假负例）可能会非常昂贵。为了最大限度地捕获实际欺诈（高召回率），标记一些合法交易进行审查（假正例，精确率较低）可能是可以接受的。

理解这种权衡关系是基础。它表明，根据所有指标同时衡量，通常没有一个“完美”的模型。相反，你需要根据应用程序的具体需求和可能带来的后果，选择一个模型并可能调整其运行阈值。我们接下来要讨论的F1分数提供了一种寻找平衡的方法，但了解你为什么会倾向于精确率或召回率是重要的背景信息。