评估分类模型

一个分类模型，例如逻辑回归或K近邻，在训练完成后能够进行预测。但这些预测到底有多有效呢？仅仅建立模型是不够的；客观地衡量其性能同样重要。模型是否正确识别了模式？它能否对新数据或未见过的数据做出有用的预测？评估指标正是为了回答这些问题而存在。

在回归问题中，我们常查看均方误差等指标，来了解我们的数值预测偏离了多少。对于分类问题，我们预测的是类别（例如“垃圾邮件”或“非垃圾邮件”、“猫”或“狗”），我们需要不同的方法来衡量成功。

准确率：最直接的衡量

最直观的指标是准确率。它只是问：模型做对了多少比例的预测？

$$\text{准确率} = \frac{\text{正确预测的数量}}{\text{总预测数量}}$$

例如，如果我们有100封邮件，模型正确分类了其中的90封（正确识别垃圾邮件为垃圾邮件，非垃圾邮件为非垃圾邮件），那么准确率就是 $90 / 100 = 0.90$ 或 90%。

听起来很简单，对吗？准确率易于理解和计算。然而，它有时会产生误导，特别是在处理不平衡数据集时。假设有一个邮件数据集，其中只有2%的邮件是垃圾邮件。一个“总是”预测“非垃圾邮件”的偷懒模型会达到98%的准确率！这在纸面上看起来很棒，但它毫无用处，因为它从未识别出任何实际的垃圾邮件。当一个类别比其他类别频率高得多时，仅凭准确率无法说明全部情况。

进一步分析：混淆矩阵

为了获得更全面的视图，特别是在类别不平衡的情况下，我们使用混淆矩阵。它是一个表格，通过显示每个类别的正确和不正确预测的数量来总结分类算法的性能。

让我们考虑一个二分类问题（两个类别），比如垃圾邮件检测。我们将“垃圾邮件”称为正类，将“非垃圾邮件”称为负类。混淆矩阵将预测分为四种情况：

• 真阳性 (TP)： 模型正确预测为“垃圾邮件”，并且该邮件确实是垃圾邮件。
• 真阴性 (TN)： 模型正确预测为“非垃圾邮件”，并且该邮件确实不是垃圾邮件。
• 假阳性 (FP)： 模型错误地预测为“垃圾邮件”，但该邮件不是垃圾邮件。（也称为第一类错误）。这就像将一封正常的邮件标记为垃圾邮件。
• 假阴性 (FN)： 模型错误地预测为“非垃圾邮件”，但该邮件确实是垃圾邮件。（也称为第二类错误）。这就像让一封垃圾邮件漏进收件箱。

混淆矩阵通常看起来是这样的：

	预测：负类	预测：正类
实际：负类	TN	FP
实际：正类	FN	TP

利用这个矩阵中的值，我们可以计算出比单纯的准确率更有用的指标。准确率本身可以从矩阵中这样计算：

$$\text{准确率} = \frac{TP + TN}{TP + TN + FP + FN}$$

精确率：阳性预测有多精确？

精确率回答了这个问题：在模型预测为垃圾邮件的所有邮件中，有多少实际上是垃圾邮件？

$$\text{精确率} = \frac{TP}{TP + FP}$$

高精确率意味着当模型预测为正类（例如，“垃圾邮件”）时，它很可能是正确的。这在假阳性代价高昂的情况下非常重要。例如：

• 垃圾邮件过滤： 你不希望重要的邮件（非垃圾邮件）被错误地分类为垃圾邮件（FP）。高精确率能最大限度地减少这种情况。
• 医学诊断（针对严重病情）： 在预测阳性诊断时，你需要非常确定；假阳性可能导致不必要的压力和治疗。

召回率（敏感度）：模型识别阳性的能力如何？

召回率（也称敏感度或真阳性率）回答了这个问题：在所有实际存在的垃圾邮件中，模型正确识别出了多少？

$$\text{召回率} = \frac{TP}{TP + FN}$$

高召回率意味着模型善于识别大多数正例。这在假阴性代价高昂的情况下非常重要。例如：

• 垃圾邮件过滤： 你希望尽可能多地识别实际的垃圾邮件（TP），即使这意味着偶尔误将一些正常邮件标记（FP）。漏掉垃圾邮件（FN）是不希望发生的。
• 欺诈检测： 你希望识别尽可能多的欺诈交易。漏掉欺诈交易（FN）通常比将合法交易标记为待审核（FP）更糟糕。
• 医学诊断（针对传染病）： 漏诊一个病例（FN）可能对公共卫生造成严重后果。这里高召回率是必不可少的。

精确率-召回率的权衡

精确率和召回率之间常常存在权衡。如果你调整模型在标记垃圾邮件时更“积极”（提高召回率），你可能会不小心将更多正常邮件标记为垃圾邮件（降低精确率）。反之，如果你让模型非常谨慎，以避免标记正常邮件（提高精确率），你可能会漏掉更多实际的垃圾邮件（降低召回率）。你选择的平衡点取决于具体问题。

F1分数：精确率和召回率的综合

鉴于精确率和召回率衡量的是性能的不同方面，并且提高一个有时会损害另一个，拥有一个能综合它们的单一指标是有用的。F1分数是精确率和召回率的调和平均值。

$$\text{F1分数} = 2 \times \frac{\text{精确率} \times \text{召回率}}{\text{精确率} + \text{召回率}}$$

F1分数在精确率和召回率之间提供了平衡。它只有在精确率和召回率都高时才给出高分。它在类别分布不平衡时特别有用，因为它同时考虑了假阳性和假阴性。使用调和平均值而不是简单平均值，因为它对极端值有更大的惩罚。例如，如果精确率为1.0但召回率为0.01，F1分数将很低，这表明整体性能不佳。

选择合适的指标

你应该侧重于哪个指标？这完全取决于你的应用目标：

• 使用准确率进行总体评估，特别是当类别平衡且错误（FP/FN）具有相似成本时。
• 使用混淆矩阵来理解模型正在犯的错误类型。
• 当假阳性成本很高时（例如，将重要邮件分类为垃圾邮件），侧重于精确率。
• 当假阴性成本很高时（例如，未能检测到欺诈或严重疾病），侧重于召回率。
• 当你需要精确率和召回率之间的平衡时，特别是对于不平衡类别，使用F1分数。

了解这些指标能让你超越简单的准确率，更清楚地了解你的分类模型实际表现如何以及可能在哪里出现问题。这些知识对于比较不同模型以及调整模型以达到你特定任务的预期表现很关键。