评估性能：基本指标

我们已经讨论了模型如何从数据中学习，以及过拟合 (overfitting)和欠拟合 (underfitting)等可能的问题。但我们怎么才能真正知道一个模型表现得好不好呢？我们如何量化 (quantization)它的成功或失败？这就是性能指标的作用。它们提供了一种标准化的方法，来衡量模型在未见过的数据（通常是验证集或测试集）上预测的有效性。

可以把指标想象成机器学习 (machine learning)模型的评分系统。没有它们，你就无法判断模型是真的在学习底层规律，还是仅仅记住了训练数据。不同类型的问题（例如预测类别与预测数值）需要不同种类的指标。接下来，我们来看看一些基本的指标。

分类任务的成功评估：准确率

对于分类任务，其目的是将数据点分到预设的类别中（例如“垃圾邮件”或“非垃圾邮件”，“猫”或“狗”），其中一个最直观的指标是准确率。

准确率简单地衡量了模型正确预测的比例。它的计算方式如下：

$\text{准确率} = \frac{\text{正确预测的数量}}{\text{总预测数量}}$

例子： 假设你构建了一个模型，用于将电子邮件分类为“垃圾邮件”或“非垃圾邮件”。你用100封它从未见过的邮件进行测试。

模型正确识别出85封非垃圾邮件。
模型正确识别出7封垃圾邮件。
它错误地将5封非垃圾邮件归类为垃圾邮件。
它错误地将3封垃圾邮件归类为非垃圾邮件。

正确预测的总数是 $85 + 7 = 92$ 。预测总数是 $100$ 。

所以，准确率是： $\text{准确率} = \frac{92}{100} = 0.92$ 这意味着模型在这个测试集上的准确率为92%。这听起来相当不错，对吧？准确率容易理解，并能快速概括模型的整体表现。

然而，请注意准确率并非总是能说明全部情况。想象一个数据集，其中100封邮件中有99封是“非垃圾邮件”。一个总是预测“非垃圾邮件”的“偷懒”模型也能达到99%的准确率！但它完全无法完成其重要的任务：识别垃圾邮件。我们将在后面详细讨论分类算法时，重新考察更详细的分类指标。目前，准确率v为我们提供了一个基本的起点。

回归任务中的误差评估：MSE 和 RMSE

对于回归任务，其目的是预测一个连续的数值（例如房屋价格或明天的温度），准确率就不适用了。如果实际房价是 $250,000，那么预测的$ 250,100就不能简单地说是“对”或“错”。它很接近，但仍然存在误差。

相反，我们需要能够量化 (quantization)预测平均偏离程度的指标。针对这种情况，两种常见的指标是均方误差（Mean Squared Error, MSE）和均方根误差（Root Mean Squared Error, RMSE）。

均方误差 (MSE)： 这个指标计算的是实际值 ( $y_i$ ) 与预测值 ( $\hat{y}_i$ ) 之间差值的平方的平均值。 $\text{MSE} = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2$ 这里， $n$ 是测试集中的数据点数量。我们将差值 $(y_i - \hat{y}_i)$ 平方有两个主要原因：
- 它确保所有误差都是正值（我们不希望负误差和正误差相互抵消）。
- 它对较大误差的惩罚比对较小误差的惩罚更重（10的误差变成100，而2的误差变成4）。结果是平均的平方误差。MSE 的单位是你目标变量单位的平方（例如，如果预测价格，单位就是美元的平方），这可能很难直接解释。
均方根误差 (RMSE)： 这就是 MSE 的平方根。 $\text{RMSE} = \sqrt{\text{MSE}} = \sqrt{\frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2}$ RMSE 的好处是它的单位与原始目标变量的单位相同（例如，如果预测价格，单位就是美元）。如果你的房价预测模型 RMSE 为 $15,000，这意味着，平均而言，模型的房价预测偏离约$ 15,000。这比 MSE 直观得多。MSE 和 RMSE 的值越低，表示模型对数据的拟合越好。

为什么指标很重要

这些指标（准确率、MSE、RMSE）是基础工具。它们使你能够：

评估模型性能： 客观地判断你的模型在未见过的数据上的表现如何。
比较模型： 决定哪种算法或哪组超参数 (parameter) (hyperparameter)更适合你的特定任务。
诊断问题： 帮助发现问题，例如过拟合 (overfitting)（在训练数据上表现良好但在测试数据上表现不佳）或欠拟合 (underfitting)（在两者上表现均不佳）。

随着学习的推进，你还会碰到许多针对特定情况设计的其他指标。但理解分类任务的准确率和回归任务的 MSE/RMSE，为评估机器学习 (machine learning)模型的有效性奠定了扎实的基础。这些度量方法是在构建有用且可靠的预测系统过程中的重要指导。

这部分内容有帮助吗？

参考文献

An Introduction to Statistical Learning: With Applications in R, Gareth James, Daniela Witten, Trevor Hastie, Rob Tibshirani, 2021 (Springer) - 一本广受认可的入门教材，涵盖了机器学习的核心概念，并详细解释了分类和回归的性能指标，如准确率、MSE和RMSE。
Machine Learning Yearning, Andrew Ng, 2017 (DeepLearning.AI) - 提供关于如何评估和改进机器学习模型的实用指导，强调为不同问题选择合适的指标以及诊断模型性能问题。
Model evaluation: quantifying the quality of predictions, scikit-learn developers, 2023 - scikit-learn 官方文档提供了各种性能指标（包括准确率、均方误差和均方根误差）的清晰定义、公式和示例，展示了它们在库中的实现。