在模型训练、数据分割、在测试集上生成预测并计算性能指标之后，一个主要步骤是理解这些数字实际上说明了模型的性能。一个指标值，例如90%的准确率或10.5的平均绝对误差（MAE），在将其置于具体语境中之前，都只是一个数字。解读就是将这些量化 (quantization)结果与所要解决的问题关联起来。
赋予数字意义
首先要认识到的是，很少存在一个普遍意义上的“好”分数。90%的准确率算好吗？这要看具体情况。如果您在预测客户是否会点击广告（可能只有1%点击），那么每次都预测“不点击”可能会让您获得99%的准确率，但模型将毫无用处！反之，如果您在预测房价，并且您的MAE是500,000美元，那这可能很差；但如果MAE是50美元，那可能就非常不错了。
解读需要考虑：
- 问题所属范围： 错误在您应用场景下的意义是什么？
- 基准线： 模型与非常简单的方法相比表现如何？
- 具体指标： 该指标实际衡量了性能的哪个方面？
解读分类指标
让我们回顾在测试集上计算的常用分类指标。
-
准确率： 这说明了正确预测的总体比例。0.85的准确率意味着85%的测试样本被正确分类。虽然简单，但请记住它在不平衡数据集（其中一个类别数量远超其他类别）上遇到的问题。
-
混淆矩阵： 它不是一个单一的数字，而是一种诊断工具。不要只扫一眼；要分析错误的类型。
- 是否存在很多假阳性（第一类错误）？当实际答案是“否”时，模型预测为“是”。例如：垃圾邮件过滤器错误地将一封合法的电子邮件标记 (token)为垃圾邮件。
- 是否存在很多假阴性（第二类错误）？当实际答案是“是”时，模型预测为“否”。例如：医学检测未能检测到患者实际患有的疾病。
二元混淆矩阵中四种结果的直观细分。分析每个象限中的计数，就能弄清楚模型所犯错误的类型。
-
精确率： 回答了这个问题：“在模型对正类别做出的所有预测中，有多少是实际正确的？”0.75的精确率意味着当模型预测为阳性结果时，有75%的时间是正确的。当假阳性的代价很高时（例如，将安全内容标记为不当内容），高精确率就很重要。
- 公式提示：精确率 = TP/(TP+FP)
-
召回率（灵敏度）： 回答了这个问题：“在所有实际正实例中，模型正确识别了多少？”0.60的召回率意味着模型找出了60%的真阳性案例。当假阴性的代价很高时（例如，未能检测到欺诈性交易），高召回率就很重要。
- 公式提示：召回率 = TP/(TP+FN)
-
F1分数： 它提供了一个平衡精确率和召回率（具体来说，是它们的调和平均值）的单一分数。较高的F1分数（接近1）表明模型具有较低的假阳性和较低的假阴性，达到了良好的平衡。当您需要精确率和召回率都表现良好，或处理不平衡类别时，它尤其有用。
- 公式提示：F1 = 2∗(精确率∗召回率)/(精确率+召回率)
解读回归指标
对于回归任务，我们查看误差的大小。
- MAE（平均绝对误差）： 这给出了预测值与实际值之间的平均绝对差值，以目标变量的原始单位衡量。在房价预测任务中，15.2的MAE（价格以美元计）意味着模型预测平均偏差15.2美元。它易于理解，并且对异常值不那么敏感，优于MSE或RMSE。值越低越好。
- MSE（均方误差）： 它计算平方误差的平均值。对误差进行平方会重罚较大的错误。单位是目标变量单位的平方（例如，美元的平方），这使得在问题背景下更难直接理解。然而，它对某些优化算法来说在数学上很方便。值越低越好。
- RMSE（均方根误差）： 它是MSE的平方根。取平方根将单位带回到目标变量的原始单位（类似于MAE）。房价预测的RMSE为20.5意味着典型误差大小约为20.5美元。因为它源自MSE，所以它仍然比MAE更重罚大误差。如果RMSE明显高于MAE，则表明您的预测中存在大的误差（异常值）。值越低越好。
- R平方值（R2，决定系数）： 该指标表示模型中因变量（目标）的方差有多少比例可以由自变量（特征）来解释。0.70的R2表明目标值70%的变异性可以由模型解释。它的范围是0到1（对于非常差的模型也可能为负）。较高的值通常表示更好的拟合，意味着模型解释了更多数据方差。然而，如果您添加了许多不相关特征， R2可能会具有误导性的高，并且它不能告诉您预测是否存在偏差。
建立背景：基准线与目标
切勿脱离背景解读指标。始终要进行比较：
- 对比基准线： 您的模型与非常简单的策略相比表现如何？对于分类任务，常见的基准线是预测所有实例中最常见的类别。对于回归任务，可能是预测所有实例目标变量的平均值。如果您的复杂模型几乎未能胜过这个简单的基准线，那么它可能没有带来多少价值。
- 对比项目目标： 实际需要该应用达到何种性能水平？如果部署欺诈检测系统，即使精确率略有下降，99%的召回率也可能是可接受的最低阈值。如果预测产品需求，MAE在平均需求量的5%以内可能就是目标。业务或研究背景定义了什么是“足够好”。
解读不仅仅是读取数字；它更是将这些数字转化为对模型优点、缺点以及任务适用性的理解。这种理解指导着机器学习 (machine learning)过程中的后续步骤，无论是改进模型、收集更多数据，还是部署解决方案。
