ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

模型评估与衡量指标要点
章节 1: 模型评估简介
什么是机器学习模型?
为何模型评估很重要
评估指标的目标
学习问题的类型:分类
学习问题类型:回归
模型评估过程概述
第 1 章测验
章节 2: 分类模型指标
理解分类预测
准确率:一个简单的起始指标
准确率何时会产生误导
真正例、假正例、真反例、假反例
混淆矩阵解析
精确率:衡量预测的准确程度
召回率(敏感度):衡量完整性
精确率与召回率的权衡
F1分数:结合精确率和召回率
实践:计算分类指标
第 2 章测验
章节 3: 回归模型的评估指标
理解回归预测
计算预测误差
平均绝对误差 (MAE)
均方误差 (MSE)
均方根误差 (RMSE)
比较平均绝对误差 (MAE)、均方误差 (MSE) 和均方根误差 (RMSE)
决定系数 (R平方)
解释R平方值
R平方的局限性
练习:计算回归指标
第 3 章测验
章节 4: 为评估准备数据
为何在新数据上评估模型?
训练集:学习模式
测试集:评估性能
训练-测试集划分步骤
常用划分比例
数据分割中的随机性
单一划分可能存在的问题
交叉验证方法简介
动手实践:数据分割
第 4 章测验
章节 5: 简单评估流程
标准评估的步骤
为你的问题选择评估指标
执行训练-测试集划分
训练一个简单模型
在测试集上生成预测
计算性能指标
结果的解读
简单的评估流程示例
基础评估中的常见错误
第 5 章测验

为你的问题选择评估指标

你已经准备好数据,并且理解了需要在未见过测试示例上评估模型。在模型训练之前,我们评估流程中紧接着的下一步是确定你将如何衡量其性能。这意味着为你的特定机器学习 (machine learning)问题选择合适的评估指标。选择正确的指标是根本的,因为它定义了你的项目中的“良好性能”意味着什么。一个针对错误指标优化的模型,可能在对你的应用真正重要的方面表现不佳。

决定你选择指标的最重要因素是你正在解决的问题类型:分类或回归。正如我们在第1章中介绍的,这些问题类型有着根本不同的目标和输出,因此需要不同的成功衡量方式。

分类问题评估指标

如果你的模型目的是将数据点分派到预设类别(例如,垃圾邮件或非垃圾邮件,猫或狗或鱼,已批准或已拒绝),那么你正在处理一个分类问题。在第2章中,我们为此类问题定制了几种指标:

  • 准确率 (Accuracy): 这是人们经常首先想到的指标。它衡量正确预测的总体比例 ((TP+TN)/Total(\text{TP} + \text{TN}) / \text{Total}(TP+TN)/Total)。它易于理解和计算。然而,准确率可能相当具有误导性,尤其是在处理不平衡数据集时(其中一个类别比其他类别频率高得多)。例如,如果99%的电子邮件不是垃圾邮件,一个总是预测“非垃圾邮件”的模型将拥有99%的准确率,但它完全未能达到其真正目的:识别垃圾邮件。
  • 混淆矩阵 (Confusion Matrix): 虽然它不是一个单一的指标值,但混淆矩阵是一个必不可少的工具。它将预测分解为真阳性 (TP)、假阳性 (FP)、真阴性 (TN) 和假阴性 (FN)。检查混淆矩阵有助于你了解模型正在犯的错误类型,这通常比单一汇总分数更有启发性。
  • 精确率 (Precision): 计算方式为 TP/(TP+FP)\text{TP} / (\text{TP} + \text{FP})TP/(TP+FP),精确率回答了以下问题:“在模型对正类别做出的所有预测中,有多少是真正正确的?”当假阳性的成本很高时,高精确度很重要。以垃圾邮件过滤器为例:你希望非常确定一封被标记 (token)为垃圾邮件的邮件确实是垃圾邮件,否则,重要的邮件可能会被遗漏(假阳性的高成本)。
  • 召回率 (Recall)(敏感度): 计算方式为 TP/(TP+FN)\text{TP} / (\text{TP} + \text{FN})TP/(TP+FN),召回率回答了以下问题:“在所有实际的正例中,模型正确识别了多少?”当假阴性的成本很高时,高召回率很重要。考虑一下针对严重疾病的医学筛查:你希望尽可能多地识别出实际病例,即使这意味着一些健康的患者被错误地标记为需要更多检查(假阴性的高成本)。
  • F1分数 (F1-Score): 该指标计算为精确率和召回率的调和平均值 (2×(Precision×Recall)/(Precision+Recall)2 \times (\text{Precision} \times \text{Recall}) / (\text{Precision} + \text{Recall})2×(Precision×Recall)/(Precision+Recall)),试图在两者之间找到平衡。当你需要合理的精确率和合理的召回率时,或者在处理准确率具有误导性的不平衡类别时,它特别有用。

分类指标的选择:

  • 首先了解你的数据。它是否平衡?
  • 考虑不同错误类型带来的影响。假阳性还是假阴性对你的应用问题更大?
  • 如果类别不平衡或错误成本不均,请考虑精确率、召回率和F1分数。务必检查混淆矩阵。

回归问题评估指标

如果你的模型目的是预测连续数值(例如,预测房价、预测温度、估计销售额),那么你正在处理一个回归问题。第3章讨论的指标在这里适用:

  • 平均绝对误差 (MAE): 该指标计算预测值与实际值之间绝对差的平均值。 平均绝对误差=1n∑i=1n∣实际值i−预测值i∣\text{平均绝对误差} = \frac{1}{n} \sum_{i=1}^{n} | \text{实际值}_i - \text{预测值}_i |平均绝对误差=n1​∑i=1n​∣实际值i​−预测值i​∣ MAE易于理解,因为它与目标变量的单位相同(例如,房价的MAE为10,000美元意味着平均预测误差为10,000美元)。与涉及平方误差的指标相比,它对异常值不那么敏感。
  • 均方误差 (MSE): 该指标计算预测值与实际值之间平方差的平均值。 均方误差=1n∑i=1n(实际值i−预测值i)2\text{均方误差} = \frac{1}{n} \sum_{i=1}^{n} ( \text{实际值}_i - \text{预测值}_i )^2均方误差=n1​∑i=1n​(实际值i​−预测值i​)2 因为误差是平方的,MSE会严重惩罚大误差。如果大误差特别不理想,这会很有用,但这也意味着该指标可能受少数异常值主导。单位是平方(例如,房价的单位是美元的平方),使得直接理解更加困难。
  • 均方根误差 (RMSE): 这就是MSE的平方根。 均方根误差=均方误差=1n∑i=1n(实际值i−预测值i)2\text{均方根误差} = \sqrt{\text{均方误差}} = \sqrt{\frac{1}{n} \sum_{i=1}^{n} ( \text{实际值}_i - \text{预测值}_i )^2}均方根误差=均方误差​=n1​∑i=1n​(实际值i​−预测值i​)2​ 取平方根使单位回到目标变量的原始单位(类似于MAE),使其比MSE更易于理解。由于底层平方的特性,它保留了更严重惩罚大误差的属性。RMSE可能是回归任务中最常用的指标。
  • 决定系数 (R-squared, R²): R平方衡量因变量(实际值)中可以从自变量(模型使用的特征)预测出来的方差比例。它的范围从0到1(对于表现非常差的模型有时可能为负值)。R²为0.75意味着实际值中75%的方差可以由模型的预测来解释。它相对地说明了模型拟合数据的好坏,但它没有告诉你误差的大小。高R²不一定意味着低误差;它只意味着模型的预测与相对于简单平均模型时的实际值高度相关。

回归指标的选择:

  • 你想要一个使用原始单位的指标吗?选择MAE或RMSE。
  • 大误差是否不成比例地糟糕?RMSE或MSE可能比MAE更合适。
  • 异常值是否是一个很大的问题,可能使结果偏离?MAE对异常值更不敏感,而RMSE/MSE则更敏感。
  • 你需要理解方差的解释比例吗?使用R平方,但要辅以像MAE或RMSE这样的误差指标,以便了解典型的误差大小。

一个根据任务类型和评估目标选择指标的简化指南。

基本事项:业务背景很重要

尽管分类和回归之间的技术区别提供了一个起点,但指标的最终选择应始终由你项目的具体背景和目标驱动。问问自己:

  • 对于此应用而言,成功意味着什么? "* 不同类型的模型错误会带来什么后果?"
  • 谁将使用模型的输出,他们需要哪些信息?

例如,在产品推荐系统(分类)中,预测某人不会喜欢的产品(假阳性)可能比未能预测他们会喜欢的产品(假阴性)危害小,这表明召回率可能更重要。在财务预测(回归)中,大幅高估可能与大幅低估产生非常不同的后果,可能需要自定义指标,或更仔细地查看MAE/RMSE的差异。

不要只选择一个默认指标。认真思考你真正需要衡量什么。通常,跟踪多个指标以获得更全面的性能概况是有帮助的。提前选择正确的指标可以确保你的评估过程准确反映模型是否真正有效解决了问题。选择好指标后,下一步是正确准备数据以进行评估。

  • Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow: Concepts, Tools, and Techniques to Build Intelligent Systems, Aurélien Géron, 2023 (O'Reilly Media) - 一本实用的指南,涵盖机器学习概念,包括分类和回归问题的模型评估指标的详细解释,并附有Python实践示例。
  • Metrics and scoring: quantifying the quality of predictions, scikit-learn developers, 2024 - 官方文档,提供机器学习中各种分类和回归指标的定义、使用方法和注意事项。
  • An Introduction to Statistical Learning: With Applications in R, Python, and Stan, Gareth James, Daniela Witten, Trevor Hastie, Rob Tibshirani, Jonathan Taylor, 2023 (Springer) - 一本基础性教材,介绍了统计学习方法,其中包括专门用于模型评估和选择的章节,详细解释了常用指标。

© 2026 ApX Machine Learning