ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

模型评估与衡量指标要点
章节 1: 模型评估简介
什么是机器学习模型?
为何模型评估很重要
评估指标的目标
学习问题的类型:分类
学习问题类型:回归
模型评估过程概述
第 1 章测验
章节 2: 分类模型指标
理解分类预测
准确率:一个简单的起始指标
准确率何时会产生误导
真正例、假正例、真反例、假反例
混淆矩阵解析
精确率:衡量预测的准确程度
召回率(敏感度):衡量完整性
精确率与召回率的权衡
F1分数:结合精确率和召回率
实践:计算分类指标
第 2 章测验
章节 3: 回归模型的评估指标
理解回归预测
计算预测误差
平均绝对误差 (MAE)
均方误差 (MSE)
均方根误差 (RMSE)
比较平均绝对误差 (MAE)、均方误差 (MSE) 和均方根误差 (RMSE)
决定系数 (R平方)
解释R平方值
R平方的局限性
练习:计算回归指标
第 3 章测验
章节 4: 为评估准备数据
为何在新数据上评估模型?
训练集:学习模式
测试集:评估性能
训练-测试集划分步骤
常用划分比例
数据分割中的随机性
单一划分可能存在的问题
交叉验证方法简介
动手实践:数据分割
第 4 章测验
章节 5: 简单评估流程
标准评估的步骤
为你的问题选择评估指标
执行训练-测试集划分
训练一个简单模型
在测试集上生成预测
计算性能指标
结果的解读
简单的评估流程示例
基础评估中的常见错误
第 5 章测验

召回率(敏感度):衡量完整性

召回率,也称作敏感度或真阳性率(TPR),衡量模型识别正例的完整程度。精确率评估模型正向预测的准确性;召回率解决的是一个不同的问题:在所有实际正例中,模型正确识别出了多少?

可以这样理解:如果你需要找到一些重要的事物(比如识别患有特定疾病的患者,或检测生产线上的缺陷产品),召回率衡量了你的模型在找到所有这些事物方面的成功程度。它衡量了模型识别正例的“完整性”。

召回率的计算

召回率是利用混淆矩阵中的真阳性 (TPTPTP) 和假阴性 (FNFNFN) 计算得出的。请记住:

  • 真阳性 (TPTPTP): 模型正确分类为正例的阳性实例数量。
  • 假阴性 (FNFNFN): 模型错误分类为负例的阳性实例数量(即模型遗漏的阳性实例)。

召回率的公式是:

召回率=TPTP+FN\text{召回率} = \frac{TP}{TP + FN}召回率=TP+FNTP​

分母 TP+FNTP + FNTP+FN 代表数据集中实际阳性实例的总数(即被正确识别的和被遗漏的)。因此,召回率提供了您的模型成功“召回”或识别出这些实际阳性实例的比例。

召回率的解读

召回率的取值范围是 0 到 1(或 0% 到 100%)。

  • 召回率 = 1 (或 100%): 模型正确识别了每一个阳性实例。没有假阴性。这是在完整性方面的理想情况。
  • 召回率 = 0 (或 0%): 模型未能识别出任何阳性实例。所有实际阳性实例都被分类为阴性(所有阳性实例都导致了假阴性)。
  • 介于 0 和 1 之间的值表示被正确识别的实际阳性实例的比例。例如,召回率为 0.75 意味着模型找到了所有真实阳性案例的 75%。

何时高召回率很重要?

在未能识别出阳性案例(假阴性)会带来严重后果的情况下,优先考虑召回率非常重要。请考虑以下例子:

  1. 医疗诊断: 在筛查严重疾病时,遗漏实际患病的患者(假阴性)可能比错误地标记 (token)健康患者进行进一步检查(假阳性)危险得多。高召回率确保大多数患病者被识别出来。
  2. 欺诈检测: 让欺诈性交易未被检测到而“溜走”(假阴性)可能会造成高昂的损失。一个为高召回率优化的系统旨在捕获尽可能多的欺诈活动,即使这意味着有时会将合法交易标记为需要审查(产生更多假阳性)。
  3. 垃圾邮件过滤: 尽管令人恼火,但让一封合法邮件进入垃圾邮件文件夹(假阳性)可能是可以接受的。然而,遗漏一封重要的垃圾邮件(例如,钓鱼尝试)并让它到达收件箱(假阴性)可能会造成损害。在注重安全性的垃圾邮件检测中,高召回率可能是期望的。

召回率与精确率

需要理解的是,召回率侧重于找到所有实际阳性实例,而精确率则侧重于确保模型预测为阳性的实例确实是阳性。通常,提高召回率可能会导致精确率下降,反之亦然。如果您尝试捕获每个可能的阳性实例(高召回率),您最终可能会错误地将更多阴性实例标记 (token)为阳性(降低精确率)。这种关系被称为精确率-召回率权衡,我们将在下一节进行讨论。

总之,召回率衡量了模型识别数据集中所有相关实例的效率。它回答了这样一个问题:“在我们本应找到的所有事物中,我们实际找到了多少?”当遗漏阳性实例的成本很高时,它是一个重要的指标。

  • The Elements of Statistical Learning: Data Mining, Inference, and Prediction, Trevor Hastie, Robert Tibshirani, and Jerome Friedman, 2009 (Springer) DOI: 10.1007/978-0-387-84858-7 - 统计学习的标准参考书,涵盖分类指标及其理论基础。(第2版)
  • Pattern Recognition and Machine Learning, Christopher M. Bishop, 2006 (Springer) DOI: 10.1007/978-0-387-31073-2 - 机器学习的基础教材,详细解释包括召回率在内的分类指标。
  • Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow: Concepts, Tools, and Techniques to Build Intelligent Systems, Aurélien Géron, 2022 (O'Reilly Media, Inc.) - 一本广泛使用的实践指南,解释分类指标、其应用以及实际场景中的权衡。(第3版)

© 2026 ApX Machine Learning