趋近智
模型评估与衡量指标要点
章节 1: 模型评估简介
什么是机器学习模型？
为何模型评估很重要
评估指标的目标
学习问题的类型：分类
学习问题类型：回归
模型评估过程概述
章节 2: 分类模型指标
理解分类预测
准确率：一个简单的起始指标
准确率何时会产生误导
真正例、假正例、真反例、假反例
混淆矩阵解析
精确率：衡量预测的准确程度
召回率（敏感度）：衡量完整性
精确率与召回率的权衡
F1分数：结合精确率和召回率
实践：计算分类指标
章节 3: 回归模型的评估指标
理解回归预测
计算预测误差
平均绝对误差 (MAE)
均方误差 (MSE)
均方根误差 (RMSE)
比较平均绝对误差 (MAE)、均方误差 (MSE) 和均方根误差 (RMSE)
决定系数 (R平方)
解释R平方值
R平方的局限性
练习：计算回归指标
章节 4: 为评估准备数据
为何在新数据上评估模型？
训练集：学习模式
测试集：评估性能
训练-测试集划分步骤
常用划分比例
数据分割中的随机性
单一划分可能存在的问题
交叉验证方法简介
动手实践：数据分割
章节 5: 简单评估流程
标准评估的步骤
为你的问题选择评估指标
执行训练-测试集划分
训练一个简单模型
在测试集上生成预测
计算性能指标
结果的解读
简单的评估流程示例
基础评估中的常见错误
单一划分可能存在的问题
这部分内容有帮助吗？
- The Elements of Statistical Learning: Data Mining, Inference, and Prediction, Trevor Hastie, Robert Tibshirani, and Jerome Friedman, 2009 (Springer) - 本书涵盖统计学习方法，包括模型评估、选择以及偏差-方差权衡，这解释了单次数据分割的问题和交叉验证的用途。
- A Study of Cross-Validation and Bootstrap for Accuracy Estimation and Model Selection, Ron Kohavi, 1995 Proceedings of the Fourteenth International Joint Conference on Artificial Intelligence (IJCAI), Vol. 14 (International Joint Conference on Artificial Intelligence (IJCAI)) DOI: 10.5555/164319.164334 - 本文比较了交叉验证和自助法在估计模型准确性方面的表现，为它们在可靠性能估计中的应用提供了依据。
- Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow: Concepts, Tools, and Techniques to Build Intelligent Systems, Aurélien Géron, 2022 (O'Reilly Media) - 本指南解释了稳健模型评估，包括单次训练-测试分割的局限性，以及交叉验证在获取更可靠性能估计方面的优势。
- Cross-validation: evaluating estimator performance, Scikit-learn developers, 2023 - 这份官方文档解释了交叉验证及其目的，以及为何它比单次训练-测试分割更受青睐，以获得更稳定的性能估计。