趋近智
您已使用XGBoost、LightGBM和CatBoost构建了模型,并了解了它们的内部运作方式及优点。然而,这些强大算法的默认配置很少能为特定问题产生最佳结果。梯度提升模型的预测准确性、速度和泛化能力对其配置设置(即超参数 (parameter) (hyperparameter))非常敏感。
本章提供了一份系统性指南,介绍如何在梯度提升的超参数空间中进行调整。我们将首先确定对于XGBoost、LightGBM和CatBoost等算法来说,哪些参数通常对性能影响最大。您将学习基础的调优技术,包括网格搜索和随机搜索,并了解它们的优点和局限性。
接着我们将介绍更高级、更高效的方法,具体是贝叶斯优化,并演示如何使用Optuna和Hyperopt等常用Python框架实现这些方法。我们将讨论组织调优过程的实用策略,从宏观调整到精细微调 (fine-tuning),并结合可靠的交叉验证技术,以确保性能评估的准确性。完成本章后,您将掌握有效地调整梯度提升模型的知识和实践技能,以便在您的机器学习 (machine learning)任务中获得更好的结果。
8.1 超参数调优的重要性
8.2 识别重要的超参数
8.3 系统化调优:网格搜索与随机搜索
8.4 高级调优:贝叶斯优化
8.5 超参数优化框架 (Optuna, Hyperopt)
8.6 调优策略:从粗到细
8.7 调优的交叉验证策略
8.8 动手实践:使用 Optuna 进行进阶调优