自动化超参数调整

这部分内容有帮助吗？

参考文献

Random Search for Hyper-Parameter Optimization, James Bergstra and Yoshua Bengio, 2012 Journal of Machine Learning Research, Vol. 13 DOI: 10.5555/2330613.2330674 - 这份论文介绍了随机搜索作为超参数优化的有效且计算高效的替代方法，尤其是在只有少数超参数具有显著影响时。
Practical Bayesian Optimization of Machine Learning Algorithms, Jasper Snoek, Hugo Larochelle, and Ryan P. Adams, 2012 Advances in Neural Information Processing Systems 25 (NIPS 2012), Vol. 25 (Curran Associates, Inc.) DOI: 10.5555/2999486.2999602 - 这篇开创性论文提出了使用高斯过程进行贝叶斯优化的实用框架，展示了其在调整机器学习算法方面的出色样本效率。
Hyperband: A Novel Bandit-Based Approach to Hyperparameter Optimization, Lisha Li, Kevin Jamieson, Giulia DeSalvo, Afshin Rostamizadeh, and Ameet Talwalkar, 2017 Journal of Machine Learning Research, Vol. 18 DOI: 10.5555/3305381.3305404 - 介绍了Hyperband，一种高效的超参数优化算法，它通过基于bandit的策略和逐次减半方法，提前修剪无前景的配置来智能分配资源。
Optuna: A Next-generation Hyperparameter Optimization Framework, Takuya Akiba, Shotaro Sano, Toshihiko Yanase, Takeru Ohta, and Masanori Koyama, 2019 Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining (KDD '19) DOI: 10.1145/3292500.3330705 - 这篇原始研究论文介绍了Optuna，一个开源超参数优化框架，具有define-by-run API以及高效的采样和修剪算法，并在本节中具体提及。
Hyperparameter Optimization: A Review of Methods and Applications, Bob Shahriari, Kevin Swersky, Ziyu Wang, Ryan P. Adams, and Nando de Freitas, 2016 Proceedings of the IEEE, Vol. 104 (IEEE) DOI: 10.1109/JPROC.2015.2494218 - 一篇综合性综述论文，涵盖了广泛的超参数优化技术，包括网格搜索、随机搜索和贝叶斯优化，提供了坚实的理论和实践概述。