学习率调度策略

这部分内容有帮助吗？

参考文献

Attention Is All You Need, Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, Illia Polosukhin, 2017 Advances in Neural Information Processing Systems, Vol. 30 (Neural Information Processing Systems (NeurIPS)) DOI: 10.5555/3295222.3295232 - 介绍了Transformer架构及其包含预热阶段的特定学习率调度，是大型语言模型的基础。
SGDR: Stochastic Gradient Descent with Warm Restarts, Ilya Loshchilov, Frank Hutter, 2017 International Conference on Learning Representations (ICLR) DOI: 10.48550/arXiv.1608.03983 - 引入了余弦退火，这是一种学习率遵循余弦曲线的方法，构成了余弦衰减调度的基础。
How to adjust learning rate - PyTorch Documentation, PyTorch Developers, 2025 - PyTorch学习率调度器的官方文档，提供了各种策略的详细用法和示例。
Optimizers and Learning Rate Shchedulers - Hugging Face Transformers Documentation, Hugging Face Team, 2024 (Hugging Face) - Hugging Face Transformers库中学习率调度实用工具的官方文档，广泛应用于大型语言模型训练。