不稳定性常见表现

这部分内容有帮助吗？

参考文献

Deep Learning, Ian Goodfellow, Yoshua Bengio, and Aaron Courville, 2016 (MIT Press) - 本书提供了神经网络训练的基础知识，包括数值稳定性、优化以及梯度消失/爆炸等问题。
On the difficulty of training recurrent neural networks, Razvan Pascanu, Tomas Mikolov, and Yoshua Bengio, 2013 International Conference on Machine Learning (ICML), Vol. 28 (PMLR) DOI: 10.55982/pascanu13 - 本文介绍了梯度消失/爆炸问题，并提出了梯度裁剪作为解决方案，该方法被广泛用于防止训练不稳定。
Mixed-Precision Training, Paulius Micikevicius, Sharan Narang, Jonah Alben, Gregory Diamos, Erich Elsen, David Garcia, Boris Ginsburg, Michael Houston, Oleksii Kuchaiev, Ganesh Venkatesh, and Hao Wu, 2018 International Conference on Learning Representations (ICLR) DOI: 10.48550/arXiv.1710.03740 - 本文介绍了混合精度训练技术，对于大型模型中管理数值稳定性并防止NaN损失至关重要。
Automatic Mixed Precision (AMP), PyTorch Developers, Accessed 2024 (PyTorch Documentation) - 提供了在PyTorch中使用混合精度的官方指南和实践，涵盖了梯度缩放以防止数值问题和NaN损失。