梯度裁剪方法

这部分内容有帮助吗？

参考文献

On the difficulty of training Recurrent Neural Networks, Razvan Pascanu, Tomas Mikolov, Yoshua Bengio, 2013 Proceedings of the 30th International Conference on Machine Learning (ICML), Vol. 28 DOI: 10.1109/ICML.2013.88 - 一篇基础性论文，识别了深度神经网络中的梯度爆炸问题，并提出了梯度裁剪作为缓解策略。
Deep Learning, Ian Goodfellow, Yoshua Bengio, Aaron Courville, 2016 (MIT Press) - 一本全面的教科书，提供了深度学习的理论和实践概览，其中包含专门讨论优化中梯度裁剪的章节。
torch.nn.utils.clip_grad_norm_, PyTorch Developers, 2024 PyTorch Documentation (PyTorch Foundation) - PyTorch 工具函数的官方文档，该函数实现了按范数梯度裁剪，详细说明了其用法、参数和返回值。
CS231n: Convolutional Neural Networks for Visual Recognition - Optimization section, Fei-Fei Li, Justin Johnson, Serena Yeung, 2017 Stanford University Course Material (Stanford University) - 一门著名大学课程的教育材料，涵盖了训练神经网络的实际方面，包括梯度裁剪等常见的优化策略。