恰当初始化的重要性

这部分内容有帮助吗？

参考文献

Understanding the difficulty of training deep feedforward neural networks, Xavier Glorot and Yoshua Bengio, 2010 Proceedings of the Thirteenth International Conference on Artificial Intelligence and Statistics (AISTATS), Vol. 9 (Proceedings of Machine Learning Research) DOI: 10.5555/3172186.3172237 - 提出了Glorot（Xavier）初始化方法，通过分析信号传播来缓解深度网络中的梯度消失/爆炸问题。
Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification, Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun, 2015 Proceedings of the IEEE International Conference on Computer Vision (ICCV) (IEEE) DOI: 10.1109/ICCV.2015.122 - 提出了He（Kaiming）初始化方法，专为ReLU激活函数设计，基于稳定梯度流的原则。
Deep Learning, Ian Goodfellow, Yoshua Bengio, and Aaron Courville, 2016 (MIT Press) - 全面介绍了深度学习基础知识，包括梯度消失/爆炸和初始化策略的详细解释。