Deep Sparse Rectifier Networks, Xavier Glorot, Antoine Bordes, and Yoshua Bengio, 2011Proceedings of the Fourteenth International Conference on Artificial Intelligence and Statistics (AISTATS), Vol. 15DOI: 10.5555/3104322.3104364 - 本文介绍了修正线性单元(ReLU)激活函数,并展示了其在深度神经网络中的优势,尤其是在处理梯度消失问题方面的作用。
Deep Learning, Ian Goodfellow, Yoshua Bengio, and Aaron Courville, 2016 (MIT Press) - 一本基础教材,提供关于神经网络的广泛信息,详细解释了ReLU等多种激活函数、其属性以及在增加非线性和解决梯度问题方面的功能。