Deep Learning, Ian Goodfellow, Yoshua Bengio, and Aaron Courville, 2016 (MIT Press) - 这本全面的书籍详述了神经网络理论,涵盖了非线性的必要性以及ReLU、sigmoid和tanh等各种激活函数及其特性。
Deep Sparse Rectifier Networks, Xavier Glorot, Antoine Bordes, and Yoshua Bengio, 2011Proceedings of the Fourteenth International Conference on Artificial Intelligence and Statistics (AISTATS), Vol. 15 (Microtome Publishing)DOI: 10.55982/aistats.2011.27 - 这篇论文介绍了并评估了整流线性单元(ReLU)激活函数,展示了其在训练深度神经网络方面的优势。
Activations, Keras team, 2024 - Keras官方文档,提供了Keras API中各种激活函数的详细信息和使用示例。