趋近智
在我们了解了 L1 和 L2 等惩罚大权重值的权重正则化方法之后,接下来我们介绍一种截然不同的防止过拟合的方法:丢弃法。这种方法在每次训练更新中,通过随机将一部分神经元输出设为零来发挥作用。这有助于避免神经元之间出现复杂的相互依赖,即神经元过度依赖特定其他神经元的情况。
本章将讲解丢弃法的工作原理,包括它在训练时如何运作,以及在推理时(测试阶段)激活值如何调整。我们将介绍常见的“倒置丢弃法”实现,讨论作为可调超参数的丢弃率 ,并提及在卷积网络和循环网络中应用丢弃法的考量。最后,你将通过实际例子了解如何使用标准深度学习框架将丢弃层整合到模型中。
3.1 Dropout介绍:避免协同适应
3.2 Dropout 在训练时的工作原理
3.3 在测试时调整激活值
3.4 反转Dropout实现
3.5 Dropout 比率作为超参数
3.6 卷积层和循环层的使用考量
3.7 在实践中应用Dropout
3.8 动手实践:添加 Dropout 层
© 2026 ApX Machine Learning用心打造