将优化算法应用于深度神经网络 (neural network)，与更简单的模型相比，会遇到一些独特的问题。损失函数 (loss function)的高度非凸性，加之现代网络庞大的规模和高维度，使得优化过程需要特别留意。

在本章中，您将学到：

• 深度学习 (deep learning)中遇到的损失函数的具体特性，包括鞍点和平台区等现象。
• 网络架构选择（例如深度和宽度）如何与优化过程相互影响。
• 批量归一化 (normalization)和层归一化等技术在稳定和加速训练中的作用。
• 解决梯度相关问题的方法，特别是梯度消失和梯度爆炸问题，如使用梯度裁剪等技术。
• 权重 (weight)初始化策略（例如Xavier、He初始化）对优化成功的帮助。
• 常见的正则化 (regularization)方法如何隐式影响优化目标。

理解这些问题有助于有效训练复杂的深度学习模型。我们将考察用于应对这些困难的实用策略和启发式方法。