趋近智
你已经学习了如何计算函数的导数和梯度。机器学习 (machine learning)模型,尤其是神经网络 (neural network),通常包含函数相互嵌套的复杂结构。计算整个模型误差相对于其内部参数 (parameter)的梯度,需要系统地处理这些嵌套关系。
本章将介绍链式法则,它是微积分中用于复合函数求导的一个核心原理。我们将从单变量链式法则开始,并将其推广到多变量函数。你将看到神经网络如何能以数学方式表示为函数的组合,并理解链式法则如何构成了反向传播 (backpropagation)算法的原理。反向传播是神经网络训练过程中,高效计算更新权重 (weight)和偏置 (bias)所需梯度的标准方法。我们还将介绍计算图,以帮助观察计算流程和梯度计算。完成本章后,你将掌握深度学习 (deep learning)模型中梯度计算的机制。
5.1 回顾单变量链式法则
5.2 多变量函数的链式法则
5.3 神经网络作为复合函数的介绍
5.4 反向传播:链式法则的应用
5.5 计算权重和偏置的梯度
5.6 计算图
5.7 动手实践:手动反向传播示例