在我们对单变量函数理解的基础上,我们现在关注依赖于多个输入的函数。这很必要,因为大多数机器学习模型,从具有多个特征的线性回归到复杂的神经网络,都涉及优化具有多个变量或参数的函数。分析这些函数如何随着输入调整而变化,需要扩展微积分的原理。在本章中,您将学习与机器学习相关的多变量微积分基础知识:偏导数: 我们将定义偏导数,它们衡量当一个特定输入变量变化而其他变量保持不变时,函数如何变化。梯度向量: 您将了解梯度,通常表示为 $\nabla f$。这个向量汇集了函数的所有偏导数,并指向函数增加最快的方向。方向导数与海森矩阵: 我们还将研究如何衡量任意方向上的变化(方向导数),并介绍海森矩阵,它组织二阶偏导数并有助于描述曲率。这些原理构成了理解如何在高维曲面上进行操作和优化的核心部分,例如模型训练期间最小化的成本函数。掌握梯度对于理解后面讨论的优化算法很重要。我们将以一个实践练习结束,使用 NumPy 数值计算梯度。