在我们对单变量函数理解的基础上，我们现在关注依赖于多个输入的函数。这很必要，因为大多数机器学习模型，从具有多个特征的线性回归到复杂的神经网络，都涉及优化具有多个变量或参数的函数。分析这些函数如何随着输入调整而变化，需要扩展微积分的原理。

在本章中，您将学习与机器学习相关的多变量微积分基础知识：

• 偏导数： 我们将定义偏导数，它们衡量当一个特定输入变量变化而其他变量保持不变时，函数如何变化。
• 梯度向量： 您将了解梯度，通常表示为 $\nabla f$。这个向量汇集了函数的所有偏导数，并指向函数增加最快的方向。
• 方向导数与海森矩阵： 我们还将研究如何衡量任意方向上的变化（方向导数），并介绍海森矩阵，它组织二阶偏导数并有助于描述曲率。

这些原理构成了理解如何在高维曲面上进行操作和优化的核心部分，例如模型训练期间最小化的成本函数。掌握梯度对于理解后面讨论的优化算法很重要。我们将以一个实践练习结束，使用 NumPy 数值计算梯度。