常见求导法则

导数的极限定义，即 $\lim_{h \to 0} \frac{f(x+h) - f(x)}{h}$，提供了一种计算导数的基本方法。然而，直接应用此定义对于复杂函数而言可能很繁琐。设想在机器学习 (machine learning)优化循环中重复使用此定义，这将导致计算效率低下。幸好，微积分提供了一套规则，使得通过将复杂函数分解为更简单的部分，我们可以更轻松地求得导数。这些规则是求导我们在机器学习中定义模型成本或激活函数 (activation function)时遇到的函数类型的基础。

让我们查看最常用且实用的求导法则。假设 $f(x)$ 和 $g(x)$ 是可导函数，$c$ 为常数。

常数法则

最简单的法则是涉及那些总是输出相同值的函数，例如 $f(x) = 5$。由于函数的值不变，其变化率（即导数）始终为零。

• 法则： 如果 $f(x) = c$（其中 $c$ 为常数），那么 $f'(x) = 0$。
• 莱布尼茨表示法： $\frac{d}{dx}(c) = 0$
• 例子： 如果 $f(x) = 10$，那么 $f'(x) = 0$。

幂法则

这是最常用的法则之一，尤其适用于建模中常见的多项式函数。它适用于 $x$ 的幂次形式的函数。

• 法则： 如果 $f(x) = x^n$（其中 $n$ 为任意实数），那么 $f'(x) = nx^{n-1}$。
• 莱布尼茨表示法： $\frac{d}{dx}(x^n) = nx^{n-1}$
• 说明： 对 $x^n$ 求导时，将指数 $n$ 放到前面作乘数，然后将原指数减 1。
• 例子：
  • 如果 $f(x) = x^3$，那么 $f'(x) = 3x^{3-1} = 3x^2$。
  • 如果 $g(x) = x$（即 $x^1$），那么 $g'(x) = 1x^{1-1} = 1x^0 = 1$。这符合预期，$y=x$ 这条直线的斜率为 1。
  • 如果 $h(x) = \sqrt{x} = x^{1/2}$，那么 $h'(x) = \frac{1}{2}x^{1/2 - 1} = \frac{1}{2}x^{-1/2} = \frac{1}{2\sqrt{x}}$。
  • 如果 $k(x) = \frac{1}{x^2} = x^{-2}$，那么 $k'(x) = -2x^{-2-1} = -2x^{-3} = -\frac{2}{x^3}$。

常数倍法则

如果函数乘以一个常数，例如 $f(x) = 5x^3$，会怎样？该法则表明，你可以将常数提出来，对函数的其余部分求导，然后再将常数乘回去。

• 法则： 如果 $h(x) = c \cdot f(x)$，那么 $h'(x) = c \cdot f'(x)$。
• 莱布尼茨表示法： $\frac{d}{dx}(c \cdot f(x)) = c \cdot \frac{d}{dx}(f(x))$
• 例子： 如果 $f(x) = 5x^3$。我们知道 $\frac{d}{dx}(x^3) = 3x^2$。使用该法则： $f'(x) = 5 \cdot \frac{d}{dx}(x^3) = 5 \cdot (3x^2) = 15x^2$

和/差法则

机器学习 (machine learning)中的成本函数通常是各项的和（例如平方误差和）。该法则允许我们逐项对这类函数求导。

• 法则： 如果 $h(x) = f(x) + g(x)$，那么 $h'(x) = f'(x) + g'(x)$。同理，如果 $h(x) = f(x) - g(x)$，那么 $h'(x) = f'(x) - g'(x)$。
• 莱布尼茨表示法： $\frac{d}{dx}(f(x) \pm g(x)) = \frac{d}{dx}(f(x)) \pm \frac{d}{dx}(g(x))$
• 说明： 和（或差）的导数是导数的和（或差）。
• 例子： 设 $h(x) = x^4 + 6x^2 - 7$。我们可以使用幂法则、常数倍法则和常数法则逐项求导： $h'(x) = \frac{d}{dx}(x^4) + \frac{d}{dx}(6x^2) - \frac{d}{dx}(7)$ $h'(x) = (4x^3) + (6 \cdot 2x) - (0)$ $h'(x) = 4x^3 + 12x$

乘积法则

当对两个函数乘积形式的函数求导时，例如 $h(x) = f(x)g(x)$，就需要此法则。重要之处在于不能简单地将各个导数相乘。

• 法则： 如果 $h(x) = f(x)g(x)$，那么 $h'(x) = f'(x)g(x) + f(x)g'(x)$。
• 莱布尼茨表示法： $\frac{d}{dx}(f(x)g(x)) = \frac{df}{dx}g(x) + f(x)\frac{dg}{dx}$
• 说明： 乘积的导数是第一个函数的导数乘以第二个函数，加上 第一个函数乘以第二个函数的导数。
• 例子： 设 $h(x) = (x^2+1)(x^3-x)$。
  • 设 $f(x) = x^2+1$，因此 $f'(x) = 2x$。
  • 设 $g(x) = x^3-x$，因此 $g'(x) = 3x^2-1$。
  • 应用乘积法则： $h'(x) = f'(x)g(x) + f(x)g'(x)$ $h'(x) = (2x)(x^3-x) + (x^2+1)(3x^2-1)$ $h'(x) = (2x^4 - 2x^2) + (3x^4 - x^2 + 3x^2 - 1)$ $h'(x) = 2x^4 - 2x^2 + 3x^4 + 2x^2 - 1$ $h'(x) = 5x^4 - 1$
  • （自检：先展开 $h(x)$：$h(x) = x^5 - x^3 + x^3 - x = x^5 - x$。那么 $h'(x) = 5x^4 - 1$。法则有效！）

商法则

该法则用于处理一个函数除以另一个函数形成的函数，例如 $h(x) = \frac{f(x)}{g(x)}$。类似于乘积法则，它也有一个特定的结构。

• 法则： 如果 $h(x) = \frac{f(x)}{g(x)}$（其中 $g(x) \neq 0$），那么 $h'(x) = \frac{f'(x)g(x) - f(x)g'(x)}{[g(x)]^2}$。
• 莱布尼茨表示法： $\frac{d}{dx}\left(\frac{f(x)}{g(x)}\right) = \frac{\frac{df}{dx}g(x) - f(x)\frac{dg}{dx}}{[g(x)]^2}$
• 说明： 一个常见的助记口诀是“下乘上导，减去上乘下导，分母再平方，得结果”，其中“下”表示 $g(x)$，“上”表示 $f(x)$，“导”表示“的导数”。
• 例子： 设 $h(x) = \frac{x^2}{x-1}$。
  • 设 $f(x) = x^2$（上），因此 $f'(x) = 2x$。
  • 设 $g(x) = x-1$（下），因此 $g'(x) = 1$。
  • 应用商法则： $h'(x) = \frac{f'(x)g(x) - f(x)g'(x)}{[g(x)]^2}$ $h'(x) = \frac{(2x)(x-1) - (x^2)(1)}{(x-1)^2}$ $h'(x) = \frac{2x^2 - 2x - x^2}{(x-1)^2}$ $h'(x) = \frac{x^2 - 2x}{(x-1)^2}$

这些法则，特别是幂法则、常数倍法则以及和/差法则，是求导成本函数（如均方误差）中常见的多项式项的基础。乘积法则和商法则在处理更复杂的模型结构或激活函数 (activation function)时变得必要。掌握这些法则使我们能够解析地计算优化所需的导数，而无需每次都求助于极限定义。稍后，我们将看到链法则如何与这些法则结合，以处理更复杂的嵌套函数，这些函数是神经网络 (neural network)的特点。