ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

机器学习微积分要点
章节 1: 简介:微积分在机器学习中为何重要
机器学习中的函数和模型
机器学习中的优化思想
衡量变化:导数的作用
微积分:理解算法的工具
第 1 章测验
章节 2: 单变量微积分:导数与优化
理解极限:根本原理
导数的定义
常见求导法则
高阶导数
通过导数求极小值和极大值
实际运用:简单成本函数优化
动手实践:使用 Python 计算导数
第 2 章测验
章节 3: 多变量微积分:梯度与方向
多变量函数
偏导数
梯度向量
方向导数
海森矩阵
多变量优化原理
NumPy 梯度计算实践
第 3 章测验
章节 4: 梯度下降算法
梯度下降的直观原理
梯度下降算法的步骤
学习率参数
批梯度下降
随机梯度下降 (SGD)
小批量梯度下降
挑战:局部最小值与鞍点
动手实践:实现简单的梯度下降
第 4 章测验
章节 5: 链式法则与反向传播
回顾单变量链式法则
多变量函数的链式法则
神经网络作为复合函数的介绍
反向传播:链式法则的应用
计算权重和偏置的梯度
计算图
动手实践:手动反向传播示例
第 5 章测验

计算图

正如我们所见,神经网络 (neural network)本质上是大型的嵌套函数。计算损失函数 (loss function)相对于这个嵌套结构中可能存在的数百万个参数 (parameter)的梯度,需要一种系统的方法。手动重复应用链式法则很快就会变得难以应对且容易出错。此时,计算图提供了一种强大且实用的工具。

计算图是一种将数学表达式或一系列操作表示为有向图的方法。图中的每个节点代表一个变量(输入数据、参数、中间值)或一个操作(如加法、乘法、激活函数 (activation function))。有向边表示数据流以及这些节点之间的依赖关系;从节点 A 到节点 B 的边意味着节点 B 的计算依赖于节点 A 的输出。

可视化计算

让我们看一个简单例子。假设我们有函数 L=(x⋅w+b−y)2L = (x \cdot w + b - y)^2L=(x⋅w+b−y)2。这可以表示一个非常简单的线性模型 z=x⋅w+bz = x \cdot w + bz=x⋅w+b 的平方误差损失,其中 yyy 是目标值。我们可以将其分解为基本操作:

  1. p=x⋅wp = x \cdot wp=x⋅w (乘法)
  2. a=p+ba = p + ba=p+b (加法)
  3. d=a−yd = a - yd=a−y (减法)
  4. L=d2L = d^2L=d2 (平方)

我们可以将这个序列表示为计算图:

一个计算图,分解了计算 L=(x⋅w+b−y)2L = (x \cdot w + b - y)^2L=(x⋅w+b−y)2。椭圆形代表变量或计算值,矩形代表操作。边表示计算的方向。

前向传播

前向传播包括从输入到最终输出遍历图来计算表达式的值。你从输入(如 xxx, yyy)和参数 (parameter)(如 www, bbb)的值开始,然后根据其父节点的值计算每个操作节点的值。

对于我们的例子,如果 x=2,w=3,b=1,y=5x=2, w=3, b=1, y=5x=2,w=3,b=1,y=5:

  1. p=x⋅w=2⋅3=6p = x \cdot w = 2 \cdot 3 = 6p=x⋅w=2⋅3=6
  2. a=p+b=6+1=7a = p + b = 6 + 1 = 7a=p+b=6+1=7
  3. d=a−y=7−5=2d = a - y = 7 - 5 = 2d=a−y=7−5=2
  4. L=d2=22=4L = d^2 = 2^2 = 4L=d2=22=4

图结构清晰地定义了操作的顺序。

反向传播 (backpropagation):图上的反向传播

计算图的真正作用在反向传播过程中变得显而易见,这也是反向传播的实现方式。目标是计算最终输出(我们的损失 LLL)相对于每个输入和参数 (parameter)的梯度(即 ∂L∂x,∂L∂w,∂L∂b,∂L∂y\frac{\partial L}{\partial x}, \frac{\partial L}{\partial w}, \frac{\partial L}{\partial b}, \frac{\partial L}{\partial y}∂x∂L​,∂w∂L​,∂b∂L​,∂y∂L​)。

我们从最终输出节点(LLL)开始,向后遍历图。梯度计算依赖于在每个节点局部应用的链式法则。

  1. 从终点开始: 输出相对于自身的梯度总是1: ∂L∂L=1\frac{\partial L}{\partial L} = 1∂L∂L​=1。这是我们“输入”到反向传播中的初始梯度值。

  2. 向后传播梯度: 对于任何产生输出 zzz 的节点 NNN,如果我们知道最终损失 LLL 相对于 zzz 的梯度(我们称之为 ∂L∂z\frac{\partial L}{\partial z}∂z∂L​),我们可以使用链式法则计算 LLL 相对于该节点 NNN 的任何输入 uuu 的梯度: ∂L∂u=∂L∂z⋅∂z∂u\frac{\partial L}{\partial u} = \frac{\partial L}{\partial z} \cdot \frac{\partial z}{\partial u}∂u∂L​=∂z∂L​⋅∂u∂z​ 这里,∂z∂u\frac{\partial z}{\partial u}∂u∂z​ 是节点 NNN 处操作相对于其特定输入 uuu 的局部梯度。

  3. 在分叉处求和梯度: 如果一个变量(比如更复杂图中的 ppp)输入到多个后续操作中,其总梯度是每个路径反向传播回来的梯度之和。

让我们为我们的示例图追踪此过程:

  • 节点 sq (L=d2L=d^2L=d2):

    • 输入梯度: ∂L∂L=1\frac{\partial L}{\partial L} = 1∂L∂L​=1。
    • 局部梯度: ∂L∂d=∂(d2)∂d=2d\frac{\partial L}{\partial d} = \frac{\partial (d^2)}{\partial d} = 2d∂d∂L​=∂d∂(d2)​=2d。根据我们的值,2d=2(2)=42d = 2(2) = 42d=2(2)=4。
    • 输出梯度(到节点 d): ∂L∂d=∂L∂L⋅∂L∂d=1⋅(2d)=2d=4\frac{\partial L}{\partial d} = \frac{\partial L}{\partial L} \cdot \frac{\partial L}{\partial d} = 1 \cdot (2d) = 2d = 4∂d∂L​=∂L∂L​⋅∂d∂L​=1⋅(2d)=2d=4。
  • 节点 sub (d=a−yd=a-yd=a−y):

    • 输入梯度: ∂L∂d=4\frac{\partial L}{\partial d} = 4∂d∂L​=4。
    • 局部梯度: ∂d∂a=1\frac{\partial d}{\partial a} = 1∂a∂d​=1, ∂d∂y=−1\frac{\partial d}{\partial y} = -1∂y∂d​=−1。
    • 输出梯度:
      • 到节点 a: ∂L∂a=∂L∂d⋅∂d∂a=4⋅1=4\frac{\partial L}{\partial a} = \frac{\partial L}{\partial d} \cdot \frac{\partial d}{\partial a} = 4 \cdot 1 = 4∂a∂L​=∂d∂L​⋅∂a∂d​=4⋅1=4。
      • 到节点 y: ∂L∂y=∂L∂d⋅∂d∂y=4⋅(−1)=−4\frac{\partial L}{\partial y} = \frac{\partial L}{\partial d} \cdot \frac{\partial d}{\partial y} = 4 \cdot (-1) = -4∂y∂L​=∂d∂L​⋅∂y∂d​=4⋅(−1)=−4。
  • 节点 add (a=p+ba=p+ba=p+b):

    • 输入梯度: ∂L∂a=4\frac{\partial L}{\partial a} = 4∂a∂L​=4。
    • 局部梯度: ∂a∂p=1\frac{\partial a}{\partial p} = 1∂p∂a​=1, ∂a∂b=1\frac{\partial a}{\partial b} = 1∂b∂a​=1。
    • 输出梯度:
      • 到节点 p: ∂L∂p=∂L∂a⋅∂a∂p=4⋅1=4\frac{\partial L}{\partial p} = \frac{\partial L}{\partial a} \cdot \frac{\partial a}{\partial p} = 4 \cdot 1 = 4∂p∂L​=∂a∂L​⋅∂p∂a​=4⋅1=4。
      • 到节点 b: ∂L∂b=∂L∂a⋅∂a∂b=4⋅1=4\frac{\partial L}{\partial b} = \frac{\partial L}{\partial a} \cdot \frac{\partial a}{\partial b} = 4 \cdot 1 = 4∂b∂L​=∂a∂L​⋅∂b∂a​=4⋅1=4。
  • 节点 mul (p=x⋅wp=x \cdot wp=x⋅w):

    • 输入梯度: ∂L∂p=4\frac{\partial L}{\partial p} = 4∂p∂L​=4。
    • 局部梯度: ∂p∂x=w\frac{\partial p}{\partial x} = w∂x∂p​=w, ∂p∂w=x\frac{\partial p}{\partial w} = x∂w∂p​=x。根据我们的值,∂p∂x=3\frac{\partial p}{\partial x} = 3∂x∂p​=3, ∂p∂w=2\frac{\partial p}{\partial w} = 2∂w∂p​=2。
    • 输出梯度:
      • 到节点 x: ∂L∂x=∂L∂p⋅∂p∂x=4⋅w=4⋅3=12\frac{\partial L}{\partial x} = \frac{\partial L}{\partial p} \cdot \frac{\partial p}{\partial x} = 4 \cdot w = 4 \cdot 3 = 12∂x∂L​=∂p∂L​⋅∂x∂p​=4⋅w=4⋅3=12。
      • 到节点 w: ∂L∂w=∂L∂p⋅∂p∂w=4⋅x=4⋅2=8\frac{\partial L}{\partial w} = \frac{\partial L}{\partial p} \cdot \frac{\partial p}{\partial w} = 4 \cdot x = 4 \cdot 2 = 8∂w∂L​=∂p∂L​⋅∂w∂p​=4⋅x=4⋅2=8。

我们现在已经计算出所有需要的梯度:∂L∂x=12\frac{\partial L}{\partial x} = 12∂x∂L​=12,∂L∂w=8\frac{\partial L}{\partial w} = 8∂w∂L​=8,∂L∂b=4\frac{\partial L}{\partial b} = 4∂b∂L​=4,以及 ∂L∂y=−4\frac{\partial L}{\partial y} = -4∂y∂L​=−4。图结构使我们能够系统地应用链式法则,而不会迷失在嵌套的函数结构中。

与深度学习 (deep learning)框架的相关性

现代深度学习库,如 TensorFlow 和 PyTorch,都高度依赖这种方法。它们根据你在模型代码中定义的操作,自动构建计算图(要么在执行前静态构建,要么在执行时动态构建)。这种图表示使得它们能够:

  1. 高效地进行前向传播计算。
  2. 自动计算所有参数 (parameter)的梯度,通过反向传播 (backpropagation)(通常称为“自动微分”或自动求导)。这使开发者无需手动推导和实现梯度计算,这对于复杂架构来说非常重要。
  3. 优化计算,例如,通过识别可并行化的操作或简化图的某些部分。

理解计算图有助于了解这些强大框架背后的机制,并阐明链式法则如何实现非常深的神经网络 (neural network)的训练。它将潜在复杂的梯度计算过程转变为图的结构化遍历。

  • Deep Learning, Ian Goodfellow, Yoshua Bengio, and Aaron Courville, 2016 (MIT Press) - 为深度学习中的计算图和反向传播提供了全面的理论基础。
  • PyTorch Autograd: Automatic Differentiation, PyTorch Development Team, 2025 (PyTorch Foundation) - 阐述了PyTorch中如何利用动态计算图实现自动微分。
  • CS231n: Deep Learning for Computer Vision, Lecture Notes on Backpropagation, Andrej Karpathy, 2023 - 提供了关于神经网络中反向传播和计算图的清晰说明及可视化。

© 2026 ApX Machine Learning