ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

深度学习入门
章节 1: 神经网络基本原理
从机器学习到深度学习
生物学上的启发:神经元
人工神经元:数学模型
感知机:最简单的神经网络
单层感知器的局限性
多层感知机 (MLP):添加层次
动手实践:构建一个简单的感知器模型
第 1 章测验
章节 2: 激活函数与网络结构
激活函数的作用
Sigmoid 激活函数
双曲正切(Tanh)激活函数
修正线性单元 (ReLU)
ReLU的多种形式 (Leaky ReLU, PReLU, ELU)
选择合适的激活函数
理解网络层:输入层、隐藏层、输出层
设计前馈网络架构
动手实践:实现不同的激活函数
第 2 章测验
章节 3: 训练神经网络:损失与优化
衡量表现:损失函数
常见的回归损失函数 (MSE, MAE)
用于分类的常用损失函数(交叉熵)
优化:寻找最优权重
梯度下降算法
学习率
随机梯度下降 (SGD)
梯度下降的难题
动手实践:梯度下降可视化
第 3 章测验
章节 4: 反向传播和高级优化
计算梯度:链式法则
计算图
反向传播算法详解
前向传播与反向传播
带有动量的梯度下降
RMSprop 优化器
Adam 优化器
选择优化算法
动手实践:反向传播逐步解析
第 4 章测验
章节 5: 搭建与训练深度神经网络
深度学习框架简介 (TensorFlow/Keras, PyTorch)
搭建开发环境
神经网络的数据准备
定义一个前馈网络模型
权重初始化方法
配置模型:损失函数与优化器选择
模型训练:fit 方法
监控训练进展(损失与指标)
模型性能评估
动手实践:在MNIST上训练分类器
第 5 章测验
章节 6: 正则化与性能提升
过拟合问题
正则化方法概述
L1 和 L2 正则化
Dropout正则化
早期停止
批标准化
超参数调整基本原理
超参数搜索策略(网格搜索、随机搜索)
实践操作:运用Dropout和Early Stopping
第 6 章测验
章节 7: 专用架构介绍
前馈网络的局限性
卷积神经网络 (CNNs): 动因
CNN核心操作:卷积
CNN核心操作:池化
典型CNN架构
循环神经网络(RNN):缘由
循环与隐藏状态
基本RNN架构
简单循环神经网络的挑战 (梯度消失/梯度爆炸)
概述:LSTM与GRU
第 7 章测验

反向传播算法详解

训练神经网络 (neural network)需要调整其权重 (weight)和偏置 (bias),以最小化误差函数,通常使用梯度下降 (gradient descent)法。梯度下降法的基础要求是误差函数相对于网络中每个参数 (parameter)(权重 wij(l)w_{ij}^{(l)}wij(l)​ 和偏置 bi(l)b_i^{(l)}bi(l)​)的梯度。对于具有可能数百万参数的深度网络,直接计算这些梯度将导致计算成本高昂。

这时,反向传播 (backpropagation)算法便登场了。它本身并非一种新的优化算法,而是一种计算所需梯度的极其高效的方法。反向传播巧妙地应用了微积分的链式法则,通过网络层从最终误差计算反向进行,以确定每个参数如何对该误差作出贡献。

可以将其理解为对最终误差进行“归因”或“分配”。如果网络的输出与目标相去甚远,反向传播有助于确定哪些连接(权重)和阈值(偏置)对该差异负有主要责任,以及它们应该朝哪个方向调整。

反向传播 (backpropagation)的两个主要阶段

该算法主要通过两个阶段运行:

  1. 前向传播: 这是将输入 xxx 逐层馈送到网络的标准过程,计算每层的加权和 (z(l)z^{(l)}z(l)) 和激活值 (a(l)a^{(l)}a(l)),直到达到最终输出激活值 a(L)a^{(L)}a(L) 并计算误差 EEE。在此阶段,存储中间值是必要的,具体来说,是每层 lll 的加权和 z(l)z^{(l)}z(l) 和激活值 a(l)a^{(l)}a(l),因为它们在反向传播阶段会用到。

    • z(l)=W(l)a(l−1)+b(l)z^{(l)} = W^{(l)} a^{(l-1)} + b^{(l)}z(l)=W(l)a(l−1)+b(l)
    • a(l)=g(z(l))a^{(l)} = g(z^{(l)})a(l)=g(z(l)) (其中 ggg 是激活函数 (activation function))
  2. 反向传播: 这是反向传播的核心。它从输出层开始,将误差的梯度反向传播通过整个网络。

    • 输出层(第 L 层): 我们首先计算误差相对于输出激活值 ∂E∂a(L)\frac{\partial E}{\partial a^{(L)}}∂a(L)∂E​ 的梯度。其具体形式取决于所用的误差函数。然后,使用链式法则和存储的 z(L)z^{(L)}z(L) 值,我们计算误差相对于输出层的预激活值 z(L)z^{(L)}z(L) 的梯度。这个项通常被称为输出层的“误差” δ(L)\delta^{(L)}δ(L):

      δ(L)=∂E∂z(L)=∂E∂a(L)⊙g′(z(L))\delta^{(L)} = \frac{\partial E}{\partial z^{(L)}} = \frac{\partial E}{\partial a^{(L)}} \odot g'(z^{(L)})δ(L)=∂z(L)∂E​=∂a(L)∂E​⊙g′(z(L))

      这里,g′g'g′ 是输出层使用的激活函数的导数,⊙\odot⊙ 表示元素级乘法(Hadamard 积)。这是因为 ∂E∂a(L)\frac{\partial E}{\partial a^{(L)}}∂a(L)∂E​ 和 g′(z(L))g'(z^{(L)})g′(z(L)) 都是与输出层维度相同的向量 (vector)(或张量)。

    • 输出层参数 (parameter)的梯度: 一旦我们有了 δ(L)\delta^{(L)}δ(L),我们就可以计算连接到输出层的权重 (weight) W(L)W^{(L)}W(L) 和偏置 (bias) b(L)b^{(L)}b(L) 的梯度:

      ∂E∂W(L)=δ(L)(a(L−1))T\frac{\partial E}{\partial W^{(L)}} = \delta^{(L)} (a^{(L-1)})^T∂W(L)∂E​=δ(L)(a(L−1))T ∂E∂b(L)=δ(L)\frac{\partial E}{\partial b^{(L)} } = \delta^{(L)}∂b(L)∂E​=δ(L)

      (注意:对于 ∂E∂W(L)\frac{\partial E}{\partial W^{(L)}}∂W(L)∂E​,如果 δ(L)\delta^{(L)}δ(L) 和 a(L−1)a^{(L-1)}a(L−1) 是向量,这是一个外积。如果使用小批量,则批次维度的求和是隐式的。)

    • 反向传播误差: 这一步需要计算误差 δ(L)\delta^{(L)}δ(L) 如何反向传播到前一层的激活值 a(L−1)a^{(L-1)}a(L−1)。我们需要 ∂E∂a(L−1)\frac{\partial E}{\partial a^{(L-1)}}∂a(L−1)∂E​ 来继续这个过程。这是通过考虑 a(L−1)a^{(L-1)}a(L−1) 如何通过 W(L)W^{(L)}W(L) 影响 z(L)z^{(L)}z(L),以及 z(L)z^{(L)}z(L) 如何通过 δ(L)\delta^{(L)}δ(L) 影响 EEE 来得到的:

      ∂E∂a(L−1)=(W(L))Tδ(L)\frac{\partial E}{\partial a^{(L-1)}} = (W^{(L)})^T \delta^{(L)}∂a(L−1)∂E​=(W(L))Tδ(L)
    • 隐藏层(第 l 层): 现在,我们将此过程推广到任何隐藏层 lll(从 L−1L-1L−1 向下到 1 反向进行)。我们假设已经计算了 ∂E∂a(l)\frac{\partial E}{\partial a^{(l)}}∂a(l)∂E​(这是从 l+1l+1l+1 层传播过来的误差)。我们计算当前层的误差 δ(l)\delta^{(l)}δ(l):

      δ(l)=∂E∂z(l)=∂E∂a(l)⊙g′(z(l))=((W(l+1))Tδ(l+1))⊙g′(z(l))\delta^{(l)} = \frac{\partial E}{\partial z^{(l)}} = \frac{\partial E}{\partial a^{(l)}} \odot g'(z^{(l)}) = \left( (W^{(l+1)})^T \delta^{(l+1)} \right) \odot g'(z^{(l)})δ(l)=∂z(l)∂E​=∂a(l)∂E​⊙g′(z(l))=((W(l+1))Tδ(l+1))⊙g′(z(l))

      这个方程表明了来自下一层(δ(l+1)\delta^{(l+1)}δ(l+1))的误差,通过连接权重 (W(l+1)W^{(l+1)}W(l+1)) 加权后,与激活函数的局部梯度 (g′(z(l))g'(z^{(l)})g′(z(l))) 结合,从而形成当前层的误差。

    • 隐藏层参数的梯度: 使用 δ(l)\delta^{(l)}δ(l),我们计算第 lll 层参数的梯度:

      ∂E∂W(l)=δ(l)(a(l−1))T\frac{\partial E}{\partial W^{(l)}} = \delta^{(l)} (a^{(l-1)})^T∂W(l)∂E​=δ(l)(a(l−1))T ∂E∂b(l)=δ(l)\frac{\partial E}{\partial b^{(l)}} = \delta^{(l)}∂b(l)∂E​=δ(l)
    • 继续反向: 我们重复这个过程,为从 L−1L-1L−1 到 111 的每一层 lll 计算 δ(l)\delta^{(l)}δ(l)、∂E∂W(l)\frac{\partial E}{\partial W^{(l)}}∂W(l)∂E​ 和 ∂E∂b(l)\frac{\partial E}{\partial b^{(l)}}∂b(l)∂E​。每一步都使用在前一步(即为 l+1l+1l+1 层计算的步骤)中计算出的误差 δ(l+1)\delta^{(l+1)}δ(l+1)。

流程图示

下图说明了梯度信息的反向流动。前向传播从左到右计算值。反向传播 (backpropagation)(红色虚线)从误差 EEE 开始计算梯度,并从右到左移动,在每个阶段计算所需的偏导数(∂E/∂…\partial E / \partial \dots∂E/∂…)。

反向传播的流程。实线代表前向传播计算。虚线代表梯度的反向流动计算,从误差 (E) 开始,向左穿过各层。每个虚线边的标签表示在该步骤中计算的梯度。

效率提升

反向传播 (backpropagation)的效率来自于计算的复用。请注意,为第 lll 层计算的误差 δ(l)\delta^{(l)}δ(l) 如何直接用于计算梯度 ∂E∂W(l)\frac{\partial E}{\partial W^{(l)}}∂W(l)∂E​、∂E∂b(l)\frac{\partial E}{\partial b^{(l)}}∂b(l)∂E​ 以及前一层所需的误差项 δ(l−1)\delta^{(l-1)}δ(l−1)(通过 (W(l))Tδ(l)(W^{(l)})^T \delta^{(l)}(W(l))Tδ(l))。这避免了如果尝试使用链式法则从头开始独立计算每个 ∂E∂Wij\frac{\partial E}{\partial W_{ij}}∂Wij​∂E​ 和 ∂E∂bi\frac{\partial E}{\partial b_i}∂bi​∂E​ 直到输入层时可能出现的冗余计算。

本质上,反向传播是应用于神经网络 (neural network)的反向模式自动微分的一种实际应用。它提供了一种结构化的方式,用于计算标量目标函数(误差)相对于其所有输入参数 (parameter)(权重 (weight)和偏置 (bias))的梯度,其时间复杂度大致与前向传播本身的计算成本成比例。

一旦反向传播阶段完成,我们就得到了所有层 lll 的梯度 ∂E∂W(l)\frac{\partial E}{\partial W^{(l)}}∂W(l)∂E​ 和 ∂E∂b(l)\frac{\partial E}{\partial b^{(l)}}∂b(l)∂E​。这些梯度随后被优化算法(如 SGD、Adam 等)用于更新网络的参数:

W(l)←W(l)−η∂E∂W(l)W^{(l)} \leftarrow W^{(l)} - \eta \frac{\partial E}{\partial W^{(l)}}W(l)←W(l)−η∂W(l)∂E​ b(l)←b(l)−η∂E∂b(l)b^{(l)} \leftarrow b^{(l)} - \eta \frac{\partial E}{\partial b^{(l)}}b(l)←b(l)−η∂b(l)∂E​

其中 η\etaη 是学习率。这就完成了一个前向传播、误差计算、反向传播和参数更新的循环,构成了神经网络如何学习的基础机制。

  • Learning representations by back-propagating errors, David E. Rumelhart, Geoffrey E. Hinton, and Ronald J. Williams, 1986 Nature, Vol. 323 (Springer Nature) DOI: 10.1038/323533a0 - 介绍反向传播算法的原始论文,使其在多层神经网络中得到广泛应用。
  • Deep Learning, Ian Goodfellow, Yoshua Bengio, and Aaron Courville, 2016 (MIT Press) - 深度学习综合教材,以数学严谨性介绍反向传播及其在深度学习中的作用。
  • Neural Networks and Deep Learning, Michael Nielsen, 2019 (Determination Press) - 一本易于理解的在线书籍,逐步讲解反向传播算法。
  • Backpropagation, Intuitions, Stanford CS231n Course Staff, 2019 (Stanford University) - 课程讲义,提供反向传播的实用和直观解释,包括其推导过程。

© 2026 ApX Machine Learning