ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

深度学习中的模型正则化与优化
章节 1: 泛化能力的挑战
模型泛化介绍
理解欠拟合与过拟合
深度学习中的偏差-方差权衡
诊断模型表现:学习曲线
验证与交叉验证策略
正则化与优化的作用
配置开发环境
动手:过拟合的可视化
第 1 章测验
章节 2: 权重正则化方法
权重正则化背后的理念
L2正则化(权重衰减):机制
L2 正则化:数学公式
L1 正则化:机制与稀疏性
L1 正则化:数学表述
L1和L2正则化的比较
弹性网络:L1与L2的结合
权重正则化的实现
动手实践:将L1/L2应用于网络
第 2 章测验
章节 3: 丢弃法正则化
Dropout介绍:避免协同适应
Dropout 在训练时的工作原理
在测试时调整激活值
反转Dropout实现
Dropout 比率作为超参数
卷积层和循环层的使用考量
在实践中应用Dropout
动手实践:添加 Dropout 层
第 3 章测验
章节 4: 训练稳定性归一化技术
内部协变量偏移问题
批归一化介绍
批量归一化:前向传播计算
批标准化:反向传播计算
批量归一化的好处
测试时的批量归一化
网络中的考量与放置
层归一化简介
实现批量归一化
动手实践:整合批标准化
第 4 章测验
章节 5: 基本优化算法
回顾梯度下降
标准梯度下降的难题
随机梯度下降(SGD)
小批量梯度下降
SGD的挑战:噪声与局部最小值
带动量的随机梯度下降:加速收敛
涅斯捷罗夫加速梯度 (NAG)
实现SGD和动量
实践:比较梯度下降、随机梯度下降和动量法
第 5 章测验
章节 6: 自适应优化算法
自适应学习率的必要性
AdaGrad:调整每个参数的学习率
AdaGrad 的局限性:学习率衰减
RMSprop:处理AdaGrad的局限性
Adam:自适应矩估计
Adam算法细致分析
Adamax 和 Nadam 变体(简要概述)
优化器选择指南
实现 Adam 和 RMSprop
动手实践:优化器比较实验
第 6 章测验
章节 7: 优化细节调整与超参数调整
参数初始化的重要性
常见的初始化策略(戈洛特,何凯明)
学习率调度的缘由
步进衰减策略
指数衰减及其他调度方法
预热策略
调整超参数:学习率、正则化强度、批大小
批处理大小与学习率的关系
超参数:网格搜索与随机搜索的比较
实施学习率调度
实践:模型超参数调整
第 7 章测验
章节 8: 技术组合与实际考量
正则化与优化之间的联动
典型的深度学习训练流程
训练监控:损失曲线与指标
提前停止作为正则化
结合 Dropout 与批归一化
数据增强作为隐式正则化
选择恰当的技术组合
调试与优化/正则化相关的训练问题
动手实践:构建与调整正则化/优化模型
第 8 章测验

批量归一化:前向传播计算

内部协变量漂移描述了训练期间层输入分布的变化,这会阻碍学习过程。批量归一化 (normalization)(BN)旨在通过对每个小批次的层输入进行归一化来减轻此问题。前向传播过程中这种归一化的计算方法将被分析。

其主要思路是获取给定小批次中到达批量归一化层的激活值,并对其进行转换,使其具有近似零均值和单位方差。这种标准化对于每个特征或通道都是独立进行的。然而,简单地强制零均值和单位方差可能会限制层的表示能力。因此,BN 为每个特征引入了两个可学习的参数 (parameter),γ\gammaγ(伽马)和 β\betaβ(贝塔),它们允许网络对归一化后的值进行缩放和平移。这表示网络可以学习 下一 层的输入的最佳缩放和均值。

考虑一个包含激活值的小批次 B={x1,x2,...,xm}\mathcal{B} = \{x_1, x_2, ..., x_m\}B={x1​,x2​,...,xm​},用于特定特征(例如,小批次中 mmm 个不同示例的单个神经元的输出)。批量归一化前向传播包含以下步骤:

  1. 计算小批次均值(μB\mu_{\mathcal{B}}μB​): 计算该特征在小批次中的激活值平均值。

    μB=1m∑i=1mxi\mu_{\mathcal{B}} = \frac{1}{m} \sum_{i=1}^{m} x_iμB​=m1​i=1∑m​xi​
  2. 计算小批次方差(σB2\sigma^2_{\mathcal{B}}σB2​): 计算该特征在小批次中的激活值方差。

    σB2=1m∑i=1m(xi−μB)2\sigma^2_{\mathcal{B}} = \frac{1}{m} \sum_{i=1}^{m} (x_i - \mu_{\mathcal{B}})^2σB2​=m1​i=1∑m​(xi​−μB​)2
  3. 归一化(x^i\hat{x}_ix^i​): 使用计算出的均值和方差归一化小批次中的每个激活值 xix_ixi​。在方差的平方根内添加一个小的常数 ϵ\epsilonϵ(伊普西隆,例如 1e−51e-51e−5)以确保数值稳定性,防止方差非常小时出现除以零的情况。

    x^i=xi−μBσB2+ϵ\hat{x}_i = \frac{x_i - \mu_{\mathcal{B}}}{\sqrt{\sigma^2_{\mathcal{B}} + \epsilon}}x^i​=σB2​+ϵ​xi​−μB​​

    此步骤后,小批次的归一化激活值 x^i\hat{x}_ix^i​ 将具有接近 0 的均值和接近 1 的方差。

  4. 缩放和平移(yiy_iyi​): 使用可学习的参数 γ\gammaγ 和 β\betaβ 转换归一化的激活值 x^i\hat{x}_ix^i​。这些参数会进行初始化(通常分别设为 1 和 0),并在反向传播 (backpropagation)期间像其他网络权重 (weight)一样进行更新。

    yi=γx^i+βy_i = \gamma \hat{x}_i + \betayi​=γx^i​+β

    输出 yiy_iyi​ 是批量归一化层针对输入激活值 xix_ixi​ 的最终结果,它会被传递到后续层(通常后接非线性激活函数 (activation function))。

批量归一化前向传播对小批次中单个特征的处理流程。输入 xix_ixi​ 用于计算小批次统计量(μB,σB2\mu_{\mathcal{B}}, \sigma^2_{\mathcal{B}}μB​,σB2​),然后将每个 xix_ixi​ 归一化为 x^i\hat{x}_ix^i​。最后,可学习参数 γ\gammaγ 和 β\betaβ 对 x^i\hat{x}_ix^i​ 进行缩放和平移,得到输出 yiy_iyi​。

需记住,γ\gammaγ 和 β\betaβ 是 每个特征 分别学习的。如果全连接层有 NNN 个输出神经元,则会有 NNN 对 (γ,β)(\gamma, \beta)(γ,β)。如果卷积层有 CCC 个输出通道,则会有 CCC 对 (γ,β)(\gamma, \beta)(γ,β) 用于对每个通道的批次、高度和宽度维度进行归一化。

这个过程确保了训练期间下一层的输入具有稳定的分布,由学习到的 γ\gammaγ 和 β\betaβ 参数控制,这极大地有助于稳定并加速训练过程。

  • Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift, Sergey Ioffe and Christian Szegedy, 2015 arXiv DOI: 10.48550/arXiv.1502.03167 - 介绍批归一化的原始研究论文,阐述其动机以及正向和反向传播的完整数学公式。
  • Deep Learning, Ian Goodfellow, Yoshua Bengio, and Aaron Courville, 2016 (MIT Press) - 一本基础性教材,涵盖批归一化的机制、动机及其在深度学习架构中的整合。

© 2026 ApX Machine Learning