ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

深度学习中的模型正则化与优化
章节 1: 泛化能力的挑战
模型泛化介绍
理解欠拟合与过拟合
深度学习中的偏差-方差权衡
诊断模型表现:学习曲线
验证与交叉验证策略
正则化与优化的作用
配置开发环境
动手:过拟合的可视化
第 1 章测验
章节 2: 权重正则化方法
权重正则化背后的理念
L2正则化(权重衰减):机制
L2 正则化:数学公式
L1 正则化:机制与稀疏性
L1 正则化:数学表述
L1和L2正则化的比较
弹性网络:L1与L2的结合
权重正则化的实现
动手实践:将L1/L2应用于网络
第 2 章测验
章节 3: 丢弃法正则化
Dropout介绍:避免协同适应
Dropout 在训练时的工作原理
在测试时调整激活值
反转Dropout实现
Dropout 比率作为超参数
卷积层和循环层的使用考量
在实践中应用Dropout
动手实践:添加 Dropout 层
第 3 章测验
章节 4: 训练稳定性归一化技术
内部协变量偏移问题
批归一化介绍
批量归一化:前向传播计算
批标准化:反向传播计算
批量归一化的好处
测试时的批量归一化
网络中的考量与放置
层归一化简介
实现批量归一化
动手实践:整合批标准化
第 4 章测验
章节 5: 基本优化算法
回顾梯度下降
标准梯度下降的难题
随机梯度下降(SGD)
小批量梯度下降
SGD的挑战:噪声与局部最小值
带动量的随机梯度下降:加速收敛
涅斯捷罗夫加速梯度 (NAG)
实现SGD和动量
实践:比较梯度下降、随机梯度下降和动量法
第 5 章测验
章节 6: 自适应优化算法
自适应学习率的必要性
AdaGrad:调整每个参数的学习率
AdaGrad 的局限性:学习率衰减
RMSprop:处理AdaGrad的局限性
Adam:自适应矩估计
Adam算法细致分析
Adamax 和 Nadam 变体(简要概述)
优化器选择指南
实现 Adam 和 RMSprop
动手实践:优化器比较实验
第 6 章测验
章节 7: 优化细节调整与超参数调整
参数初始化的重要性
常见的初始化策略(戈洛特,何凯明)
学习率调度的缘由
步进衰减策略
指数衰减及其他调度方法
预热策略
调整超参数:学习率、正则化强度、批大小
批处理大小与学习率的关系
超参数:网格搜索与随机搜索的比较
实施学习率调度
实践:模型超参数调整
第 7 章测验
章节 8: 技术组合与实际考量
正则化与优化之间的联动
典型的深度学习训练流程
训练监控:损失曲线与指标
提前停止作为正则化
结合 Dropout 与批归一化
数据增强作为隐式正则化
选择恰当的技术组合
调试与优化/正则化相关的训练问题
动手实践:构建与调整正则化/优化模型
第 8 章测验

L1 正则化:数学表述

L1正则化 (regularization)通过添加一个惩罚项来修改标准损失函数 (loss function),该惩罚项与网络中所有权重 (weight)的绝对值之和成比例。

回想一下,在训练过程中,我们的目标通常是最小化一个数据损失函数,我们称之为 Ldata(W)L_{data}(W)Ldata​(W),它衡量在给定当前权重 WWW 的情况下,模型的预测与实际目标值匹配的程度。使用L1正则化时,我们在这个目标函数中添加一个新项:

Ltotal(W)=Ldata(W)+λ∑i∣wi∣L_{total}(W) = L_{data}(W) + \lambda \sum_{i} |w_i|Ltotal​(W)=Ldata​(W)+λi∑​∣wi​∣

让我们分析这个新项:

  • wiw_iwi​: 表示网络中(所有层上的)单个权重。
  • ∑i∣wi∣\sum_{i} |w_i|∑i​∣wi​∣: 这是所有权重的绝对值之和。它也被称为权重向量 (vector)的 L1L_1L1​ 范数,通常写为 ∣∣W∣∣1||W||_1∣∣W∣∣1​。
  • λ\lambdaλ: 这是正则化强度超参数 (parameter) (hyperparameter),其作用与L2正则化中使用的 λ\lambdaλ 相同。它是一个非负值(通常很小),用于控制L1惩罚项的影响。更高的 λ\lambdaλ 会施加更强的惩罚,促使模型更稀疏。如果 λ=0\lambda = 0λ=0,则恢复原始的未正则化损失函数。

与L2正则化相比,主要区别在于使用了绝对值 ∣wi∣|w_i|∣wi​∣ 而不是平方值 wi2w_i^2wi2​。这种看似微小的变化对优化过程有显著影响。

对梯度下降 (gradient descent)的影响

在反向传播 (backpropagation)过程中,我们需要计算总损失 LtotalL_{total}Ltotal​ 相对于每个权重 (weight) wjw_jwj​ 的梯度以更新它。L1惩罚项相对于特定权重 wjw_jwj​ 的梯度为:

∂∂wj(λ∑i∣wi∣)=λ⋅∂∣wj∣∂wj\frac{\partial}{\partial w_j} \left( \lambda \sum_{i} |w_i| \right) = \lambda \cdot \frac{\partial |w_j|}{\partial w_j}∂wj​∂​(λi∑​∣wi​∣)=λ⋅∂wj​∂∣wj​∣​

绝对值函数 ∣x∣|x|∣x∣ 的导数是 sign(x)\text{sign}(x)sign(x),即:

  • +1+1+1 如果 x>0x > 0x>0
  • −1-1−1 如果 x<0x < 0x<0
  • 在 x=0x = 0x=0 处未定义

因此,总损失的梯度变为:

∂Ltotal∂wj=∂Ldata∂wj+λ⋅sign(wj)对于 wj≠0\frac{\partial L_{total}}{\partial w_j} = \frac{\partial L_{data}}{\partial w_j} + \lambda \cdot \text{sign}(w_j) \quad \text{对于 } w_j \neq 0∂wj​∂Ltotal​​=∂wj​∂Ldata​​+λ⋅sign(wj​)对于 wj​=0

这意味着L1惩罚项会向数据损失的梯度添加一个常数值(λ\lambdaλ 或 −λ-\lambda−λ),将权重推向零,无论权重的当前大小如何(只要它不为零)。这种恒定的推动力就是促使权重变为精确零的原因。将其与L2正则化 (regularization)进行比较,L2正则化中惩罚项对梯度的贡献(λ⋅2wj\lambda \cdot 2w_jλ⋅2wj​)随着权重变小而减小,使其不太可能精确地达到零。

零点不可微的处理

当 wj=0w_j = 0wj​=0 时会发生什么?绝对值函数在这一点上不可微。在实践中,优化算法通过使用与次梯度下降 (gradient descent)或近端梯度方法相关的技术来处理这种情况。∣wj∣|w_j|∣wj​∣ 在 wj=0w_j=0wj​=0 处的次梯度是区间 [−1,1][-1, 1][−1,1]。一种常见的实际方法是,如果权重 (weight)已经为零,则将L1项的梯度贡献简单地设置为零,或者在更新步骤中应用“软阈值”操作,这种操作会检查更新是否会越过零点,如果会,则将权重设置为零。大多数深度学习 (deep learning)框架的优化器在内部处理这个细节。

核心要点是,L1惩罚项为非零权重提供了一个恒定的“推力”使其趋近于零,这使得它在生成许多权重变为精确零的稀疏模型方面非常有效。

L1惩罚项呈“V”字形,对非零权重施加恒定的梯度大小(斜率),无论其大小如何。L2惩罚项呈抛物线形,梯度随着权重接近零而减小。

这种数学结构直接导致了前面讨论的稀疏性诱导特性。在接下来的部分中,我们将更直接地比较L1和L2,并查看如何在代码中实现它们。

  • Deep Learning, Ian Goodfellow, Yoshua Bengio, and Aaron Courville, 2016 (MIT Press) - 全面介绍了深度学习中的正则化技术,涵盖了L1正则化的数学公式、对模型权重的影响以及稀疏性。
  • The Elements of Statistical Learning: Data Mining, Inference, and Prediction, Trevor Hastie, Robert Tibshirani, and Jerome Friedman, 2009 (Springer) - 提供了L1正则化(Lasso)的深入统计解释,详细阐述了其特性、稀疏性机制以及与L2正则化的比较。
  • L2 Regularization, Dropout, L1 Regularization, Stanford University CS231n course staff, 2023 (Stanford University) - 这些讲义清晰直观地解释了L1正则化、其数学公式、梯度影响以及在实际深度学习中如何处理零点不可微问题。

© 2026 ApX Machine Learning