ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

深度学习中的模型正则化与优化
章节 1: 泛化能力的挑战
模型泛化介绍
理解欠拟合与过拟合
深度学习中的偏差-方差权衡
诊断模型表现:学习曲线
验证与交叉验证策略
正则化与优化的作用
配置开发环境
动手:过拟合的可视化
第 1 章测验
章节 2: 权重正则化方法
权重正则化背后的理念
L2正则化(权重衰减):机制
L2 正则化:数学公式
L1 正则化:机制与稀疏性
L1 正则化:数学表述
L1和L2正则化的比较
弹性网络:L1与L2的结合
权重正则化的实现
动手实践:将L1/L2应用于网络
第 2 章测验
章节 3: 丢弃法正则化
Dropout介绍:避免协同适应
Dropout 在训练时的工作原理
在测试时调整激活值
反转Dropout实现
Dropout 比率作为超参数
卷积层和循环层的使用考量
在实践中应用Dropout
动手实践:添加 Dropout 层
第 3 章测验
章节 4: 训练稳定性归一化技术
内部协变量偏移问题
批归一化介绍
批量归一化:前向传播计算
批标准化:反向传播计算
批量归一化的好处
测试时的批量归一化
网络中的考量与放置
层归一化简介
实现批量归一化
动手实践:整合批标准化
第 4 章测验
章节 5: 基本优化算法
回顾梯度下降
标准梯度下降的难题
随机梯度下降(SGD)
小批量梯度下降
SGD的挑战:噪声与局部最小值
带动量的随机梯度下降:加速收敛
涅斯捷罗夫加速梯度 (NAG)
实现SGD和动量
实践:比较梯度下降、随机梯度下降和动量法
第 5 章测验
章节 6: 自适应优化算法
自适应学习率的必要性
AdaGrad:调整每个参数的学习率
AdaGrad 的局限性:学习率衰减
RMSprop:处理AdaGrad的局限性
Adam:自适应矩估计
Adam算法细致分析
Adamax 和 Nadam 变体(简要概述)
优化器选择指南
实现 Adam 和 RMSprop
动手实践:优化器比较实验
第 6 章测验
章节 7: 优化细节调整与超参数调整
参数初始化的重要性
常见的初始化策略(戈洛特,何凯明)
学习率调度的缘由
步进衰减策略
指数衰减及其他调度方法
预热策略
调整超参数:学习率、正则化强度、批大小
批处理大小与学习率的关系
超参数:网格搜索与随机搜索的比较
实施学习率调度
实践:模型超参数调整
第 7 章测验
章节 8: 技术组合与实际考量
正则化与优化之间的联动
典型的深度学习训练流程
训练监控:损失曲线与指标
提前停止作为正则化
结合 Dropout 与批归一化
数据增强作为隐式正则化
选择恰当的技术组合
调试与优化/正则化相关的训练问题
动手实践:构建与调整正则化/优化模型
第 8 章测验

弹性网络:L1与L2的结合

L1正则化 (regularization)通过将某些权重 (weight)精确地推向零来促使稀疏性,从而有效地进行特征选择。L2正则化,通常被称为权重衰减,它总体上偏好较小的权重,并倾向于将相关特征组一起收缩,而无需将它们设为零。

如果你想兼得这些效果怎么办?也许你怀疑许多特征是无关紧要的(这提示使用L1),但你也认为可能存在重要的相关特征组,并且你不希望L1随意地从组中只挑选一个(这是L2表现出色的情况)。这正是弹性网络正则化发挥作用的地方。

弹性网络线性结合了L1和L2惩罚项。不仅仅是在原始损失函数 (loss function) Lorig(w)L_{orig}(w)Lorig​(w) 中添加一种惩罚项,而是添加两种:

Lelastic(w)=Lorig(w)+λ1∣∣w∣∣1+λ2∣∣w∣∣22L_{elastic}(w) = L_{orig}(w) + \lambda_1 ||w||_1 + \lambda_2 ||w||_2^2Lelastic​(w)=Lorig​(w)+λ1​∣∣w∣∣1​+λ2​∣∣w∣∣22​

在此,∣∣w∣∣1||w||_1∣∣w∣∣1​ 是L1范数(权重绝对值之和),∣∣w∣∣22||w||_2^2∣∣w∣∣22​ 是L2范数的平方(权重平方和)。超参数 (parameter) (hyperparameter) λ1≥0\lambda_1 \ge 0λ1​≥0 和 λ2≥0\lambda_2 \ge 0λ2​≥0 分别控制L1和L2惩罚项的强度。

通常,你会在库中看到这种公式有不同的参数化方式,这样可以更容易地调整整体强度与混合比例:

Lelastic(w)=Lorig(w)+α(ρ∣∣w∣∣1+1−ρ2∣∣w∣∣22)L_{elastic}(w) = L_{orig}(w) + \alpha \left( \rho ||w||_1 + \frac{1 - \rho}{2} ||w||_2^2 \right)Lelastic​(w)=Lorig​(w)+α(ρ∣∣w∣∣1​+21−ρ​∣∣w∣∣22​)

在这种常见的参数化方式中:

  • α\alphaα(alpha)是一个非负超参数,用于控制正则化的整体强度。如果 α=0\alpha = 0α=0,则没有正则化。较大的 α\alphaα 会增加惩罚。
  • ρ\rhoρ(rho,在库中常被称为 l1_ratio)是一个介于0和1之间的超参数,用于控制L1和L2之间的混合。
    • 如果 ρ=1\rho = 1ρ=1,弹性网络就变为纯粹的L1正则化。
    • 如果 ρ=0\rho = 0ρ=0,弹性网络就变为纯粹的L2正则化(按 α/2\alpha/2α/2 缩放)。
    • 如果 0<ρ<10 < \rho < 10<ρ<1,则是两者的混合。

这种组合的益处

弹性网络旨在同时获得两者的优点:

  1. 稀疏性: 像L1一样,它可以通过将一些权重 (weight)设为零来进行特征选择,在处理许多特征可能无关紧要的高维数据时尤其有用。
  2. 处理相关特征: 像L2一样,它倾向于同时选择相关特征组。如果特征A和B高度相关且有用,L1可能会随意地将其中一个设为零,而弹性网络(当 ρ<1\rho < 1ρ<1 时)更可能以类似方式收缩它们的权重,从而可能使两者都保持非零。
  3. 稳定性: 它通常比L1正则化 (regularization)表现出更高的稳定性,特别是在特征数量 (ppp) 远大于训练样本数量 (nnn) 时,或者当特征高度相关时。

可视化约束

我们可以将正则化 (regularization)看作是对可能权重 (weight)值的限制。L1正则化对应一个菱形约束区域(在二维空间中),而L2对应一个圆形区域。弹性网络创建的约束区域结合了这两种形状,具有圆角,但与纯L2相比,仍然偏向于沿坐标轴的解。

L1、L2和弹性网络正则化在二维空间中约束区域的比较。弹性网络将L1的锐角(促使稀疏性)与L2的圆润度结合起来。

弹性网络的调整

使用弹性网络会引入两个需要调整的超参数 (parameter) (hyperparameter):整体强度 α\alphaα 和混合比例 ρ\rhoρ(l1_ratio)。找到最佳组合通常需要使用网格搜索或随机搜索等方法,在两个参数的可能值范围内进行,并使用验证集来评估性能。一种常见的方法是尝试 ρ\rhoρ 的几个离散值(例如0.1、0.5、0.9、1.0),并为每个 ρ\rhoρ 寻找最佳的 α\alphaα。

实现方面的考虑

尽管L2正则化 (regularization)(权重 (weight)衰减)通常直接内置于Adam或SGD等优化器中,但在深度学习 (deep learning)中实现L1或弹性网络惩罚项可能需要根据框架的不同而稍加注意。

  • 层特定正则化器: 某些框架(如Keras/TensorFlow)允许你在定义层时直接指定 kernel_regularizer、bias_regularizer 等。你通常可以在这里传递L1、L2或弹性网络正则化器。
  • 手动添加到损失: 一种更通用的方法,适用于PyTorch等框架,是在训练循环中手动计算相关模型参数 (parameter)的L1和L2惩罚项,并在反向传播 (backpropagation)之前将它们添加到主要的计算损失中。

以下是手动添加惩罚项的PyTorch示例:

import torch
import torch.nn as nn

# 假设 'model' 是你的神经网络
# 假设 'loss' 是从你的准则(例如,交叉熵损失)计算出的损失

alpha = 0.001 # 正则化强度
l1_ratio = 0.5 # 混合参数 (rho)

l1_lambda = alpha * l1_ratio
l2_lambda = alpha * (1 - l1_ratio)

l1_penalty = 0.0
l2_penalty = 0.0

# 遍历模型参数(权重)
for param in model.parameters():
    if param.requires_grad and param.dim() > 1: # 通常只应用于权重矩阵
        l1_penalty += torch.linalg.norm(param, ord=1)
        l2_penalty += torch.linalg.norm(param, ord=2)**2 # L2 范数平方

# 将原始损失与惩罚项结合
total_loss = loss + l1_lambda * l1_penalty + (l2_lambda / 2) * l2_penalty
# (L2惩罚项中的1/2因子在第二种公式中很常见)

# 现在进行反向传播
# total_loss.backward()
# optimizer.step()

注意:这只是一个示例。高效的实现通常会与框架的梯度计算或优化器步骤挂钩。请查阅你的框架文档,了解应用L1/L2组合惩罚项的推荐方法。

当你认为稀疏性和处理相关预测器都是可取的时,弹性网络提供了一种灵活的正则化选项。它需要调整一个额外的超参数 (hyperparameter),但在某些情况下,它可以使模型比仅使用L1或L2正则化训练的模型具有更好的泛化能力。

  • Regularization and Variable Selection via the Elastic Net, Hui Zou and Trevor Hastie, 2005 Journal of the Royal Statistical Society Series B (Statistical Methodology), Vol. 67 (Wiley) DOI: 10.1111/j.1467-9868.2005.00503.x - 引入Elastic Net正则化方法的原始论文,详细阐述了其公式以及在处理相关特征方面优于Lasso的优势。
  • The Elements of Statistical Learning: Data Mining, Inference, and Prediction, Trevor Hastie, Robert Tibshirani, and Jerome Friedman, 2009 (Springer) - 一本权威教材,对正则化技术(包括Lasso、Ridge和Elastic Net)进行了详细的统计和理论阐述。
  • Deep Learning, Ian Goodfellow, Yoshua Bengio, and Aaron Courville, 2016 (MIT Press) - 一本深度学习基础教材,涵盖了通用正则化策略(包括L1和L2),并讨论了它们在神经网络中的相关性。
  • tf.keras.regularizers.L1L2, TensorFlow Developers, 2024 (Google) - Keras内置Elastic Net正则化器的官方文档,展示了其在深度学习模型中的实际应用。

© 2026 ApX Machine Learning