ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

深度学习中的模型正则化与优化
章节 1: 泛化能力的挑战
模型泛化介绍
理解欠拟合与过拟合
深度学习中的偏差-方差权衡
诊断模型表现:学习曲线
验证与交叉验证策略
正则化与优化的作用
配置开发环境
动手:过拟合的可视化
第 1 章测验
章节 2: 权重正则化方法
权重正则化背后的理念
L2正则化(权重衰减):机制
L2 正则化:数学公式
L1 正则化:机制与稀疏性
L1 正则化:数学表述
L1和L2正则化的比较
弹性网络:L1与L2的结合
权重正则化的实现
动手实践:将L1/L2应用于网络
第 2 章测验
章节 3: 丢弃法正则化
Dropout介绍:避免协同适应
Dropout 在训练时的工作原理
在测试时调整激活值
反转Dropout实现
Dropout 比率作为超参数
卷积层和循环层的使用考量
在实践中应用Dropout
动手实践:添加 Dropout 层
第 3 章测验
章节 4: 训练稳定性归一化技术
内部协变量偏移问题
批归一化介绍
批量归一化:前向传播计算
批标准化:反向传播计算
批量归一化的好处
测试时的批量归一化
网络中的考量与放置
层归一化简介
实现批量归一化
动手实践:整合批标准化
第 4 章测验
章节 5: 基本优化算法
回顾梯度下降
标准梯度下降的难题
随机梯度下降(SGD)
小批量梯度下降
SGD的挑战:噪声与局部最小值
带动量的随机梯度下降:加速收敛
涅斯捷罗夫加速梯度 (NAG)
实现SGD和动量
实践:比较梯度下降、随机梯度下降和动量法
第 5 章测验
章节 6: 自适应优化算法
自适应学习率的必要性
AdaGrad:调整每个参数的学习率
AdaGrad 的局限性:学习率衰减
RMSprop:处理AdaGrad的局限性
Adam:自适应矩估计
Adam算法细致分析
Adamax 和 Nadam 变体(简要概述)
优化器选择指南
实现 Adam 和 RMSprop
动手实践:优化器比较实验
第 6 章测验
章节 7: 优化细节调整与超参数调整
参数初始化的重要性
常见的初始化策略(戈洛特,何凯明)
学习率调度的缘由
步进衰减策略
指数衰减及其他调度方法
预热策略
调整超参数:学习率、正则化强度、批大小
批处理大小与学习率的关系
超参数:网格搜索与随机搜索的比较
实施学习率调度
实践:模型超参数调整
第 7 章测验
章节 8: 技术组合与实际考量
正则化与优化之间的联动
典型的深度学习训练流程
训练监控:损失曲线与指标
提前停止作为正则化
结合 Dropout 与批归一化
数据增强作为隐式正则化
选择恰当的技术组合
调试与优化/正则化相关的训练问题
动手实践:构建与调整正则化/优化模型
第 8 章测验

步进衰减策略

最直接且常用的训练中调整学习率的方法之一是步进衰减策略。其核心思路是,从较高的学习率开始,然后以预设的时间间隔(例如,周期或步数)将其按特定因子减少。这种做法使得模型在训练初期,当参数 (parameter)可能离最优值较远时,可以取得较大进展;而在接近最小值时,则采取更小、更谨慎的步长,这有助于稳定收敛并精调权重 (weight)。

设想您在广阔的开阔地带开始搜寻。起初,您可以迈开大步快速覆盖区域。当您接近目标所在的位置时,您会缩短步长,在该局部区域更仔细地搜寻。步进衰减模仿了这种直觉。

步进衰减的工作方式

此策略基于几个参数 (parameter)运行:

  1. 初始学习率 (α0\alpha_0α0​): 训练开始时使用的学习率。
  2. 衰减因子 (γ\gammaγ): 一个(通常小于1,例如0.1、0.5)用于乘以学习率的因子。
  3. 步长 (SSS): 达到该周期数(或有时是迭代/步数)后学习率会降低。

在训练过程中调整学习率的一种直接且常用的方法是步长衰减 (Step Decay) 策略。其主要思想是初始时使用相对较高的学习率,然后在预设的间隔(如周期或步数)后将其按一定因子减小。这种方法使得模型在训练早期能够取得显著进展,此时参数可能远离最优值;随后,当模型接近最小值时,它会采取更小的、更精细的步长,这有助于稳定收敛并对权重 (weight)进行微调 (fine-tuning)。

αt=α0×γk=α0×γ⌊t/S⌋\alpha_t = \alpha_0 \times \gamma^k = \alpha_0 \times \gamma^{\lfloor t / S \rfloor}αt​=α0​×γk=α0​×γ⌊t/S⌋

例如,如果 α0=0.01\alpha_0 = 0.01α0​=0.01、γ=0.1\gamma = 0.1γ=0.1、S=10S = 10S=10 个周期:

  • 周期 0-9: α=0.01\alpha = 0.01α=0.01
  • 周期 10-19: α=0.01×0.1=0.001\alpha = 0.01 \times 0.1 = 0.001α=0.01×0.1=0.001
  • 周期 20-29: α=0.001×0.1=0.0001\alpha = 0.001 \times 0.1 = 0.0001α=0.001×0.1=0.0001
  • 依此类推...

学习率在步与步之间保持不变,当达到周期阈值时会即刻下降。

步进衰减的可视化

以下图表显示了一个典型的步进衰减策略,共50个周期,初始学习率为0.01,衰减因子为0.5,步长为15个周期。

显示步进衰减的学习率策略,其中 α0=0.01\alpha_0 = 0.01α0​=0.01、γ=0.5\gamma = 0.5γ=0.5、S=15S = 15S=15。学习率每15个周期减半。请注意y轴是对数刻度。

步进衰减的调整

步进衰减的效果取决于为 α0\alpha_0α0​、γ\gammaγ 和 SSS 选择合适的值。这些超参数 (parameter) (hyperparameter)通常需要调整:

  • 初始学习率 (α0\alpha_0α0​): 通常通过实验确定,根据优化器和问题,常从0.1、0.01或0.001等值开始。
  • 衰减因子 (γ\gammaγ): 常见值为0.1(大幅下降)或0.5(温和下降)。选择取决于您希望多快地降低学习率。
  • 步长 (SSS): 这需要监测训练和验证损失。常见做法是观察验证损失何时趋于平稳,然后将步长设定为在该点附近触发衰减。您可能在训练期间多次衰减学习率。

步进衰减虽然简单,但需要细致地手动调整策略(何时以及降低多少)。如果下降发生过早或过晚,或者因子过大或过小,都可能阻碍收敛。

实现示例 (PyTorch)

大多数深度学习 (deep learning)框架都提供了实现步进衰减的便捷方法。在PyTorch中,您可以使用 torch.optim.lr_scheduler.StepLR:

import torch
import torch.optim as optim
from torch.optim.lr_scheduler import StepLR
from torch.nn import Linear # 示例层

# 假设 'model' 是您定义的神经网络
model = Linear(10, 2) # 一个简单的模型部分示例

# 选择一个优化器(例如,Adam 或 SGD)
optimizer = optim.Adam(model.parameters(), lr=0.01) # 初始学习率 = 0.01

# 定义 StepLR 调度器
# 每10个周期将学习率降低0.1倍
scheduler = StepLR(optimizer, step_size=10, gamma=0.1)

# --- 在您的训练循环内部 ---
num_epochs = 30
for epoch in range(num_epochs):
    # model.train()
    # ... 训练前向传播,计算损失,反向传播 ...

    optimizer.step() # 根据当前学习率更新权重

    # 更新学习率
    scheduler.step() 

    # 可选:打印当前学习率
    # current_lr = scheduler.get_last_lr()[0] 
    # print(f"周期 {epoch+1}, 学习率: {current_lr}")

    # ... 验证循环 ...

# 示例输出 (学习率变化):
# 周期 1, 学习率: 0.01
# ...
# 周期 10, 学习率: 0.01 (学习率在第10个周期步长*之后*下降)
# 周期 11, 学习率: 0.001 
# ...
# 周期 20, 学习率: 0.001 (学习率在第20个周期步长*之后*下降)
# 周期 21, 学习率: 0.0001
# ...

在这个PyTorch示例中,StepLR 接收优化器、step_size(以周期为单位)和 gamma 因子作为参数 (parameter)。scheduler.step() 调用通常在每个周期执行一次,在 optimizer.step() 之后,以便根据策略更新下一个周期的学习率。

步进衰减提供了一种简单、易于理解的学习率调整方式。尽管存在更复杂的策略,但其有效性和易于实现使其成为深度学习实践者工具集中的一种有价值的工具。

  • Deep Learning, Ian Goodfellow, Yoshua Bengio, and Aaron Courville, 2016 (MIT Press) - 这本教材对深度学习优化(包括各种学习率调度策略)提供了全面的理论阐述。
  • torch.optim.lr_scheduler.StepLR, PyTorch, 2024 PyTorch Documentation (PyTorch Foundation) - PyTorch中步长衰减学习率调度器的官方文档,对实际应用至关重要。
  • Dive into Deep Learning, Aston Zhang, Zachary C. Lipton, Mu Li, and Alex Smola, 2024 D2L.ai (Cambridge University Press) - 一本权威的开源书籍,提供了学习率调度(包括步长衰减)的实际示例和清晰解释。
  • Optimization: Stochastic Gradient Descent (SGD), Stanford CS231n Course Staff, 2023 Stanford CS231n: Convolutional Neural Networks for Visual Recognition (Stanford University) - 讲义提供了深度学习中优化技术的易懂解释,涵盖了各种学习率调度及其实际考量。

© 2026 ApX Machine Learning