ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

深度学习中的模型正则化与优化
章节 1: 泛化能力的挑战
模型泛化介绍
理解欠拟合与过拟合
深度学习中的偏差-方差权衡
诊断模型表现:学习曲线
验证与交叉验证策略
正则化与优化的作用
配置开发环境
动手:过拟合的可视化
第 1 章测验
章节 2: 权重正则化方法
权重正则化背后的理念
L2正则化(权重衰减):机制
L2 正则化:数学公式
L1 正则化:机制与稀疏性
L1 正则化:数学表述
L1和L2正则化的比较
弹性网络:L1与L2的结合
权重正则化的实现
动手实践:将L1/L2应用于网络
第 2 章测验
章节 3: 丢弃法正则化
Dropout介绍:避免协同适应
Dropout 在训练时的工作原理
在测试时调整激活值
反转Dropout实现
Dropout 比率作为超参数
卷积层和循环层的使用考量
在实践中应用Dropout
动手实践:添加 Dropout 层
第 3 章测验
章节 4: 训练稳定性归一化技术
内部协变量偏移问题
批归一化介绍
批量归一化:前向传播计算
批标准化:反向传播计算
批量归一化的好处
测试时的批量归一化
网络中的考量与放置
层归一化简介
实现批量归一化
动手实践:整合批标准化
第 4 章测验
章节 5: 基本优化算法
回顾梯度下降
标准梯度下降的难题
随机梯度下降(SGD)
小批量梯度下降
SGD的挑战:噪声与局部最小值
带动量的随机梯度下降:加速收敛
涅斯捷罗夫加速梯度 (NAG)
实现SGD和动量
实践:比较梯度下降、随机梯度下降和动量法
第 5 章测验
章节 6: 自适应优化算法
自适应学习率的必要性
AdaGrad:调整每个参数的学习率
AdaGrad 的局限性:学习率衰减
RMSprop:处理AdaGrad的局限性
Adam:自适应矩估计
Adam算法细致分析
Adamax 和 Nadam 变体(简要概述)
优化器选择指南
实现 Adam 和 RMSprop
动手实践:优化器比较实验
第 6 章测验
章节 7: 优化细节调整与超参数调整
参数初始化的重要性
常见的初始化策略(戈洛特,何凯明)
学习率调度的缘由
步进衰减策略
指数衰减及其他调度方法
预热策略
调整超参数:学习率、正则化强度、批大小
批处理大小与学习率的关系
超参数:网格搜索与随机搜索的比较
实施学习率调度
实践:模型超参数调整
第 7 章测验
章节 8: 技术组合与实际考量
正则化与优化之间的联动
典型的深度学习训练流程
训练监控:损失曲线与指标
提前停止作为正则化
结合 Dropout 与批归一化
数据增强作为隐式正则化
选择恰当的技术组合
调试与优化/正则化相关的训练问题
动手实践:构建与调整正则化/优化模型
第 8 章测验

动手实践:构建与调整正则化/优化模型

将各种正则化 (regularization)技术(L1/L2、Dropout、提前停止、数据增强)和优化方法(SGD变体、Adam、RMSprop、学习率调度)整合到典型的深度学习 (deep learning)流程中是主要内容。这种方法旨在构建和调整模型,观察这些方法如何共同作用以改善泛化能力。

我们的目标是在Fashion-MNIST数据集上训练一个用于图像分类的卷积神经网络 (neural network)(CNN)。我们将从一个基础模型开始,逐步添加组件,同时监控其对训练过程和验证表现的影响。

环境与数据集设置

首先,确保您已安装PyTorch和torchvision。我们将使用Fashion-MNIST,这是一个包含28x28灰度服装图像的数据集,分为10个类别。它是比MNIST数字稍复杂一些的标准基准数据集。

import torch
import torch.nn as nn
import torch.optim as optim
import torchvision
import torchvision.transforms as transforms
from torch.utils.data import DataLoader

# 设备配置
device = torch.device('cuda' if torch.cuda_is_available() else 'cpu')

# 超参数(初始)
num_epochs = 15
batch_size = 128
learning_rate = 0.001

# 数据加载和转换
transform = transforms.Compose([
    transforms.ToTensor(),
    transforms.Normalize((0.5,), (0.5,)) # 对灰度图像进行归一化
])

train_dataset = torchvision.datasets.FashionMNIST(root='./data', train=True,
                                                  download=True, transform=transform)
test_dataset = torchvision.datasets.FashionMNIST(root='./data', train=False,
                                                 download=True, transform=transform)

train_loader = DataLoader(train_dataset, batch_size=batch_size, shuffle=True)
test_loader = DataLoader(test_dataset, batch_size=batch_size, shuffle=False)

基线模型

让我们定义一个没有显式正则化 (regularization)的简单CNN架构,并使用标准优化方法。

# 简单的CNN架构
class SimpleCNN(nn.Module):
    def __init__(self):
        super(SimpleCNN, self).__init__()
        self.conv1 = nn.Conv2d(1, 16, kernel_size=3, stride=1, padding=1)
        self.relu1 = nn.ReLU()
        self.pool1 = nn.MaxPool2d(kernel_size=2, stride=2)
        self.conv2 = nn.Conv2d(16, 32, kernel_size=3, stride=1, padding=1)
        self.relu2 = nn.ReLU()
        self.pool2 = nn.MaxPool2d(kernel_size=2, stride=2)
        # 将输出展平以用于全连接层
        # 输入图像 28x28 -> pool1 -> 14x14 -> pool2 -> 7x7
        # 输出特征: 32 通道 * 7 * 7
        self.fc1 = nn.Linear(32 * 7 * 7, 128)
        self.relu3 = nn.ReLU()
        self.fc2 = nn.Linear(128, 10) # 10 个类别

    def forward(self, x):
        out = self.pool1(self.relu1(self.conv1(x)))
        out = self.pool2(self.relu2(self.conv2(out)))
        out = out.view(out.size(0), -1) # 展平
        out = self.relu3(self.fc1(out))
        out = self.fc2(out)
        return out

# 实例化基线模型、损失函数和优化器
model_base = SimpleCNN().to(device)
criterion = nn.CrossEntropyLoss()
optimizer_base = optim.Adam(model_base.parameters(), lr=learning_rate)

# --- 基线模型训练循环占位符 ---
# 通常您会在此处训练此模型,记录每个 epoch 的训练/验证损失和准确率。
# 为简洁起见,我们将模拟结果。
print("基线模型已定义。(训练模拟如下)")

训练基线模型后,我们可能会观察到如下所示的模拟学习曲线。通常,训练损失稳定下降,而验证损失在几个周期后开始增加,这表明模型过拟合 (overfitting)。

基线模型的模拟学习曲线。注意验证损失增加和验证准确率停滞不前,而训练损失/准确率持续改善,这是过拟合的典型表现。

整合正则化 (regularization)与优化技术

现在,让我们通过添加批量归一化 (normalization)、Dropout和L2正则化(权重 (weight)衰减)来改进我们的模型。我们仍将继续使用Adam优化器。

修改架构

我们需要在卷积层之后(通常在激活函数 (activation function)之前)添加nn.BatchNorm2d,并在全连接层中通常在激活函数之后添加nn.Dropout。

# 改进型CNN架构
class EnhancedCNN(nn.Module):
    def __init__(self, dropout_rate=0.5):
        super(EnhancedCNN, self).__init__()
        self.conv1 = nn.Conv2d(1, 16, kernel_size=3, stride=1, padding=1)
        self.bn1 = nn.BatchNorm2d(16) # 添加了BN
        self.relu1 = nn.ReLU()
        self.pool1 = nn.MaxPool2d(kernel_size=2, stride=2)

        self.conv2 = nn.Conv2d(16, 32, kernel_size=3, stride=1, padding=1)
        self.bn2 = nn.BatchNorm2d(32) # 添加了BN
        self.relu2 = nn.ReLU()
        self.pool2 = nn.MaxPool2d(kernel_size=2, stride=2)

        self.fc1 = nn.Linear(32 * 7 * 7, 128)
        self.relu3 = nn.ReLU()
        self.dropout = nn.Dropout(dropout_rate) # 添加了Dropout
        self.fc2 = nn.Linear(128, 10)

    def forward(self, x):
        # 卷积块 1
        out = self.conv1(x)
        out = self.bn1(out)
        out = self.relu1(out)
        out = self.pool1(out)

        # 卷积块 2
        out = self.conv2(out)
        out = self.bn2(out)
        out = self.relu2(out)
        out = self.pool2(out)

        # 展平与全连接层
        out = out.view(out.size(0), -1)
        out = self.fc1(out)
        out = self.relu3(out)
        out = self.dropout(out) # 在最后一层之前应用dropout
        out = self.fc2(out)
        return out

# 实例化改进模型和损失函数
model_enhanced = EnhancedCNN(dropout_rate=0.5).to(device)
criterion = nn.CrossEntropyLoss() # 相同的损失函数

# --- 优化器设置说明 ---
# L2正则化(权重衰减)直接在优化器中添加
l2_lambda = 0.0001 # L2强度示例
optimizer_enhanced = optim.Adam(model_enhanced.parameters(),
                                lr=learning_rate,
                                weight_decay=l2_lambda)

# --- 改进模型训练循环占位符 ---
# 与之前类似的训练循环,但使用model_enhanced和optimizer_enhanced。
# 请记住,由于BN和Dropout的存在,需要适当设置model.train()和model.eval()。
print(f"改进模型已定义,包含Dropout、BatchNorm和L2权重衰减 (lambda={l2_lambda})。")

变化:

  1. 批量归一化 (nn.BatchNorm2d):在每个卷积层之后、ReLU激活之前添加。这有助于训练稳定,可能允许使用更高的学习率,并提供轻微的正则化效果。
  2. Dropout (nn.Dropout):在第一个全连接层激活之后添加。这会在训练期间随机将一部分输入设置为零,防止模型过度依赖特定神经元,并促进特征冗余。
  3. L2正则化(权重衰减):通过weight_decay参数 (parameter)直接集成到optim.Adam优化器中。这会对大权重进行惩罚,促使模型更简单。
  4. 优化器:我们继续使用Adam,它通常开箱即用表现良好,特别是与批量归一化结合时。

训练考量

在训练带有Dropout和批量归一化的模型时,管理模型的状态很重要:

  • 在每个周期的训练循环之前使用model.train()。这会启用Dropout并确保BN使用批次统计数据。
  • 在验证/测试循环之前使用model.eval()。这会禁用Dropout并确保BN使用训练期间累积的均值和方差的运行估计值。

比较表现

训练改进模型后,我们将其学习曲线与基线模型进行比较。

学习曲线的模拟对比。改进模型显示出较慢的初始训练收敛速度(由于正则化 (regularization)),但取得了更低的验证损失和更高的验证准确率,训练与验证指标之间的差距也更小,这表明泛化能力更好。

观察:

  • 正则化效果:改进模型的训练损失可能比基线模型下降得慢,其最终训练损失/准确率可能略差。这是预料之中的;正则化限制了模型完美拟合训练数据的能力。
  • 泛化能力提升:与基线模型相比,改进模型的验证损失应更低,验证准确率更高。训练和验证曲线之间的差距也应更小,这表明过拟合 (overfitting)现象减少。
  • 稳定性:批量归一化 (normalization)通常能使训练曲线更平滑,对初始化也不那么敏感。

进一步调整与实验

本次实践环节展示了常用技术的整合。然而,找到最佳组合通常需要反复实验:

  • 超参数 (parameter) (hyperparameter)调整:调整dropout_rate、weight_decay(L2 lambda)和learning_rate。使用随机搜索或更高级的贝叶斯优化等方法。
  • 学习率调度:实现学习率调度(例如,torch.optim.lr_scheduler.StepLR或CosineAnnealingLR),以可能进一步改善收敛。
  • 提前停止:监控验证损失,当其在一定数量的周期(耐心期)内不再改善时停止训练,以防止过拟合 (overfitting)并节省计算资源。
  • 数据增强:为训练集的transforms.Compose管道添加数据增强(例如,随机水平翻转、小幅度旋转)。这作为另一种强大的正则化 (regularization)形式。

结合学习率调度器并提供提前停止逻辑的示例:

# ... (改进模型和数据集设置同上) ...

optimizer_enhanced = optim.Adam(model_enhanced.parameters(), lr=learning_rate, weight_decay=l2_lambda)

# 添加学习率调度器
scheduler = optim.lr_scheduler.StepLR(optimizer_enhanced, step_size=5, gamma=0.1) # 每5个周期降低学习率

# --- 包含调度器和提前停止逻辑的训练循环占位符 ---
# 在您的周期循环中:
#   model_enhanced.train()
#   ... (前向传播、损失计算、反向传播) ...
#   optimizer_enhanced.step()
#   scheduler.step() # 更新学习率
#
#   model_enhanced.eval()
#   ... (验证循环) ...
#   检查验证损失以判断提前停止条件
# ---

print("训练设置包括Adam、L2、Dropout、BN、学习率调度器。")

结论

这次动手练习展示了如何将Dropout、批量归一化 (normalization)和权重 (weight)衰减等正则化 (regularization)技术与Adam等适当的优化策略结合起来,从而获得比简单基线模型泛化能力更好的模型。通过系统地添加这些组件并使用验证指标和学习曲线监控其效果,您可以有效对抗过拟合 (overfitting),并构建更可靠的深度学习 (deep learning)系统。请记住,这些技术的特定组合和调整在很大程度上取决于数据集、模型架构和具体的任务。实验是该过程的常规部分。

© 2026 ApX Machine Learning