批标准化

批标准化（BatchNorm或BN）是一种强大的技术，旨在改进深度神经网络 (neural network)的训练。它解决了一个可能阻碍深度网络训练的常见问题：随着训练的进行，中间层激活值分布的变化。通过稳定这些分布，BatchNorm通常能带来更快的收敛，允许使用更高的学习率，甚至能提供有益的正则化 (regularization)作用。

稳定激活值分布

设想训练一个深度网络。随着早期层中的权重 (weight)通过梯度下降 (gradient descent)进行更新，这些层的输出（它们成为后续层的输入）会发生变化。这些输入的分布（均值和方差）在训练期间会显著偏移。这种现象被原始BatchNorm论文的作者称为内部协变量偏移。他们认为，迫使后续层持续适应这些变化的分布会减慢训练速度，很像试图击中一个移动的目标。

尽管内部协变量偏移是BatchNorm有效性的唯一原因尚有争议，但其实际好处显而易见。BatchNorm似乎能使优化过程更平稳，防止梯度变得过大或过小，并降低对细致权重初始化的依赖。

批标准化如何运作

BatchNorm在激活函数 (activation function)作用之前对前一层的输出进行标准化。重要的是，这种标准化是在训练期间按小批量进行的。对于给定层和一小批数据，BatchNorm执行以下步骤：

1. 计算小批量均值： 计算小批量中每个特征/通道的激活值均值。设小批量为 $B = \{x_1, ..., x_m\}$，其中 $x_i$ 是批次中第 $i$ 个样本的特定神经元的激活值。均值 $\mu_B$ 为：

   $$\mu_B = \frac{1}{m} \sum_{i=1}^{m} x_i$$

2. 计算小批量方差： 计算小批量中每个特征/通道的激活值方差。方差 $\sigma_B^2$ 为：

   $$\sigma_B^2 = \frac{1}{m} \sum_{i=1}^{m} (x_i - \mu_B)^2$$

3. 标准化： 使用小批量均值和方差标准化每个激活值 $x_i$。为了数值稳定性（避免除以零），方差中添加了一个小常数 $\epsilon$ (epsilon)。

   $$\hat{x}_i = \frac{x_i - \mu_B}{\sqrt{\sigma_B^2 + \epsilon}}$$

   经过此步骤后，小批量内的激活值 $\hat{x}_i$ 在每个特征维度上将近似具有零均值和单位方差。

4. 缩放与偏移： 仅仅标准化可能会限制层的表示能力。例如，如果后面跟着Sigmoid激活函数，强制其输入具有零均值和单位方差会将其限制在其线性区域。为克服这一点，BatchNorm为每个特征/通道引入了两个可学习参数 (parameter)：一个缩放参数 $\gamma$ (gamma) 和一个偏移参数 $\beta$ (beta)。这些参数使得网络能够为标准化后的激活值学习出最佳的缩放和偏移量：

   $$y_i = \gamma \hat{x}_i + \beta$$

   网络在反向传播 (backpropagation)过程中学习 $\gamma$ 和 $\beta$，就像学习网络权重 (weight)一样。如果最佳变换是恒等变换，网络可以学习 $\gamma = \sqrt{\sigma_B^2 + \epsilon}$ 和 $\beta = \mu_B$。通常，它会学习有助于优化过程的值。

Batch Normalization层在训练期间对单个特征维度小批量数据的操作流程。计算均值 ($\mu_B$) 和方差 ($\sigma_B^2$)，激活值 ($x$) 被标准化 ($\hat{x}$)，最后进行缩放 ($\gamma$) 和偏移 ($\beta$) 以生成输出 ($y$)。

推断阶段的批标准化

在推断阶段（训练后对新数据进行预测时），我们可能逐个处理样本，或者批次大小可能不同。我们不能依赖于对可能不存在或大小不同的批次计算统计量。相反，我们使用固定的总体统计量。

在训练期间，框架通常会跟踪所有小批量中遇到的均值和方差的运行估计（移动平均值）。设这些值为 $\mu_{population}$ 和 $\sigma_{population}^2$。在推断时，这些固定值用于标准化：

$$\hat{x} = \frac{x - \mu_{population}}{\sqrt{\sigma_{population}^2 + \epsilon}}$$

可学习参数 (parameter) $\gamma$ 和 $\beta$ 会按照训练期间确定的值使用：

$$y = \gamma \hat{x} + \beta$$

这确保了推断时的输出是确定性的。

优势回顾

为何要这样做？BatchNorm通常会带来显著的优势：

1. 更快的训练： 通过稳定激活值并平滑优化过程，BatchNorm通常允许使用更高的学习率，从而实现更快的收敛。
2. 对初始化的敏感度降低： 标准化使网络对初始权重 (weight)选择的敏感度较低。较差的初始化在训练初期不太可能导致梯度消失或梯度爆炸。
3. 具备正则化 (regularization)作用： 使用小批量统计量在训练期间为网络引入少量噪声。对于给定的输入样本，其标准化值取决于为其小批量随机选择的其他样本。这种噪声的作用类似于Dropout，促使网络学习更多特征并减少过拟合 (overfitting)。在某些情况下，使用BatchNorm可以减少对Dropout的需求，尽管它们也可以一起使用。

实践中使用批标准化

BatchNorm层通常插入在线性层或卷积层及其后续激活函数 (activation function)之间。

• 对于全连接层，您可以使用 BatchNorm1d（标准化发生在每个特征的批次维度上）。
• 对于卷积层，您可以使用 BatchNorm2d（标准化发生在每个通道的批次、高度和宽度维度上）。

以下是如何在PyTorch中向简单的层序列添加 BatchNorm1d 的例子：

import torch
import torch.nn as nn

# 示例维度
input_features = 128
hidden_units = 64
output_features = 10

model = nn.Sequential(
    nn.Linear(input_features, hidden_units),
    # 在激活函数前应用BatchNorm
    nn.BatchNorm1d(hidden_units),
    nn.ReLU(),
    nn.Linear(hidden_units, output_features)
    # 通常在最终输出层前不使用BatchNorm，
    # 特别是如果后面使用Softmax或Sigmoid等激活函数。
)

# 使用随机数据进行前向传播示例（批大小 = 32）
dummy_input = torch.randn(32, input_features)
output = model(dummy_input)

print(f"Model Output Shape: {output.shape}")
# 预期输出形状：torch.Size([32, 10])

# 打印模型结构以查看层
print(model)
# 预期输出：
# Sequential(
#   (0): Linear(in_features=128, out_features=64, bias=True)
#   (1): BatchNorm1d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
#   (2): ReLU()
#   (3): Linear(in_features=64, out_features=10, bias=True)
# )

在此PyTorch示例中，nn.BatchNorm1d(hidden_units) 添加在第一个线性层之后。请注意，num_features 参数 (parameter)对应于前一层输出的数量。affine=True 参数表示应包含可学习的 $\gamma$ 和 $\beta$ 参数（这是默认设置）。track_running_stats=True 确保维护均值和方差的移动平均值，这对于评估/推断期间（model.eval()）的正确行为至关重要。

尽管BatchNorm引入了计算统计量和应用变换的额外计算，但这种开销通常可以通过其提供的更快的收敛和更高的稳定性得到充分补偿，使其成为许多现代深度学习 (deep learning)架构中的标准组成部分。