ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

计算机视觉应用中的高级卷积神经网络
章节 1: 回顾CNN核心与现代架构
卷积神经网络构建模块简要回顾
CNN 架构的演变:从 AlexNet 到 ResNet
理解残差连接与跳跃架构
Inception 模块和网络中的网络思想
DenseNet:架构与连接模式
EfficientNet:模型复合缩放
架构设计选择与权衡
现代架构构建实践
章节 2: 高级训练与优化方法
高级优化算法
学习率策略和周期性学习率
正则化再论:进阶方法
批量归一化内部运作及替代方案
深度网络的权重初始化策略
梯度裁剪与梯度流动缓解
混合精度训练的基本原理
深度CNN训练的调试与监控
动手实践:实现高级训练循环
章节 3: 目标检测算法
两阶段检测器:R-CNN 系列
区域候选网络解析
单阶段检测器:YOLO系列
单阶段检测器:SSD 和 RetinaNet
锚框:设计与优化
非极大值抑制的变体
目标检测的评估指标
目标检测器实现练习
章节 4: 图像分割技术
语义分割与实例分割
全卷积网络用于图像分割
编码器-解码器架构:U-Net 和 SegNet
用于图像分割的空洞(Atrous)卷积
DeepLab 系列:空洞空间金字塔池化
实例分割方法 (Mask R-CNN)
分割的评估指标
实践操作:构建语义分割模型
章节 5: 视觉中的注意力机制与Transformer
CNN中的自注意力机制
非局部神经网络
视觉Transformer简介
ViT 架构:图像块、嵌入和 Transformer 编码器
混合CNN-Transformer模型
CNN与Transformer在视觉任务中的比较
在CNN中实现注意力模块的实践
章节 6: 高级迁移学习与域适应
回顾迁移学习策略
微调与特征提取:高级考量
使模型适应不同数据分布
域泛化概述
基于CNN的小样本学习
视觉自监督学习预训练
动手实践:在特定数据集上微调模型
章节 7: 生成对抗网络用于图像合成
GAN 基本原理回顾
训练生成对抗网络的挑战
深度卷积生成对抗网络 (DCGAN)
条件GANs用于可控生成
StyleGAN 架构与基于风格的生成
GAN 的评估指标
图像生成实践中的DCGAN实现
章节 8: 模型压缩与高效深度学习
高效模型的动因
网络剪枝技术
知识蒸馏方法
量化:降低模型精度
设计高效架构
神经网络架构搜索概览
动手实践:应用剪枝与量化

全卷积网络用于图像分割

标准卷积神经网络 (neural network) (CNN),特别是那些为图像分类任务设计的网络,例如VGG或ResNet,通常以一个或多个全连接层结束。这些层将卷积滤波器学习到的空间信息汇聚成一个固定大小的向量 (vector),适用于为整个输入图像预测单一类别标签。然而,这种汇聚过程丢弃了分割任务所需的精确空间信息,因为分割要求对每个像素进行预测。如果将最后一个卷积层的特征图展平,就会丢失其二维结构。

由Long、Shelhamer和Darrell提出的全卷积网络(FCNs)提供了一种巧妙的办法。其基本思路是将分类网络中的全连接层替换为等效的卷积层。例如,一个作用于7×7×5127 \times 7 \times 5127×7×512特征图(在VGG的最终分类层之前很常见)的全连接层,可以看作是对该特征图应用一个7×77 \times 77×7卷积核的卷积操作,为每个滤波器(类别)生成一个1×11 \times 11×1的输出图。通过使用1×11 \times 11×1卷积代替全连接层,FCNs在整个网络中保持了空间尺寸,使其能够输出与输入图像空间布局相对应的热图或密集预测图。

编码器-解码器结构

FCNs通常采用编码器-解码器结构:

  1. 编码器(下采样路径): 这部分通常是一个预训练 (pre-training)的分类网络(如VGG、ResNet),其中最终的全连接层已被移除或转换为卷积层。随着数据流经编码器,一系列卷积和池化操作逐渐降低空间分辨率(H×WH \times WH×W),同时增加特征深度(CCC)。这捕捉到日益复杂的语义特征,但会损失精细的空间细节。
  2. 解码器(上采样路径): 为了生成与输入图像分辨率相同的分割图,网络需要对编码器输出的低分辨率、高深度特征图进行上采样。FCNs中实现此目的的主要机制是转置卷积(有时称为反卷积)。转置卷积操作本质上是常规卷积空间变换的逆过程,它增加了特征图的高度和宽度,同时可能减小其深度。它是一个可学习的上采样层。

通过跳跃连接恢复细节

基本编码器-解码器结构的一个重大挑战是,深度、低分辨率的特征图虽然捕获了语义信息,但却缺少在池化过程中丢失的精确位置信息。仅对这些粗糙的图进行上采样,通常会导致分割边界模糊或定义不清。

FCNs通过加入跳跃连接来解决这个问题。这些连接将编码器中较早、高分辨率层的特征图直接连接到解码器中相应的层。解码器随后将来自深层网络的粗粒度语义信息与来自浅层网络的精细空间细节结合起来。

例如,深层编码器层的输出可能会被上采样2倍。这个上采样后的图会与来自具有相同空间尺寸的早期编码器层的特征图进行逐元素相加。这个组合后的图随后会进一步上采样,并可能与更早层的特征结合。

FCN架构,展示了编码器如何降低分辨率,解码器如何通过上采样提高分辨率,以及跳跃连接如何结合不同阶段的特征。N表示分割类别的数量。

FCN 变体:FCN-32s、FCN-16s、FCN-8s

最初的FCN论文根据最终预测层的步幅和所使用的跳跃连接数量提出了几种变体:

  • FCN-32s: 这是最简单的版本。它获取最终池化层的输出(相对于输入已下采样32倍),应用一个1×11 \times 11×1卷积来预测类别分数,然后使用步幅为32的转置卷积,在一步中将这个粗糙的图上采样回原始图像分辨率。不使用跳跃连接。结果通常非常粗糙。
  • FCN-16s: 该版本在FCN-32s的基础上有所改进。它将步幅为32的预测图上采样2倍,并与前一个池化层(pool4,步幅16)的预测结果进行结合(逐元素相加)。这个组合后的图随后上采样16倍,以达到最终分辨率。
  • FCN-8s: 这进一步完善了处理过程。它将步幅为32的预测(上采样2倍)与步幅为16的预测(pool4)结合,将结果上采样2倍,然后与更早层(pool3,步幅8)的预测结果结合。最后,这个组合后的图上采样8倍。

每个后续变体(32s -> 16s -> 8s)都从更早的层引入了更精细的细节,使得分割边界逐渐变得更清晰、更准确。

FCN的训练

FCNs通常使用像素级损失函数 (loss function)进行端到端训练。最常见的选择是独立计算每个像素的平均交叉熵损失。对于单个像素iii,损失为Li=−∑c=1N类别yi,clog⁡(pi,c)L_i = -\sum_{c=1}^{N_{类别}} y_{i,c} \log(p_{i,c})Li​=−∑c=1N类别​​yi,c​log(pi,c​),其中如果像素iii的真实类别是ccc,则yi,cy_{i,c}yi,c​为1,否则为0;pi,cp_{i,c}pi,c​是预测的像素iii属于类别ccc的概率(通常在softmax激活后)。图像的总损失是所有像素LiL_iLi​的平均值。

意义与局限

FCNs在深度学习 (deep learning)的语义分割方面取得了巨大进步。它们表明卷积网络可以进行端到端训练以完成密集预测任务,并有效利用预训练 (pre-training)的分类网络。它们还引入了将全连接层转换为卷积层以及使用跳跃连接来融合多层特征的方法。

然而,FCNs仍然存在局限性:

  • 粗糙边界: 即使是FCN-8s,其生成的分割掩码也可能无法与物体边界完美对齐 (alignment),部分原因是池化和上采样操作的固定特性。
  • 固定上采样: 使用简单的双线性插值或转置卷积进行上采样,并不总能有效捕获复杂的边界细节。
  • 无实例感知: FCNs执行语义分割。它们按类别('汽车'、'人物')对像素进行分类,但不能区分同一类别的不同实例('汽车 1'、'汽车 2')。

这些局限促成了后续架构的发展,例如U-Net(它通过更广泛的跳跃连接优化了对称的编码器-解码器结构)和DeepLab(它引入了空洞卷积以不同方式处理空间分辨率),以及实例分割方法如Mask R-CNN,我们将在本章后面部分讨论。尽管如此,理解FCN是掌握现代图像分割网络核心原理的必经之路。

  • Fully Convolutional Networks for Semantic Segmentation, Jonathan Long, Evan Shelhamer, and Trevor Darrell, 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (IEEE) DOI: 10.1109/CVPR.2015.7298965 - 这篇开创性论文介绍了全卷积网络,确立了使用CNN进行端到端语义分割的范式,并提出了将全连接层转换为卷积层以及使用跳跃连接的关键思想。
  • U-Net: Convolutional Networks for Biomedical Image Segmentation, Olaf Ronneberger, Philipp Fischer, and Thomas Brox, 2015 Medical Image Computing and Computer-Assisted Intervention – MICCAI 2015, Vol. 9351 (Springer, Cham) DOI: 10.48550/arXiv.1505.04597 - 这篇有影响力的论文提出了一种对称的编解码器架构,它在全卷积网络的基础上,通过跳跃连接改进了精确定位的能力,并在医学图像分割领域取得了显著成果。
  • CS231n: Convolutional Neural Networks for Visual Recognition, Fei-Fei Li, Justin Johnson, and Serena Yeung, 2017 - 这门备受推崇的大学课程提供了关于卷积神经网络的全面讲义和资料,其中包括对全卷积网络等架构以及相关图像分割技术的详细解释。

© 2026 ApX Machine Learning