纯视觉Transformer (ViT) 在捕捉全局图像上下文 (context)方面展现出强大的能力,但由于它们缺乏对空间局部性的固有归纳偏置 (bias)(卷积神经网络 (neural network) (CNN)CNNs擅长此点),通常需要大量数据集进行有效的预训练 (pre-training)。相反,标准CNNs尽管在学习局部模式和空间层级结构方面效率高,但在建模图像的显式长程依赖关系时可能会遇到困难。这一观察结果自然引出混合架构的发展,这些架构旨在结合两种方法的优点。
混合CNN-Transformer模型代表了一种结合策略,将擅长高效提取低级特征和空间层级结构的卷积层,与擅长建模特征之间全局交互的Transformer块结合起来。其主要思想是让每个组件发挥其最擅长的作用。
结合卷积特征提取与Transformer推理 (inference)
一种常用且有效的方法是,在网络的初始阶段,主要将CNN用作强大的特征提取器。
- 初始卷积阶段: 输入图像首先由若干卷积层或截断的标准CNN主干网络(如ResNet的早期阶段)处理。这些层执行初始特征提取,获取边缘、纹理和局部模式,同时逐渐降低空间分辨率并增加通道深度。这运用了卷积的空间归纳偏置 (bias),使得模型在数据方面更有效率,尤其是在早期层中。
- 转换层: 在某个深度,CNN阶段生成的特征图被转换为适合Transformer输入的序列。这通常包括:
- 分块: 类似于ViT,特征图可以被划分为不重叠或重叠的块。
- 展平: 每个块被展平为一个向量 (vector)。
- 线性投影: 这些向量被线性投影到Transformer所需的嵌入 (embedding)维度。位置嵌入通常在此阶段添加,以保留空间信息。
- Transformer编码器: 补丁嵌入序列随后由一个或多个标准Transformer编码器层处理。这些层使用多头自注意力 (self-attention)机制 (attention mechanism),对CNN提取的特征补丁间的全局依赖关系进行建模。自注意力机制使模型在构建最终表示时,能够衡量不同特征区域的重要性。
- 最终分类/任务头: Transformer编码器的输出(通常使用特殊
[CLS] token的表示或通过对序列输出进行池化)被送入最终的分类头(例如,一个简单的MLP)或特定任务头(例如,用于检测或分割)。
一种混合CNN-Transformer模型的常见结构,其中CNN获取特征,然后由Transformer编码器处理。
这种方法得益于CNN高效学习局部特征的能力,减轻了Transformer的负担,后者可以纯粹专注于对这些特征之间关系的推理。像CvT(卷积视觉Transformer)这样的模型在Transformer的token化和注意力机制中明确地包含卷积,而CoAtNet等其他模型则在不同的网络深度巧妙地安排了卷积块和Transformer块。
在卷积阶段中加入注意力机制 (attention mechanism)
另一个观点是,将类似Transformer的自注意力 (self-attention)机制更深层地嵌入 (embedding)到CNN架构本身中,而不是严格区分CNN和Transformer阶段。
- 替换卷积块: 深度CNN的后期阶段,其在低分辨率、高维度特征图上操作,可以完全替换为Transformer块。在这些阶段,特征图的“像素”可以被视为token,从而使自注意力能够建立在更宽的空间范围内的关系。
- 增强卷积块: 自注意力层可以与卷积层并行或并列插入。例如,一个块可能同时包含一个标准的3x3卷积层和一个多头自注意力层,并将它们的输出结合。这使网络层能够同时学习局部模式(通过卷积)和全局信息(通过注意力)。
混合模型的优点
- 性能提升: 混合模型在各种计算机视觉基准测试中常能达到当前最优结果,可能表现优于纯CNN或纯ViT,特别是在训练数据量未达到海量网络抓取数据集的规模时。
- 数据效率: 通过保持卷积的归纳偏置 (bias),尤其是在早期层中,混合模型通常可以更快收敛,并且与从头开始训练的ViT相比,所需训练数据更少。
- 灵活性: 这种结合在设计上更灵活,使设计者能够通过决定CNN部分的深度和Transformer部分的复杂性来权衡计算成本、参数 (parameter)数量和性能。
- 善用预训练 (pre-training): 成熟的预训练CNN主干网络可以方便地整合,为混合模型的特征提取部分提供良好的初始化。
考量点
混合模型虽然性能高,但设计它们会增加复杂性。重要的选择包括CNN和Transformer阶段之间的转换点、将特征图转换为序列的方法(块大小、步长)、所用Transformer层的特定结构,以及位置信息如何编码和保留。调整这些架构需要细致的实验并考虑目标任务和数据集的特点。
总而言之,混合CNN-Transformer模型是一种实际且有效的方法,结合了CNN处理局部特征的优点与Transformer处理全局信息的能力,从而得到性能优异的视觉系统。它们提供了一个明确的折中方案,它运用了数十年的CNN研究成果,同时加入了注意力机制 (attention mechanism)带来的进展。