视觉Transformer基本原理及目标检测应用

Transformer是一类基于自注意力机制的深度神经网络，最初用于处理自然语言理解任务。相较于卷积网络和循环网络等传统深度神经网络，Transformer的表示学习能力更加强大，并已经被应用到视觉任务中。当前，基于Transformer的视觉表征学习网络已经在图像分类、视频理解等低高级视觉任务中已经取得了优异表现。本文将对视觉Transformer基本原理和用于执行目标检测任务的Transformer结构进行简要介绍，可供研究者参考。

图1丨Transformer发展历程

● 视觉Transformer基本结构

图2丨视觉Transformer结构

视觉Transformer的一般结构如图2所示，包括编码器和解码器两部分，其中编码器每一层包括一个多头自注意力模块（self-attention）和一个位置前馈神经网络(FFN)，而解码器每一层包括三部分：多头自注意力模块、编码解码自注意力模块和位置前馈神经网络。  

● Transformer在目标检测任务中的应用 

Transformer已经被广泛用于处理目标检测问题，按照网络结构可以分为基于多尺度融合（neck-based）、基于头（head-based）和基于框架（framework-based）三大类。 1） 基于多尺度融合

图3丨FPT网络结构

受特征金字塔网络等基于卷积网络的多尺度特征融合网络在目标检测任务中取得的良好性能启发，研究者提出了特征金字塔Transformer（FPT）来充分利用跨空间和尺度的特征相互作用，解决卷积网络无法学习交互跨尺度特征的问题。FPT网络结构如图3所示，由三种不同类型的Transformer构成，称之为Self-Transformer，Grounding-Transformer和Rendering-Transformer，分别用于对特征金字塔的Self-level、top-down和bottom-up路径的信息进行编码，利用Transformer中的自注意力模块来增强特征金字塔的特征融合。 2） 基于头

图4丨桥接视觉表示

对于物体检测算法而言，预测头的设计至关重要。传统检测方法一般利用边界框、角点等单个视觉表示来预测最终结果。研究者将Transformer结构引入物体检测问题中，提出了桥接视觉表示（Bridging Visual Representations，BVR），通过多头关注模块将不同的异构表示组合成一个单一的表示。具体来说，将主表示作为query输入，将辅助表示作为key输入。通过类似于Transformer中的注意模块，可以获得用于主表示的增强功能，该功能将来自辅助表示的信息桥接起来并有利于最终检测性能。 3） 基于框架

图5丨DETR网络结构

区别于前两类方法使用Transformer结构增强传统检测算法中特定模块的性能，DETR网络将目标检测任务视为集合预测问题，采用端到端的Transformer结构构建目标检测器，如图5所示。DETR从CNN主干开始以从输入图像中提取特征。为了用位置信息补充图像特征，将固定的位置编码添加到平坦的十个特征中，然后再输入编码解码器转换器。与原始Transformer顺序生成预测的原始Transformer不同，DETR同时解码多个对象。DETR作为针对目标检测任务提出的全新Transformer结构设计，为后续研究提供了重要启发，但存在训练时间长、难以准确检测小目标等问题。

图6丨Deformable DETR网络

针对DETR存在的问题，Deformable DETR使用图6所示的可变形注意模块来关注参考点周围的一小组关键位置，显著降低了原多头注意力的计算复杂度，也有利于快速收敛。可变形注意模块可轻松完成多尺度特征融合操作，使得Deformable DETR相较于原始DETR训练成本降低10倍，推理速度提升1.6倍。

图7丨可变形注意模块

● 总结

与卷积网络相比，Transformer在抽取时空表征关系上具有巨大优势，已经成为计算机视觉研究领域的热门话题，并已经在多种视觉任务中取得优良表现。但是，当前视觉Transformer研究仍主要关注单一任务，而在自然语言处理领域Transformer已经表现出在统一模型里执行多个任务的能力，多任务视觉Transformer模型有待进一步研究。此外，当前模型普遍复杂，模型训练和存储成本较高，开发适合部署在资源受限设备上的视觉Transformer模型将是未来研究重点之一。

审核编辑：黄飞