视觉Transformer研究的关键问题:现状及展望

被引：72

作者：

田永林 ^{[1
,2
]}

王雨桐 ^{[2
]}

王建功 ^{[2
]}

王晓 ^{[2
,3
]}

王飞跃 ^{[2
,3
]}

机构：

[1] 中国科学技术大学自动化系

[2] 中国科学院自动化研究所复杂系统管理与控制国家重点实验室

[3] 青岛智能产业技术研究院

来源：

自动化学报 | 2022年 / 48卷 / 04期

关键词：

视觉Transformer; 图像分类; 目标检测; 图像分割; 计算机视觉;

D O I：

10.16383/j.aas.c220027

中图分类号：

TP391.41 [];

学科分类号：

080203 ;

摘要：

Transformer所具备的长距离建模能力和并行计算能力使其在自然语言处理领域取得了巨大成功并逐步拓展至计算机视觉等领域.本文以分类任务为切入,介绍了典型视觉Transformer的基本原理和结构,并分析了Transformer与卷积神经网络在连接范围、权重动态性和位置表示能力三方面的区别与联系;同时围绕计算代价、性能提升、训练优化以及结构设计四个方面总结了视觉Transformer研究中的关键问题以及研究进展;并提出了视觉Transformer的一般性框架;然后针对检测和分割两个领域,介绍了视觉Transformer在特征学习、结果产生和真值分配等方面给上层视觉模型设计带来的启发和改变;并对视觉Transformer未来发展方向进行了展望.

引用

页码：957 / 979

页数：23

共 21 条

[1]

PCT: Point cloud transformer[J]. Meng-Hao Guo,Jun-Xiong Cai,Zheng-Ning Liu,Tai-Jiang Mu,Ralph R.Martin,Shi-Min Hu.Computational Visual Media. 2021(02)

[2] 深度学习认知计算综述 [J].

陈伟宏 ;

安吉尧 ;

李仁发 ;

李万里 .

自动化学报, 2017, 43 (11) :1886-1897

[3] 深度学习在目标视觉检测中的应用进展与展望 [J].

张慧 ;

王坤峰 ;

王飞跃 .

自动化学报, 2017, 43 (08) :1289-1305

[4]

Image Segmentation Using Deep Learning: A Survey[J] . Minaee Shervin,Boykov Yuri Y,Porikli Fatih,Plaza Antonio J,Kehtarnavaz Nasser,Terzopoulos Demetri.IEEE transactions on pattern analysis and machine intelligence . 2021

[5]

Generating Long Sequences with Sparse Transformers[J] . Rewon Child,Scott Gray,Alec Radford,Ilya Sutskever.CoRR . 2019

[6]

Transformer Dissection: An Unified Understanding for Transformer’s Attention via the Lens of Kernel[J] . Yao-Hung Hubert Tsai,Shaojie Bai,Makoto Yamada,Louis-Philippe Morency,Ruslan Salakhutdinov.CoRR . 2019

[7]

Layer Normalization[J] . Lei Jimmy Ba,Ryan Kiros,Geoffrey E. Hinton.CoRR . 2016

[8]

Exploring the Limits of Language Modeling[J] . Rafal Józefowicz,Oriol Vinyals,Mike Schuster,Noam Shazeer,Yonghui Wu.CoRR . 2016

[9]

Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling[J] . Junyoung Chung,?aglar Gül?ehre,KyungHyun Cho,Yoshua Bengio.CoRR . 2014

[10] Guided Image Filtering [J].

He, Kaiming ;

Sun, Jian ;

Tang, Xiaoou .

IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, 2013, 35 (06) :1397-1409

← 1 2 3 →