• Welcome to the world's largest Chinese hacker forum

    Welcome to the world's largest Chinese hacker forum, our forum registration is open! You can now register for technical communication with us, this is a free and open to the world of the BBS, we founded the purpose for the study of network security, please don't release business of black/grey, or on the BBS posts, to seek help hacker if violations, we will permanently frozen your IP and account, thank you for your cooperation. Hacker attack and defense cracking or network Security

    business please click here: Creation Security  From CNHACKTEAM

[CVPR 2022]自我关注增强的Lite视觉转换器


Recommended Posts

请添加图片描述

论文:https://readpaper.com/paper/633541619879256064

代码:https://github.com/Chenglin-Yang/LVT

1、研究动机

虽然ViT模型在各种视觉任务中效果显著,但目前的轻量级ViT模型在局部区域并不理想。作者认为自我注意机制在浅层网络中是有限的。因此,作者提出一种 light yet effective vision transformer 可以应用于移动设备(Lite Vision Transformer, LVT),具有标准的 four-stage 结构,但是和 MobileNetV2 和 PVTv2-B0 含有相同的参数量。's的作者主要提出了两个新的注意模块:回旋自我注意(CSA)和循环阿特鲁自我注意(RASA)。下面介绍CSA模块和RASA模块。

请添加图片描述

2、Convolutional Self-Attention (CSA)

pu1s3a2cbpd3637.png

如上图所示,基本流程是:

通过1x1卷积将计算similarity(即代码中的attn):矩阵(hw/4,c)变换为(HW/4,k 2,k 2)。

计算V:生成(hw/4,c,k^2)的矩阵,然后reshape通过1x1的卷积改变通道数(图中BMM)得到(HW/4,c,k^2,c _ out)的矩阵。

矩阵相乘,相似度和v相乘得到(HW/4,k 2,c _ out)

使用折叠变换获得输出。

从代码上看,CSA的代码比VOLO复杂,但本质上好像没什么区别(可能是我理解不到位)。而且我感觉CSA的代码不如VOLO简洁。有兴趣的可以参考论文《VOLO: Vision Outlooker for Visual Recognition》和网上的代码。

3、Recursive Atrous Self-Attention (RASA)

kmxjtcyebdw3638.png

首先,介绍了ASA,它不同于一般的作者在计算Q时,采用了多尺度空洞卷积。卷积权重共享,降低了参数。.中的注意力计算

同时,作者使用了递归运算。在每个块中,ASA迭代两次。

4、实验分析

该网络采用四级架构。CSA用于第一阶段,RASA用于其他阶段。

xxen1rsaom53639.png

在ImageNet中的实验结果表明,当人参数量与MobileNetV2和PVTv2-B0数量相等时,该方法的准确率显著提高。同时,当ResNet50的参数与resnet50的参数接近时,该方法的性能明显优于当前方法。

3mklw2cr4dc3640.png

其他部分可以参考作者论文,这里就不多说了。

Link to comment
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now