网易首页 > 网易号 > 正文 申请入驻

CAS-ViT:用于高效移动应用的卷积加法自注意力视觉Transformer

0
分享至


近年来,Vision Transformer(ViT)在计算机视觉领域取得了巨大突破。然而ViT模型通常计算复杂度高,难以在资源受限的移动设备上部署。为了解决这个问题,研究人员提出了Convolutional Additive Self-attention Vision Transformers (CAS-ViT),这是一种轻量级的ViT变体,旨在在效率和性能之间取得平衡。

这是8月份再arxiv上发布的新论文,我们下面一起来介绍这篇论文的重要贡献

核心创新:卷积加法token混合器(CATM)

CAS-ViT的核心创新在于提出了一种新颖的加法相似度函数,称为卷积加法token混合器(CATM)。与传统ViT中的多头自注意力机制相比,CATM大大降低了计算复杂度。

让我们来看看CATM与之前工作的对比:



  1. 传统ViT中的多头自注意力(图a):计算复杂度为O(N^2),其中N是序列长度。这在处理高分辨率图像时计算开销很大。
  2. MobileViTv2中的可分离自注意力(图b):将矩阵特征度量简化为向量,降低了复杂度。
  3. SwiftFormer中的swift自注意力(图c):将自注意力的键减少到两个(Q和K),进一步加速推理。
  4. 论文提出的卷积加法自注意力(图d):定义了一个新的相似度函数,将Q和K的上下文分数相加。

具体来说,CATM中的相似度函数定义为:

Sim(Q, K) = Φ(Q) + Φ(K)

其中Φ(·)是上下文映射函数,由基于Sigmoid的通道注意力C(·)和空间注意力S(·)具体化。CATM的输出为:

O = Γ(Φ(Q) + Φ(K)) · V

由于CATM中的操作都用卷积表示,其复杂度为O(N),大大低于传统自注意力的O(N^2)。

网络架构

CAS-ViT的整体架构如下:



主要特点包括:

  1. 4个编码阶段,每个阶段之间使用Patch Embedding进行2倍下采样。
  2. 每个阶段包含Ni个堆叠的块。
  3. 每个块包含三个部分:集成子网络、CATM和MLP,都使用残差连接。
  4. 集成子网络由3个使用ReLU激活的深度可分离卷积层组成。

通过调整通道数Ci和块数Ni,构建了一系列轻量级CAS-ViT模型。

实验结果

CAS-ViT在多个计算机视觉任务上进行了评估,包括图像分类、目标检测和语义分割。

图像分类

在ImageNet-1K数据集上的分类和计算量的对比如下:



可以看出,CAS-ViT模型(红色点)在精度和计算效率之间取得了很好的平衡。特别是XS和S变体,在参数量较少的情况下达到了很高的Top-1准确率。

目标检测和实例分割

在COCO val2017数据集上的目标检测和实例分割结果如下:



CAS-ViT作为主干网络,在RetinaNet和Mask R-CNN框架下都取得了很好的性能,尤其是在计算效率方面具有优势。

语义分割

在ADE20K数据集上的语义分割结果如下:



CAS-ViT在mIoU和计算效率之间也达到了很好的平衡。

可视化分析



热力图可视化显示,CAS-ViT能够准确定位关键区域,并获得更大的感受野,这有利于后续的密集预测任务。

消融实验



消融实验表明,CATM中的每个组件都对模型性能有重要贡献。当移除或替换某个组件时,准确率都会下降。

总结

CAS-ViT通过创新的卷积加法自注意力机制,在保持高性能的同时大大降低了计算复杂度。这使得它非常适合部署在资源受限的移动设备上,为高效移动视觉应用开辟了新的可能性。未来的工作可以探索在更大规模的数据集和模型上应用CAS-ViT,以及进一步优化其在移动设备上的部署效率。

论文地址:

https://avoid.overfit.cn/post/e7f68be55b014473a12aef501274b7b4

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
星座女神12月月运(下)| 天秤、天蝎、射手、摩羯、水瓶、双鱼

星座女神12月月运(下)| 天秤、天蝎、射手、摩羯、水瓶、双鱼

莫小奇
2024-11-29 20:38:16
印度政府消息人士:印度正在俄罗斯、蒙古、智利和赞比亚探索关键矿产资源

印度政府消息人士:印度正在俄罗斯、蒙古、智利和赞比亚探索关键矿产资源

财联社
2024-11-28 22:20:10
美人迟暮!关之琳跟刘嘉玲同框,脖子前倾显老,又胖又老像隔代人

美人迟暮!关之琳跟刘嘉玲同框,脖子前倾显老,又胖又老像隔代人

扒星人
2024-11-28 13:53:05
霍思燕杜江面和心不和?豪放吃面走光露胸口黑痣,穿抹胸秀事业线

霍思燕杜江面和心不和?豪放吃面走光露胸口黑痣,穿抹胸秀事业线

扒星人
2024-11-27 21:25:58
蒋欣本人真漂亮又瘦又高又白,脸比童瑶还小真人和剧里很不一样,

蒋欣本人真漂亮又瘦又高又白,脸比童瑶还小真人和剧里很不一样,

娱乐的小灶
2024-11-29 02:20:30
24岁女孩指甲惊现“玛莎拉蒂”标志,医生提醒:赶紧切!

24岁女孩指甲惊现“玛莎拉蒂”标志,医生提醒:赶紧切!

大象新闻
2024-11-21 13:58:23
2011年,西伯利亚零下49度冻死狼的猎物,400头狼4天杀死30多匹马

2011年,西伯利亚零下49度冻死狼的猎物,400头狼4天杀死30多匹马

面包夹知识
2024-11-28 22:45:03
上海民警收到锦旗憋不住了!网友:真的666!

上海民警收到锦旗憋不住了!网友:真的666!

北青网-北京青年报
2024-11-29 10:52:12
赶在特朗普上台前,李显龙紧急访华,只为提醒中方一件事

赶在特朗普上台前,李显龙紧急访华,只为提醒中方一件事

科技讲者66
2024-11-28 20:16:41
尊界超100万售价带崩汽车板块,评论一边倒,江淮不是下个赛力斯

尊界超100万售价带崩汽车板块,评论一边倒,江淮不是下个赛力斯

芯怡飞
2024-11-28 14:29:24
又一国宣布:终止合作

又一国宣布:终止合作

环球时报新闻
2024-11-29 11:10:29
Mate70发布会上,余承东不谈的芯片:跑分125万,比肩高通8Gen2

Mate70发布会上,余承东不谈的芯片:跑分125万,比肩高通8Gen2

互联网.乱侃秀
2024-11-28 10:13:17
前央视女主持自曝已切除子宫,发视频报平安,称自己没有生育需求

前央视女主持自曝已切除子宫,发视频报平安,称自己没有生育需求

阿矗论古今
2024-11-28 17:39:17
中方的适航证欧洲拖了一年又一年,C919转了一圈,自己找到新市场

中方的适航证欧洲拖了一年又一年,C919转了一圈,自己找到新市场

粤语音乐喷泉
2024-11-28 16:44:36
美联储再次降息!今日凌晨的四大消息冲击股市(11.29)!

美联储再次降息!今日凌晨的四大消息冲击股市(11.29)!

风口招财猪
2024-11-29 09:02:23
2025年,江苏部分企业退休人员将迎来养老金增长,能增加多少?

2025年,江苏部分企业退休人员将迎来养老金增长,能增加多少?

阿伧说事
2024-11-29 10:52:07
上海一外国语学校食堂蔬菜中发现青虫、蜗牛等异物,官方通报

上海一外国语学校食堂蔬菜中发现青虫、蜗牛等异物,官方通报

界面新闻
2024-11-29 07:08:17
被普京政府说中了:美日绝密计划曝光,五角大楼已为中国选好战场

被普京政府说中了:美日绝密计划曝光,五角大楼已为中国选好战场

千里持剑
2024-11-25 13:47:25
国防大学公方彬:俄向中国倾斜是弱的体现,若失败大概率会加西方

国防大学公方彬:俄向中国倾斜是弱的体现,若失败大概率会加西方

华人星光
2024-11-27 14:42:17
“一字”涨停,“东方系”龙头创新高,“龙字辈”也异动!20股获融资净买入超1亿元

“一字”涨停,“东方系”龙头创新高,“龙字辈”也异动!20股获融资净买入超1亿元

证券时报
2024-11-29 13:52:04
2024-11-29 21:19:00
deephub
deephub
CV NLP和数据挖掘知识
1505文章数 1417关注度
往期回顾 全部

科技要闻

"AGI不是大杀器,是普通人每天在用的产品"

头条要闻

想要免死越南女首富"卖惨喊冤":只想尽快把财富交国家

头条要闻

想要免死越南女首富"卖惨喊冤":只想尽快把财富交国家

体育要闻

穆雷与德约科维奇能凑成王炸组合吗?

娱乐要闻

叶珂被曝独自去产检,他俩真分了吗

财经要闻

专家建议将农民养老金提升至每月500元

汽车要闻

问界M7今年累计交付量已突破18万辆

态度原创

艺术
游戏
房产
健康
军事航空

艺术要闻

故宫珍藏的墨迹《十七帖》,比拓本更精良,这才是地道的魏晋写法

《炼金工房》新作角色设定图公布 这令人安心的肉腿

房产要闻

大量甩地!114亿,4790亩!海南土地市场全面爆发!

花18万治疗阿尔茨海默病,值不值?

军事要闻

针对朝鲜半岛 韩美核咨商小组兵棋推演将举行

无障碍浏览 进入关怀版