市场快讯-"�"-轻量化Mobile网禁🈲拗女稀缺1300Mamba视觉模型来了

轻量化Mobile网禁🈲拗女稀缺1300Mamba视觉模型来了_ZAKER新闻

“现场停放了救护车等多台救援车辆。”事发当日，事发地附近一商户向南都记者讲述。据现场视频，多台消防车、救护车等应急车辆及挖机、吊机等设备停放在涉事体育馆前的草坪上，跑道上有积水。

浙大、腾讯优图、华中科技大学的团队，提出轻量化 MobileMamba！既良好地平衡了效率与效果，推理速度远超现有基于 Mamba 的模型。一直以来，轻量化模型研究的主阵地都在 CNN 和 Transformer 的设计。但 CNN 的局部有效感受野在高分辨率输入时，难以获得长距离依赖；尽管 Transformer 有着全局建模能力，但是其平方级计算复杂度，限制了其在高分辨率下的轻量化应用。最近的状态空间模型如 Mamba，因其线性计算复杂度和出色的效果被广泛用在视觉领域。然而，基于 Mamba 的轻量化模型虽然 FLOPs 低，但是实际的吞吐量极低。△最近基于 CNN/Transformer/Mamba 方法的效果 vs. FLOPs 对比团队首先在粗粒度上设计了三阶段网络显著提升推理速度。随后在细粒度上提出了高效多感受野特征交互（MRFFI）模块包含长距离小波变换增强 Mamba （WTE-Mamba）、高效多核深度可分离卷积（MK-DeConv）和去冗余恒等映射三个部分——这有利于在长距离建模的特征上融合多尺度多感受野信息并加强高频细节特征提取。最后，使用两个训练和一个推理策略，进一步提升模型的性能与效率。大量实验验证，MobileMamba 在 ImageNet-1K 数据集上的 Top - 1 准确率最高可达 83.6，且速度是 LocalVim 的 21 倍、EfficientVMamba 的 3.3 倍。同时，大量的下游任务实验也验证了该方法在高分辨率输入情况下，取得了效果与效率的最佳平衡。现存缺陷：成本高、速度低随着移动设备的普及，资源受限环境中对高效、快速且准确的视觉处理需求日益增长。开发轻量化模型，有助于显著降低计算和存储成本，还能提升推理速度，从而拓展技术的应用范围。现有被广泛研究的轻量化模型，主要被分为基于 CNN 和 Transformer 的结构。基于 CNN 的 MobileNet，设计了深度可分离卷积大幅度减少了计算复杂度；GhostNet 提出将原本将原本全通道 1x1 卷积替换为半数通道进行廉价计算，另半数通道直接恒等映射。这些方法给后续基于 CNN 的工作奠定了良好的基础。但是基于 CNN 方法的主要缺陷在于其局部感受野，如图 ( i ) 所示，其 ERF 仅在中间区域而缺少远距离的相关性。并且在下游任务高分辨率输入下，基于 CNN 的方法仅能通过堆叠计算量来换取性能的少量提升。如图 ( ii ) 所示，ViT 有着全局感受野和长距离建模能力。但由于其平方级别的计算复杂度，计算开销比 CNN 更大。一些工作尝试从减少分辨率或者减少通道数上，来改减少所带来的计算复杂度的增长，也取得了出色的效果。不过，基于纯 ViT 的结构缺少了归纳偏置，因此，越来越多的研究者将 CNN 与 Transformer 结合得到混合结构，获得更好的效果，并获得局部和全局的感受野（如图 ( iii ) ）。不过，尤其在下游任务高分辨率输入下，基于 ViT 的方法仍然受到平方级别计算复杂度的问题。提出 MobileMamba最近，由于状态空间模型捕捉长距离依赖关系并且线性的计算复杂度表现出色，引起了广泛关注，大量研究者将其应用于视觉领域，效果和效率都取得了出色的效果。基于 Mamba 的轻量化模型 LocalMamba 提出了将图像划分为窗口并在窗口内局部扫描的方式减少计算复杂度，而 EfficientVMamba 设计了高效 2D 扫描方式来降低计算复杂度。不过这两种模型都仅公布了 FLOPs，而FLOPs 低并不能代表推理速度快。经实验发现（图 2），现有的基于 Mamba 结构的推理速度较慢并且效果较差。MobileMamba 团队分别从粗粒度、细粒度和训练测试策略三个方面来设计高效轻量化网络。首先，研究人员讨论了四阶段和三阶段在准确率、速度、FLOPs 上的权衡。在同等吞吐量下，三阶段网络会取得更高的准确率；同样的相同效果下三阶段网络有着更高的吞吐量。因此，团队选择三阶段网络作为 MobileMamba 的粗粒度设计框架。在细粒度模块设计方面，研究人员提出了高效高效多感受野特征交互（MRFFI）模块。具体来说，将输入特征根据通道维度划分三个部分。第一部分将通过小波变换增强的 Mamba 模块提取全局特征的同时加强边缘细节等细粒度信息的提取能力。第二部分通过高效多核深度可分离卷积操作获取多尺度感受野的感知能力。然后部分通过去冗余恒等映射，减少高维空间下通道冗余的问题，并减少计算复杂度提高运算速度。最终经过 MRFFI 得到的特征融合了全局和多尺度局部的多感受野信息，并且加强了边缘细节的高频信息提取能力。最后，研究人员通过两个训练阶段策略知识蒸馏和延长训练轮数增强模型的学习能力，提升模型效果；以及一个归一化层融合的测试阶段策略提升模型的推理速度。△MobileMamba 结构概述实验结果实验表明，MobileMamba 有着全局感受野的同时，高效多核深度可分离卷积操作有助于提取相邻信息。通过与 SoTA 方法的对比可知，MobileMamba 从 200M 到 4G FLOPs 的模型在使用训练策略后，在 ImageNet-1K 上的 Top-1，分别达到 76.9、78.9、80.7、82.2、83.3、83.6 效果，均超过现有基于 CNN、ViT 和 Mamba 的方法。与同为 Mamba 的方法相比，MobileMamba 比 LocalVim 在 Top-1 上提升 0.7 ↑的同时，速度快 21 倍；比 EfficientVMamba 提升 2.0 ↑的同时速度快 3.3 ↑倍。这均显著优于现有基于 Mamba 的轻量化模型设计。同时，在下游任务目标检测、实力分割、语义分割上大量实验上也验证了方法的有效性。在 Mask RCNN 上比 EMO 提升 1.3 ↑在 mAP 并且吞吐量提升 56% ↑。在 RetinaNet 上比 EfficientVMamba 提升 +2.1 ↑在 mAP 并且吞吐量提升 4.3 ↑倍。在 SSDLite 通过提高分辨率达到 24.0/29.5 的 mAP。在 DeepLabv3，Semantic FPN，and PSPNet 上有着较少的 FLOPs 分别最高达到 37.4/42.7/36.9 的 mIoU。在高分辨率输入的下游任务与基于 CNN 的 MobileNetv2 和 ViT 的 MobileViTv2 相比分别提升 7.2 ↑和 0.4 ↑，并且 FLOPs 仅有其 8.5% 和 11.2%。总的来说，MobileMamba 贡献如下：提出了一个轻量级的三阶段 MobileMamba 框架，该框架在性能和效率之间实现了良好的平衡。MobileMamba 的有效性和效率已经在分类任务以及三个高分辨率输入的下游任务中得到了验证。设计了一个高效的多感受野特征交互（MRFFI）模块，以通过更大的有效感受野增强多尺度感知能力，并改进细粒度高频边缘信息的提取。MobileMamba 通过在不同 FLOPs 大小的模型上采用训练和测试策略，显著提升了性能和效率。论文链接：https://arxiv.org/pdf/2411.15941项目代码：https://github.com/lewandofskee/MobileMamba— 完 —投稿请发邮件到：ai@qbitai.com标题注明【投稿】，告诉我们：你是谁，从哪来，投稿内容‍附上论文 / 项目主页链接，以及联系方式哦我们会（尽量）及时回复你点这里关注我，记得标星哦～一键三连「分享」、「点赞」和「在看」科技前沿进展日日相见 ~

koa12jJid0DL9adK+CJ1DK2K393LKASDad

编辑:林莽

TOP1热点：WTT 马斯喀特站：向鹏 1-3 不敌 16 岁中国台北选手郭冠宏，无缘下一轮，如何看待这一结果？

6月27日，李凯尔被人拍到现身上海，中国男篮主教练乔尔杰维奇也对外确认前往上海与李凯尔进行了沟通。知情人透露，李凯尔此行正是来中国办理相关手续。随后，李凯尔返回美国开启个人训练，目前尚不清楚何时与中国男篮汇合并加入合练。。

2023年公示图。

TOP2热点：如何评价综艺《一路繁花》第二期？

可能是过去的生活让杨姐对阿兵积怨已久，在争斗的过程中，

首先可以确定的是，

TOP3热点：《误杀 3》中为什么在船上郑柄睿选择炸死女儿但最后又冲过去想给女儿挡枪？快拔出来弄错了我是你小䧅

可能是过去的生活让杨姐对阿兵积怨已久，在争斗的过程中，

比如，这么一段。

TOP4热点：你知道哪些有关于埃隆·马斯克（Elon Musk）的趣事？911制片厂

2022年7月，颜勇因涉嫌严重违纪违法接受重庆市大足区纪委监委审查调查。经查，2010年至2017年，颜勇在担任重庆市原大足县宝兴镇党委书记、大足区石马镇党委书记，区供销合作社党委书记、主任，兼任区供销集团有限公司董事长期间，利用职务便利为他人在工程承揽、款项拨付、资金借贷等方面谋取利益，并非法收受巨额财物。

在此次会面期间，普京多次强调俄罗斯和白俄罗斯之间的特殊关系。他指出，白俄罗斯是俄罗斯的“战略伙伴和最亲密的盟友”。

TOP5热点：Ave Mujica最后会怎么包饺子？中国windows野外

历史是公正的，一个政治家的所作所为，无论是非功过，历史都要记上一笔。

现场视频显示，小娄倒在了一家卖烤串的小摊前，她背对着公寓大楼，面朝下趴着一动不动，头部流出了一大滩血迹。

TOP6热点：国家医保局回应集采药质量疑问，称「存在问题会及时解除采购协议」，超低价中标的集采药物如何保障质量？chin老太交800ye ne

齐齐哈尔被誉为中国女排的“宝地”，贡献了多名排球国手，其中胡铭媛就出自第三十四中学的女排队伍。7月23日晚，胡铭媛通过个人微博表示：“事情发生在母校更加心痛，希望大家都平安，尽快都能被救出。”前中国女排主攻手、2019年女排世界杯赛冠军成员刘晏含连夜录制视频表达关切：“我当时听到这个消息就心头一紧……期待所有人一定要平安。”