房地产速递-"日本人是一夫一妻制吗"-视频生成无损提速:删除多余token,训练时间减少30%,帧率越高效果越日本人是一夫一妻制吗好_ZAKER新闻

日本人是一夫一妻制吗视频生成无损提速:删除多余token,训练时间减少30%,帧率越高效果越日本人是一夫一妻制吗好_ZAKER新闻

日本人是一夫一妻制吗视频生成无损提速:删除多余token,训练时间减少30%,帧率越高效果越日本人是一夫一妻制吗好_ZAKER新闻

视频生成无损提速:删除多余token,训练时间减少30%,帧率越高效果越日本人是一夫一妻制吗好_ZAKER新闻

向绿而行彰显新发展理念。

Don ’ t look twice!把连续相同的图像块合并成一个 token,就能让 Transformer 的视频生成速度大幅提升。卡内基梅隆大学提出了视频生成模型加速方法Run-Length Tokenization(RLT),被 NeurIPS 2024 选为 Spotlight 论文。在精度几乎没有损失的前提下,RLT 可以让模型训练和推理速度双双提升。一般情况下,利用 RLT,Transformer 视频模型的训练时间可缩短 30%,推理阶段提速率提升更是可达 67%。对于高帧率和长视频,RLT 的效果更加明显,30fps 视频的训练速度可提升 1 倍,长视频训练 token 减少 80%。相比于传统的剪枝方法,RLT 能用更小的精度损失实现更好的加速效果。有人想到了电视剧中的评论,认为这项研究找到了在压缩空间中进行搜索的方法。DeepMind 科学家 Sander Dieleman 则评价称,这项研究是一种 " 非主流 "(Off-the-grid)的创新方法,但比起其他复杂的非主流研究,又显得非常简洁。重复图像块合为一个 tokenRLT 的核心原理,是利用视频中存在大量时间上重复的图像块这一特点,将重复的图像块合并为一个 token 表示。这种情况下,还需要用一个位置编码来表示这个 token 的长度,但 RLT 总体上减少了输入的 token 数量。要想完成重复 token 的修剪,首先要对视频进行分块。具体来说,视频在空间和时间维度上会被划分成固定大小的图像块,每个图像块的大小为 C × D_x × D_y × D_t,每个图像块都对应一个空间 - 时间位置。(其中 C 是通道数,D_x 和 D_y 是空间维度大小,D_t 是时间维度大小。)划分完成之后,需要比较时间上相邻的图像块,判断它们是否相似,也就是是否需要合并。对于时间位置相差 1 的两个图像块 P_1 和 P_2,取 P_1 的第一帧和 P_2 的最后一帧,计算它们的 L1 距离。如果距离小于一个预设的阈值 τ,就认为 P_1 和 P_2 是静态重复的(阈值 τ 表示允许多大程度的相似性,设置与具体数据集无关)。完成判别之后,重复的图像块会被移除。对于一串连续的、两两之间都是静态重复的图像块,RLT 只保留第一个块对应的 token。这一步是在 patch embedding 之前完成的,因此移除 token 不需要改动模型结构。经过这一步,输入的 token 数量从 N_P 降低到了 N_P ’(N_P ’≤ N_P)。为了让合并后的 token 仍然能够反映完整的视频信息,接下来要给每个 token 加上长度编码。对于一个保留下来的 token,系统会计算它所代表的原始 token 的长度 l_i,也就是它到下一个没有被移除的 token 的距离。长度信息 l_i 与 token 的空间 - 时间位置 ( x,y,t ) 一起,用一个可学习的长度编码矩阵映射成一个 d 维的 embedding 向量,与 patch embedding 相加,作为输入 token 的最终表示。最后只需要将处理后的 token 序列输入到视频 Transformer 中,进行常规的训练或推理过程。不过需要注意的是,由于每个视频样本计算出的 token 数量 N_P ’不尽相同,样本之间可能有较大差异。然而标准的 Transformer 是按批次处理固定长度的序列的。为了能在一个批次中处理多个长度不一的视频,RLT 采用了一种称为 "example packing" 的方法,将这一批中所有视频样本的 token 序列首尾相连,拼成一个超长的序列,作为 Transformer 的输入。这样的话,Transformer 实际上是在处理一个批次大小为 1、长度为所有样本 token 数量之和的序列。通过以上步骤,RLT 能够去除视频中的许多冗余 token,在几乎不损失精度的情况下,大幅降低内存占用和计算量,加速视频 Transformer 的训练和推理。训练时长下降 30%在训练阶段,RLT 对 ViT-B 和 ViT-L 两种规模的模型都有很好的加速效果。在 Kinetics-400 上,ViT-BRLT 和 ViT-L 训练时间分别从 14.4 小时和 21.6 小时,降低到 10.2 小时和 15.4 小时,降幅均接近 30% 左右,精度损失不超过 0.1 个百分点;在 SSv2 上,两者的训练时间分别从 10.1 和 15.2 小时,降低到 7.2 和 10.8 小时,降幅也接近 30%,精度同样仅下降 0.1 个百分点。相比之下,传统的剪枝方法 Token Merging 在精度下降 0.1-0.5 个百分点的情况下,加速只有 10-20%。在推理阶段,也不需要额外的训练,就可以将 RLT 作为现成的 tokenizer,达到很好的加速效果。具体来说,RLT 能在几乎不牺牲精度的情况下(不超过 0.5 个百分点),将推理阶段的计算量和延迟降低 30-60%。同样在 Kinetics-400 和 SSv2 上,对于 ViT-B 和 ViT-L,RLT 都能带来 60% 以上的推理加速。对于更大的 ViT-H,在 Kinetics-400 上,RLT 也能实现 45% 的加速效果。特别地,作者还针对高帧率和长时长视频数据集进行了测试,发现 RLT 带来的 token 下降幅度比在普通数据集中更高。同时在高帧率数据集当中,RLT 能够在精度损失同样低的情况下,实现更好的加速效果。而且帧率越高效果也越明显,对于 30fps 的视频,加速可达 100%。论文地址:https://arxiv.org/abs/2411.05222代码:https://github.com/rccchoudhury/rlt

koa12jJid0DL9adK+CJ1DK2K393LKASDad

编辑:李宗仁

TOP1热点:美国对乌军援暂停:自冲突爆发,已向乌提供超千亿美元援助

坚持创造性转化、创新性发展,马克思主义的真理之光激活了中华文明的基因,使之与当代文化相适应、与现代社会相协调。。

强调铸牢中华民族共同体意识,吸取中华优秀传统文化中“多元一体”的民族史观,深化了马克思主义民族理论;

TOP2热点:埃文·凯尔再次来到中国,抵达北京后直呼:回来真好

“新鲜的枇杷,现在摘下来,明天上午就能到达上海消费者的餐桌。”江苏苏州吴中区东山镇的枇杷果农张大哥,在枇杷树下包装新鲜果实,身边,快递小哥等候随时发车。

作为新时代中国向国际社会提供的重要公共产品,全球发展倡议提出以来,在国际社会赢得积极支持、热烈回应。目前,已有100多个国家和国际组织支持倡议,近70个国家加入“全球发展倡议之友小组”。

TOP3热点:2025年在扩消费方面有哪些举措?商务部部长王文涛答澎湃花芯无删减

“城市不是靠口号建成的”“有了符合实际的定位,才会有科学规划和务实行动”。以高瞻远瞩的科学思维“绣花”,铺展城市发展美好蓝图。

聚拢要素、联合攻关,点燃长三角创新引擎。

TOP4热点:一图看懂|2025年中国经济社会发展“任务单”来了嫁到这世界边端第三季

列车在杭台高铁位于浙江嵊州境内的路段行驶(6月19日摄,无人机照片)。

6月20日,就网传说法,上海辟谣平台联系上海市教育考试院工作人员,对方回应称,网传泄题说法均为不实信息,“目前各科考试已全部结束,情况正常,不存在泄题的情况。对于制造谣言者,将保留追究其法律责任的权利,请大家不信谣、不传谣。”对于中考如有疑问,可拨打市教育考试院咨询电话35367070反映情况。

TOP5热点:女子阻止网友辱骂唐氏患者遭上门殴打,打人者因寻衅滋事被行拘10日诗晴公车

郑东新区党工委委员、郑州中原科技城管委会常务副主任赵凯介绍,中原科技城规划建设以来,累计招引华润数科北方总部等领军项目382个,集聚了嵩山实验室、哈工大郑州研究院等一批高能级机构,培育市级以上研发平台313个。特别是河南省科学院的重建,有力支撑了中原科技城的体系化发展。

马克思主义这一肇始自西方的学说自传入之初,便与中华文明产生了共振。

TOP6热点:国务院关税税则委:对原产于美国的部分进口商品加征关税read[长弓燧龙] 胡桃 (原神)

新华社记者王子铭、孙少龙、张研

数据只是创新引领发展的一个侧影。近年来,郑东新区下决心跳出固有发展模式,全力做好创新、开放、绿色生态大文章,努力成为中原经济区高质量发展的“火车头”和创新驱动的“发动机”。

TOP7热点:美国防长称不寻求与中国开战但会为战争做好准备,外交部用三个“不要”回应read[长弓燧龙] 胡桃 (原神)

江海潮涌处,扬帆奋进时。在习近平新时代中国特色社会主义思想引领下,勇于担当,主动作为,大胆突破,江海交汇、河湖相通的长三角正携手共进,推动长三角一体化发展不断取得更加丰硕的成果,绘就一体化高质量发展新图景。

天下大事必作于细。精细“绣花”,久久为功,我们的城市定将更美丽,生活定将更美好。

TOP8热点:女子阻止网友辱骂唐氏患者遭上门殴打,打人者因寻衅滋事被行拘10日baby镂空内衣

2020年以来,战略性新兴产业增加值年均增速143%,研发经费年均增速超70%,技术合同成交额年均增速超187%。在260平方公里的辖区,集聚了海康威视、大华、超聚变等近600家高新技术企业,逾千家科技型企业,超万家科创企业。

《全球发展高层对话会成果清单》中的32项务实举措已有一半实施完成或取得早期成果、全球发展倡议项目库务实合作项目总数突破100个、过去一年中国政府立项安排1000期人力资源开发合作项目……报告梳理了倡议提出一年多来的各项重要举措和进展。

TOP9热点:政府工作报告中的政策举措将如何落到实处、发挥实效?沈丹阳答澎湃麦子的妈妈

在习近平总书记亲自推动下,在习近平新时代中国特色社会主义思想指引下,收藏在博物馆里的历史文物、广阔大地上的文化遗产、书写在古籍里的中国文字活了起来,中华文化日益彰显出穿越时空的深邃智慧和永恒价值。

2022年年底,南京都市圈联合河湖长制启动,江苏、安徽两省九市共治一方水,都市圈河湖由“各管各”变成了“联合治”。联合巡河每月一回,今年以来李灯冰已参加5次。“跨省联合巡护,实现跨界河湖边界区域监管全覆盖。”

TOP10热点:辽宁省科技馆推进IMAX厅放映哪吒2:已咨询消防安全方案iphone14多少欧美

报告指出,一年多来,全球发展倡议有效凝聚了共促发展的国际共识,推动国际社会对全球发展“再聚焦”、对2030年议程“再承诺”,有力回应了全球性挑战和广大发展中国家的发展需求,为推动实现2030年可持续发展目标提供了“加速器”。

“作为郑汴洛中原城市群中具有标杆和示范引领意义的现代化新城,郑东新区曾经靠土地出让金的滚动支撑取得了发展。”郑东新区管委会主任、郑州中原科技城管委会主任牛瑞华说,土地财政虽可照顾眼下,却不长远。

发布于:楚雄彝族自治州