中国windows野外视频生成无损提速：删除多余token，训练时间减少3中国windows野外0%，帧率越高效果越好_ZAKER新闻
视频生成无损提速：删除多余token，训练时间减少3中国windows野外0%，帧率越高效果越好_ZAKER新闻
近期，一些地方出现的医院门急诊量增长，儿童呼吸道疾病感染人数增多的情况。据媒体报道，北京儿科门诊量已高位运行超一个月，北京儿童医院、首都儿科研究所以及各大医院的儿科门诊量高位运行已经超过一个多月了。
Don ’ t look twice！把连续相同的图像块合并成一个 token，就能让 Transformer 的视频生成速度大幅提升。卡内基梅隆大学提出了视频生成模型加速方法Run-Length Tokenization（RLT），被 NeurIPS 2024 选为 Spotlight 论文。在精度几乎没有损失的前提下，RLT 可以让模型训练和推理速度双双提升。一般情况下，利用 RLT，Transformer 视频模型的训练时间可缩短 30%，推理阶段提速率提升更是可达 67%。对于高帧率和长视频，RLT 的效果更加明显，30fps 视频的训练速度可提升 1 倍，长视频训练 token 减少 80%。相比于传统的剪枝方法，RLT 能用更小的精度损失实现更好的加速效果。有人想到了电视剧中的评论，认为这项研究找到了在压缩空间中进行搜索的方法。DeepMind 科学家 Sander Dieleman 则评价称，这项研究是一种 " 非主流 "（Off-the-grid）的创新方法，但比起其他复杂的非主流研究，又显得非常简洁。重复图像块合为一个 tokenRLT 的核心原理，是利用视频中存在大量时间上重复的图像块这一特点，将重复的图像块合并为一个 token 表示。这种情况下，还需要用一个位置编码来表示这个 token 的长度，但 RLT 总体上减少了输入的 token 数量。要想完成重复 token 的修剪，首先要对视频进行分块。具体来说，视频在空间和时间维度上会被划分成固定大小的图像块，每个图像块的大小为 C × D_x × D_y × D_t，每个图像块都对应一个空间 - 时间位置。（其中 C 是通道数，D_x 和 D_y 是空间维度大小，D_t 是时间维度大小。）划分完成之后，需要比较时间上相邻的图像块，判断它们是否相似，也就是是否需要合并。对于时间位置相差 1 的两个图像块 P_1 和 P_2，取 P_1 的第一帧和 P_2 的最后一帧，计算它们的 L1 距离。如果距离小于一个预设的阈值 τ，就认为 P_1 和 P_2 是静态重复的（阈值 τ 表示允许多大程度的相似性，设置与具体数据集无关）。完成判别之后，重复的图像块会被移除。对于一串连续的、两两之间都是静态重复的图像块，RLT 只保留第一个块对应的 token。这一步是在 patch embedding 之前完成的，因此移除 token 不需要改动模型结构。经过这一步，输入的 token 数量从 N_P 降低到了 N_P ’（N_P ’≤ N_P）。为了让合并后的 token 仍然能够反映完整的视频信息，接下来要给每个 token 加上长度编码。对于一个保留下来的 token，系统会计算它所代表的原始 token 的长度 l_i，也就是它到下一个没有被移除的 token 的距离。长度信息 l_i 与 token 的空间 - 时间位置 ( x，y，t ) 一起，用一个可学习的长度编码矩阵映射成一个 d 维的 embedding 向量，与 patch embedding 相加，作为输入 token 的最终表示。最后只需要将处理后的 token 序列输入到视频 Transformer 中，进行常规的训练或推理过程。不过需要注意的是，由于每个视频样本计算出的 token 数量 N_P ’不尽相同，样本之间可能有较大差异。然而标准的 Transformer 是按批次处理固定长度的序列的。为了能在一个批次中处理多个长度不一的视频，RLT 采用了一种称为 "example packing" 的方法，将这一批中所有视频样本的 token 序列首尾相连，拼成一个超长的序列，作为 Transformer 的输入。这样的话，Transformer 实际上是在处理一个批次大小为 1、长度为所有样本 token 数量之和的序列。通过以上步骤，RLT 能够去除视频中的许多冗余 token，在几乎不损失精度的情况下，大幅降低内存占用和计算量，加速视频 Transformer 的训练和推理。训练时长下降 30%在训练阶段，RLT 对 ViT-B 和 ViT-L 两种规模的模型都有很好的加速效果。在 Kinetics-400 上，ViT-BRLT 和 ViT-L 训练时间分别从 14.4 小时和 21.6 小时，降低到 10.2 小时和 15.4 小时，降幅均接近 30% 左右，精度损失不超过 0.1 个百分点；在 SSv2 上，两者的训练时间分别从 10.1 和 15.2 小时，降低到 7.2 和 10.8 小时，降幅也接近 30%，精度同样仅下降 0.1 个百分点。相比之下，传统的剪枝方法 Token Merging 在精度下降 0.1-0.5 个百分点的情况下，加速只有 10-20%。在推理阶段，也不需要额外的训练，就可以将 RLT 作为现成的 tokenizer，达到很好的加速效果。具体来说，RLT 能在几乎不牺牲精度的情况下（不超过 0.5 个百分点），将推理阶段的计算量和延迟降低 30-60%。同样在 Kinetics-400 和 SSv2 上，对于 ViT-B 和 ViT-L，RLT 都能带来 60% 以上的推理加速。对于更大的 ViT-H，在 Kinetics-400 上，RLT 也能实现 45% 的加速效果。特别地，作者还针对高帧率和长时长视频数据集进行了测试，发现 RLT 带来的 token 下降幅度比在普通数据集中更高。同时在高帧率数据集当中，RLT 能够在精度损失同样低的情况下，实现更好的加速效果。而且帧率越高效果也越明显，对于 30fps 的视频，加速可达 100%。论文地址：https://arxiv.org/abs/2411.05222代码：https://github.com/rccchoudhury/rltkoa12jJid0DL9adK+CJ1DK2K393LKASDad
编辑:钱运高
TOP1热点：全国已有十余城推出官方市歌：什么样的歌曲能为一座城市代言
记者通过访客预约系统进行操作，发现即使以个人名义申请，简单几步，花费大约2分钟即可完成自助登记申请，此时手机短信会收到一个包含6位数字的进校码。。
TOP2热点：《求是》刊文：把邓小平同志开创的中国特色社会主义伟大事业不断推向前进
针对网络微短剧内容良莠不齐、运营模式乱象频出的现象，国家广播电视总局持续开展治理工作，并发布多项管理措施。各网络平台也相继开展对违规微短剧和相关账号的清查处置工作。
也要看到，11月24日晚间，中国驻缅甸大使馆发布紧急提醒。“当前，缅甸北部果敢老街地区冲突持续，在当地滞留的中方人员安全风险高企。中国驻缅甸使领馆提醒在老街地区的中方人员尽快转移撤离，远离冲突地区。”
TOP3热点：人民网评四问汝州：“41人考上事业编被集体清退”如何善后管家婆三期开一期精准的背景
在2018年的第十二届珠海航展上，就首次亮相了可用于战场侦察和运输弹药物资的小型军用四足机器人，还有的军工单位宣称已经开始研制能背负武器装备的四足作战机器人。
这家新公司的主要资产和团队来自车BU，而车BU是华为汽车业务技术载体。整车企业是否投资这家智能部件新公司，在某种程度上意味着是否要与华为智能驾驶等汽车智能技术形成绑定关系。
TOP4热点：越共中央总书记、国家主席苏林抵达广州开启访华行程国精产品一二三产区欧美致敬很多经典的黑白mv
澎湃新闻记者在上海实测发现，打开滴滴出行APP，选择目的地后，随即跳转显示“网络加载异常”，无法电机“确认呼叫”按钮。截至27日晚23时，该状况仍未恢复，滴滴出行方面尚未公开就此发布相关信息。
从央视播报的画面来看，这些蜂群无人机高度统一，间距整齐划一，在目前世界范围内的军用蜂群无人机实践应用中，都算得上个中翘楚。
TOP5热点：长三角知政｜大学报到启动，浙江多地县委书记为本地新生送行八重神子被丘丘人繁衍后代的
根据南部战区的通报，这次演训是年度训练计划的一部分，旨在检验战区部队快速机动、边境封控、火力打击能力。南部战区还表示，时刻做好应对各类突发情况准备，坚决维护国家主权、边境稳定和人民生命财产安全。这个信号非常清晰，那就是在国家边境地区面临外来不确定性的时候，解放军有责任、有能力维护边境地区的和平稳定，让边境地区的居民安心、放心。对此，在中国社交媒体平台上，几乎没有人把解放军此举往干预缅甸内政上联想，认为“有解放军在老百姓就踏实了”的观点占了绝对主流。
TOP6热点：因陌生女孩酷似自己人工受孕所生女儿，遂发视频寻人？对方家属报警成品78W78隐藏通道1
据介绍，发电平台配置4个浮体方阵，装机总容量达400千瓦，可在浪高6.5米、风速每秒34米、4.6米潮差的开阔性海域安全运行，每小时最多发电400度，目前作为示范项目，供电给附近海域的海上科研基地。
更多有趣好玩的军事文章、视频、图片、电影、游戏，请关注“军武次位面”微信公众号。打开微信，公众号搜索“军武次位面”点击关注！
TOP7热点：越共中央总书记、国家主席苏林抵达广州开启访华行程人马配速45分钟
中国人民解放军南部战区组织陆军部队于11月25日起，位中缅边境我方一侧举行实战化演训活动。这是南部战区新闻发言人田军里空军大校昨天（11月25日）所发消息。
后来在7月初在新疆军区部队庆祝建党100周年活动中，出现了正式列装的军用机器狗，而在军事博物馆中，更是直接展出了已列装的察打一体四足机器人实物图片。
TOP8热点：安徽省纪委监委：已关注界首市赵亮网上实名举报相关情况老妇高潮潮喷到猛进猛出
9年前，身为江西省委常委、省委秘书长的赵智勇突然被降职。经查，他利用职务上的便利谋取私利，构成严重违纪被开除党籍，取消副省级待遇，降为科员。第二年，赵智勇从江西省人民政府驻北京办事处以科员身份退休。
根据国家广电总局的定义，微短剧，全称为网络微短剧，是指“单集时长从几十秒到15分钟左右、有着相对明确的主题和主线、较为连续和完整的故事情节”的剧集。
TOP9热点：美国就海警船碰撞事件为菲律宾撑腰，外交部：美方应停止挑动对抗美国人与畜禽CROPROATION
后来，我国又公开了一段视频，一架小型旋翼无人机从远处飞来稳稳地降落在地面上，随后将下部支架上的机器狗投放在地面后，立即飞离地面，能把无人机跟机器狗玩儿得这么溜的，恐怕全球也就独此一家了吧。
这就有点震惊到军武菌了，在咱们的印象里，好像拥有“天顶星科技”的美军都还没这么用机器狗吧，这解放军怎么都能把机器狗当一号突击手用到巷战了呢？
TOP10热点：长三角知政｜大学报到启动，浙江多地县委书记为本地新生送行2023国精产品一二三四区
中缅有着2000多公里边境线，作为山水相连的近邻，中方始终坚持从战略高度和长远角度看待和发展中缅关系。近年来，在双方的共同努力下，两国全方位、多层次、宽领域的合作格局逐步形成，传统友谊不断深化，在共建“一带一路”框架下稳步推进中缅经济走廊重点合作项目，不断结出丰硕成果，更好惠及两国人民。