人物专题-"407宿舍(双/3/p)懒得取名字"-全方位超越 Sora,Meta 最新的 AI 视频模型到底强在哪里?_ZAK407宿舍(双/3/p)懒得取名字ER新闻

407宿舍(双/3/p)懒得取名字全方位超越 Sora,Meta 最新的 AI 视频模型到底强在哪里?_ZAK407宿舍(双/3/p)懒得取名字ER新闻

407宿舍(双/3/p)懒得取名字全方位超越 Sora,Meta 最新的 AI 视频模型到底强在哪里?_ZAK407宿舍(双/3/p)懒得取名字ER新闻

全方位超越 Sora,Meta 最新的 AI 视频模型到底强在哪里?_ZAK407宿舍(双/3/p)懒得取名字ER新闻

  杨某,女,南阳职业学院学生。活动轨迹包括:9月26日20:50乘坐兰州-西峡的K306(11车4下铺);9月27日11:26到达西峡火车站后,在站外扫码测温和做核酸检测(结果阴性),11:51乘坐出租车(豫RT4674)到南阳职业学院,12:01到学校,乘坐电梯返回学生公寓。

这两天,视频生成模型领域因为 Meta Movie Gen 的发布,又炸开了锅。行业内外感叹最多的地方,无外乎两点,一是生成效果自然逼真,还能同步生成与画面匹配的声音,很像当时 Sora 发布后引起的讨论和轰动;二是 Meta AI 的新模型自定义性很强,无论是视频画面比例,还是视频元素与细节,都能根据用户的需求进行调整。https://s3.ifanr.com/wp-content/uploads/2024/10/AQP1vMJJ3LCIfFzI3RV-_eHkSkSEVWdq6fuX90b37Gg2JWzlrsz0PmjT8HeeKUIgX8CtBz10MEaoREtg0i2WVzga.mp4所以,可能会引领视频生成新变革的 Meta Movie Gen 到底有哪些细节?这些在官网和演示视频里的惊艳效果是怎么炼成的?Meta AI 的视频模型负责人 Andrew Brown 专门为 Meta Movie Gen 的理论技术做了解读:Movie Gen 在整体质量和一致性方面显著优于 Sora。真实性和美观性考验照片写实性,Movie Gen 全面获胜。Meta Movie Gen 是一组可以进行文本到视频生成、文本到图像生成、个性化、编辑和视频到音频生成的模型。扩展数据、计算和模型参数非常重要,将其与流匹配相结合,并转向简单的常用 LLM 架构 ( Llama ) ,从而实现了 SOTA 视频生成质量。我们(Meta AI)是第一个使用 Llama arch 进行媒体生成的人。Movie Gen 是一个 30B 参数转换器,可生成不同宽高比和同步音频的 1080p 视频,最大持续时间为 16 秒(16fps)。我们(Meta)为 T2V 模型提供了多阶段训练方案。T2I + T2V 联合训练,导致收敛速度慢得多且质量更差。文本到视频的评估很困难。自动化指标非常差,并且与人类评估没有很好的相关性。 视频生成的「超级个体」Meta Movie Gen 首发当天,APPSO 在第一时间报道解读了这个最新的视频生成模型,总体来说,Movie Gen 具有四种功能:视频生成、个性化视频生成、精准编辑和音频生成。先看最基础的视频生成 Movie Gen Video,多模态的能力使得新模型可以胜任多种不同的输入方式,用户不仅可以通过简单的文本、少许提示词生成相应的视频,还能直接把需要处理的图片放到模型里,根据文字要求,让静态的图片变成动态的视频。https://s3.ifanr.com/wp-content/uploads/2024/10/AQOGoRNNttaiv6GurKZSTJInN2JKv-I_KDeLmKlP0ezuMNoFSnPj2w_UKfMrU7TJ6OuhC5bYmfjbOwcXXRMldykb.mp4▲   提示文本:一个女孩正在海滩上奔跑,手里拿着一只风筝;她穿着牛仔短裤和一件黄色 T 恤;阳光照耀着她。你甚至还能让 Movie Gen 帮忙重新生成或者优化一段视频。不管选择哪种输入方式,Movie Gen 目前在官网的演示视频,效果都非常好,人物表情自然,画面细节到位,也能比较准确地按照提示词或文本的要求来生成相应结果。https://s3.ifanr.com/wp-content/uploads/2024/10/AQPoimKxH0OjSM2nrwEMvGZ4p1MPTVxM86qgLLo3WWrQcs_3k7q2AFxNgDU7wQR9AiODYnzhAvNv66EYk5CL-JjC.mp4Andrew Brown 介绍到,在视频生成的过程中,扩展数据、计算和模型参数非常重要,将其与流匹配相结合,并转向简单的常用 LLM 架构 ( Llama ) ,从而实现了 SOTA 视频生成质量。而且,新模型中的 T2V、个性化和编辑模型都来自相同的培训方案。在预训练期间,Meta 首先训练 T2I,然后训练 T2V。使用该模型作为初始化,然后进行 T2V 后期训练,并训练个性化 T2V 和 V2V 编辑的能力。另外,模型的训练也按照分辨率的高低进行,先是低分辨率(256px)训练,然后是高分辨率训练(768px)。Meta AI 尝试联合训练 T2I + T2V,但这导致收敛速度慢得多且质量比之前的还要差劲。Movie Gen Video 之所以能够做到逼真的生成结果,本质上还是因为高达 30B 参数转换器模型的卓越能力,这个模型能够以每秒 16 帧的速度生成长达 16 秒的视频,而且最长能够生成 45 秒的高质量和高保真音频。Meta 官方还在论文中透露:这些模型可以推理物体运动、主体与物体之间的相互作用和相机运动,并且可以学习各种概念的合理运动。这句话一共有三层意思,首先是模型本身可以几乎还原出现实世界的物理运动,以及各种「合乎常理」的物理规律,而对于用户而言,看上去「自然且逼真」就是模型技术最成功的地方。https://s3.ifanr.com/wp-content/uploads/2024/10/AQODlBNBPphoHO0OxyhgRUjxX2_ypK3-g7d8uLcSSfQKz-BWwxaw6O3ru8Hj8P4hsQvePxUXjMkQP1s6LZS0dP-B.mp4Movie Gen Video 能够准确理解物理世界的运动规律,Meta AI 是下了大功夫的。该团队在数亿个视频和数十亿张图像上,对全新的模型进行了大量的预训练。通过不停的重复、学习、总结、推理和运用,Movie Gen Video 才有了在官网里的优异表现。接着,模型还能主动模仿学习专业电影的运镜、画面、蒙太奇等。也就是说,通过 Movie Gen Video 生成的视频,还有了类似电影拍摄的专业性和艺术性。https://s3.ifanr.com/wp-content/uploads/2024/10/AQNJgXGFWj-R5P_psMtiR6l5TLrDr8g45ckHVx0tERIlod4irfm29mLts61SShKHI7Gfnry7P6aWDk0FB8R9xZ3B.mp4不过 Andrew Brown 提到,文本到视频的评估很困难。因为自动化指标非常差,并且与人类评估没有很好的相关性。也就是说,在视频生成模型研制的早期,生成结果和人们印象中和观察中的真实物理世界差别太大,最后 Meta 还是决定这种真实性的判断,完全依赖人类的评估。我们花费了大量精力将视频评估分解为多个正交质量和对齐轴。结果 Movie Gen 在和 1000 个提示评估集上的模型进行比较时,在质量和一致性方面获胜或全面处于同等水平。最后,模型能在此基础上,推理和创作出接下来的内容,它就像一个专业的导演,指挥着画面里的一举一动;也像一个经验丰富的拟声师,根据视频内容或者文本提示,实时生成和画面一一对应的配乐。https://s3.ifanr.com/wp-content/uploads/2024/10/AQM2lzIy5kQwBQ7F0FEBzOwq2YGB-hFKnmoz5SZmOmGhZCMKRc1sqsG0tK7EOVl8133rQjPhHxfRlp_WFBurPqR4.mp4▲ 烟花爆炸瞬间的音效同步生成音频的能力,依靠得是 Movie Gen Audio。这是一个 13B 参数转换器模型,可以接受视频输入以及可选的文本提示,以实现可控性生成与视频同步的高保真音频。https://s3.ifanr.com/wp-content/uploads/2024/10/AQOqaT9K5XXcswrfjz54HfHzFkGfKM815Wkif-RD-wo9OUIzwCUDqt7zVOWR9pgOCohjBFxpKaMIZd7uZDS3t6Al.mp4和 Movie Gen Video 一样, Movie Gen Audio 也进行了「海量」练习,Meta AI 将数百万个小时的音频参考投喂到模型的训练里。经过大量的对比总结,目前模型已经掌握了声音和画面之间的对应关系,甚至还能了解不同的 bgm 会带给观众哪些不同的感受。因此在遇到有关情绪和环境的提示词时,Movie Gen Audio 总能找到和画面完美契合的音乐。https://s3.ifanr.com/wp-content/uploads/2024/10/AQNH70f1iPeyIzxUYOBL3qIYNRE-HKJl1P2VXipWwPwO-NkFeTPsBB5dyJCeezKQbqm8ANlae1-riMBHhS77F90Q.mp4同时,它可以生成环境声音、乐器背景音乐和拟音声音,在音频质量、视频到音频对齐和文本到音频对齐方面提供最先进的结果。这使它们成为同类中最先进的模型。虽然我们不敢就此和官方一样,下一个如此自信的定论,但无论是从官方的视频长度、画面质量,还是背景音乐的贴合程度,Movie Gen Video 相较于以往的视频生成模型,有了非常明显的进步。而且,和先前的偶像实力派 Sora 相比,Movie Gen 在整体质量和一致性方面都有着比较明显的领先,Andrew Brown 毫不掩饰地说到在这场与 Sora 的比赛中:Movie Gen 全面获胜。 视频编辑的「全能专家」在 Movie Gen Video 和 Movie Gen Audio 的协同配合下面,Meta AI 全新的视频生成模型有了全新的能力,不过上述的进步还只是技术基础,同时具备音视频生成能力后,Meta 还继续扩展了全新模型的适用范围,使它能够支持个性化视频的生成。个性化顾名思义,就是结合用户需求,根据要求生成指定的视频内容。虽说先前的视频模型也能做到个性化生成结果,但这个结果总是不尽人意,要么是不能更改细节,只能重新来过,要么是在连续更改细节时,画面里的其他元素无法保持一致性,总是会因为新视频的生成而多少受到点影响。https://s3.ifanr.com/wp-content/uploads/2024/10/AQN93-PQzwvk9hXxtg_CXRKF0iuS3vDfYDAd6o7L2PLo9s46t2mt3PfVgBJfLqyzKvmH3_avUhVuR5vlaFA3KEiY.mp4Movie Gen Video 在官网的演示中,很好地展现了他们在这方面的优势。新模型不仅可以按照提示词 / 参考图像的要求,生成个性化的视频,还能在该视频的基础上,继续优化调整细节,并且保证其他的生成内容不受干扰,也就是「精细化修改」。与需要专业技能或缺乏精确度的生成工具的传统工具不同,Movie Gen 保留了原始内容,仅针对相关像素。在创建保留人类身份和动作的个性化视频方面,我们的模型取得了最先进的成果。这项功能,对于很多自媒体工作室,或有视频编辑需求的人,非常有用,它可以对更改对象进行全局修改,或者细节修改。大到根据文本重新生成整个画面,小到只改变人物的发色、眼镜的样式等。比如可以通过模型来消除背景当中的无关杂物。https://s3.ifanr.com/wp-content/uploads/2024/10/AQOlcQl6jghERiA76vaIS8d0NbfUpcoRGuHFWNH6-eyueaTqKtLemFcJEZhv90zsF4xwtPoRtIyN_tKlsKHGG4Jx.mp4或者给原视频换上新的背景,不管是样式还是颜色,都能随时改变,而且还可以把白天秒变成黑夜。另外 Movie Gen Video 还能针对很多细节做出细微的调整,在保证视频构图、画整体不变的同时,改变人物的衣服颜色、眼镜佩戴样式,主体穿着和宠物毛色等。比如去除视频里的无关杂物、更换画面背景样式,增加视频细节,改变主体衣着颜色等方面,都是他的强项。https://s3.ifanr.com/wp-content/uploads/2024/10/AQOgCjxW2-d5hyadozHguLaOWtBEbQbaGhvUFwsC94LlfL0kSDCRsE75H5mCtOBUJXON-J91a8-HeGuqKK9e6RC7.mp4不过这还只是一种畅想,因为 Movie Gen Video 目前只支持 1080P、16 秒、每秒 16 帧的高清长视频,或者最长 45 秒的高质量和高保真音频。这样的画面分辨率以及视频长度,对于一个有创作需求的个体或公司来说,好像都不太够用。但这种技术的突破,使得 AI 拥有了对视频文件无级调节的编辑能力,个性化定制、精准调节,加上 Movie Gen Audio 打开了视频配音的大门,Movie Gen Video 虽然要等到明年才会和公众正式见面,但以目前官方的演示结果来看,它真有可能为视频、影视和 AI 行业注入新的动力,甚至带来一场新的变革。https://s3.ifanr.com/wp-content/uploads/2024/10/AQNqaqS1K8y127TjMDSqVQFKxytdhtS2LIigdvwG1m1B7PSQ9MVJzbHUsmJ2r6NlDo5676AovslXGGRsFDAJof5C.mp4包括 Movie Gen Video 在内的最新、最前沿的工具,正在试图打破这种 AI 在视频生成领域的刻板印象,虽然目前以他们的能力,这一天的到来还有很久。对于视频生成模型来说,一开始很难直接影响,甚至触及到普通人的日常生活,直到有了某部由 AI 创作的电影,可能才会在新鲜感上,引起大众的注意。当下用 AI 做出的电影、番剧、动漫,多少都有些画面不真实、动作很违和的缺点。https://s3.ifanr.com/wp-content/uploads/2024/10/AQOuOxod5gTk4x2RfQBdpu5EARkJdH_eqk-WC6V_5YLxIiD0Q8-9XD3dOjwIDskByjO4lIRgylv_LwkPkEb1vgX2.mp4Meta AI 也在官网表示,随着模型技术的改善与发展,他们将会与电影制作人和创作者密切合作,整合他们的反馈。当下,无论是 Runway、Sora,还是最新的 Meta AI,都在飞速发展,起码和一年前的生成效果比较起来,可以看到肉眼可见的进步。AI 技术对人们生活的影响,不一定会在第一时间显现出来,当大家还都在探讨 AI「有什么用」的时候,那它对于大多数人的最大意义,就是多了一个好用的工具、一个好玩儿的玩具:无论一个人是希望在好莱坞大展身手的电影制作人,还是喜欢为观众制作视频的创作者,我们都相信每个人都应该有机会使用有助于提高创造力的工具。

koa12jJid0DL9adK+CJ1DK2K393LKASDad

编辑:郑义

TOP1热点:上海科学家成果登上《自然》,有望拓展对盐碱地的开发利用

  婺城区已第一时间启动应急响应,组织开展流调溯源、隔离管控、核酸检测等应急处置工作,排查到的密接、次密接已落实管控措施,并对其在婺活动场所进行环境采样检测及消毒。。

  9月27日23:39到达芜湖火车站,落地检后(核酸检测阴性),乘坐出租车(皖B85885)到达经开区城北公寓小区后未外出。

TOP2热点:复旦学者Cell发文:发现防治冠状病毒新靶点并设计了双功能抗病毒候选药物

  受强冷空气影响,预计,10月2日14时至10月6日20时,中东部大部地区气温普遍下降8~12℃,内蒙古中东部、东北地区、陕西大部、山西南部、黄淮、江淮、湖南北部、江西北部、安徽南部、江苏南部、浙江北部等地降温12~16℃,其中,内蒙古中部、黑龙江东部、吉林东部、河南南部、湖北、安徽中北部等地部分地区降温幅度可达18℃以上。

  在今天的决赛场上,最后一节,本场比赛拿到13分的奇兵武桐桐,在突破中遭遇伤病倒地不起。队友赶紧公主抱,把她抱到场边。这成为本场比赛最暖心的一幕。

TOP3热点:穿越海峡的热线|在北大学习党史的台青杨大誉:希望成为两岸交流的桥梁夜夜欢天天干

  9月28日晚,安徽合肥新站区在集中隔离点省外来肥密接人员核酸筛查中发现,陈某某(男,53岁)核酸检测初筛结果异常,立即转运至定点医院落实隔离医学观察。经市疾控中心复核确认阳性。

  接报后,包河区立即启动应急处置机制,全面开展流行病学调查、采样检测和隔离管控,并严格落实相关场所管控及环境消杀等防疫措施。

TOP4热点:澎湃AI晚新闻丨2025年1月31日如饥似渴la.vorace

  通过这场比赛,此前顺风顺水的中国女排也发现了不少问题。在主力自由人王梦洁缺席、主力接应龚翔宇明显受到伤病困扰的情况下,球队的一传变得不稳定,二传与攻手的配合也不是特别默契,进攻点还是主要依靠李盈莹的个人能力。

  为何此次冷空气未达寒潮标准也发布了预警?中央气象台首席预报员张涛解释,今年国庆节前后,我国南北方升温明显,多地气温创新高,而这一股冷空气势力非常强劲,将会给我国中东部大部地区造成剧烈降温。恰逢国庆假期,剧烈降温可能会对交通出行、生产生活有不利影响,从服务角度考虑,预报员可以酌情发布寒潮预警,这种情况在以往也有过。

TOP5热点:春节的8个晚上|拜年是一种古典主义的情感联结沈阳45岁老阿姨叫的没谁了

  9月28日:K307(11车厢),赞成宾馆西楼(上城区佑圣观路74-3号),贝壳酒店(钱塘区学正街537-539号金沙居2号楼)。

  9月24日11:35步行至工商银行百花支行办理银行卡。13:00步行至杨哥快餐店就餐。14:00乘坐校车,14:30到达河北大学(七一路校区),之后未外出。

TOP6热点:湖南湘潭一家族180多人连续8年自办“春晚”ALEXANDERWANG妈妈

  9月23日21:51乘坐K2288列车(18车厢)从铁岭站出发来保,9月24日11:32到达保定站,在车站进行落地双检(阴性)。

  9月28日9:52,自如家睿柏酒店(合肥火车站店)步行至地铁1号线合肥火车站地铁站,10:01乘坐地铁1号线于10:44至包河区万达城站下车使用车站卫生间,10:51再次乘坐地铁1号线折返至云谷路站,于11:05自云谷路站出站,步行至塞纳河畔酒店(庐州大道店),于11:10办理入住,期间于12:09在酒店附近罗森便利店购物,12:19返回酒店,至15:03隔离管控未再外出。

TOP7热点:美撞机事件涉事机场一周前画面曝光:直升机“伴飞”客机黑料传送门tttzzz07du

  9月22日,中国女篮正式开始世界杯之旅。前两场比赛分别对阵韩国和波黑队,两个对手并没有给球队制造太多的麻烦,中国女篮先后取得63分、47分大胜。与其说是为小组出线而努力,不如说是提前为淘汰赛练兵。

  1994年,她作为女篮国家队的成员,与郑海霞、王芳等女篮“黄金一代”的选手们一同战胜世界强队澳大利亚队,夺得世锦赛亚军,留下了一段令无数球迷津津乐道的佳话。

TOP8热点:上海岁语|曾在韩国求学的餐饮从业者,如何接住这波沪上“韩流”?填得很满是什么感觉

  通报称,请与上述人员在相同时间段、相关地点有过活动经历的居民朋友第一时间向属地乡镇、村(社区)、工作单位或莲池区防控办、疾控中心报告,暂不要外出,主动进行抗原检测,配合做好核酸检测及其他防控措施。

  为何隆冬时节的寒潮反而比春秋少呢?杨舒楠解释,春秋季属于季节转换时段,夏季风与冬季风切换,天气系统及冷空气活动频繁,导致气温起伏比较剧烈。尤其是秋季,前期基础温度比较高,一次冷空气开始之前往往出现明显升温,冷空气影响后降温幅度非常大,容易形成“断崖式”降温,相对容易达到寒潮标准。而隆冬时节,基础气温本来就低,冷空气来袭时降温幅度往往有限,达到寒潮标准的情况就相对较少。

TOP9热点:春节多地借乡贤资源招商引资,湖南一县签约项目总投资超百亿公司领导比老公厉害太多

  “立足于拼”就此成为了女篮备战世界杯的格言。长期担任女篮视频分析师的郑薇,对于世界各国强队的战术了如指掌,让女篮能在知己知彼的情况下,充分发挥自身优势。

  受强冷空气影响,预计,10月2日14时至10月6日20时,中东部大部地区气温普遍下降8~12℃,内蒙古中东部、东北地区、陕西大部、山西南部、黄淮、江淮、湖南北部、江西北部、安徽南部、江苏南部、浙江北部等地降温12~16℃,其中,内蒙古中部、黑龙江东部、吉林东部、河南南部、湖北、安徽中北部等地部分地区降温幅度可达18℃以上。

TOP10热点:澎湃AI早新闻丨2024年1月31日丁香花高清在线观看完整版

  尽管以1比3输给巴西队,4连胜被终结,但中国女排还是以4胜1负的战绩高居D组头名,晋级16强,一同晋级的还有巴西、日本和阿根廷队。

  K306/K307列车由兰州站始发,终到温州站,运行时间40小时20分钟,途经兰州、天水、南阳、合肥、杭州、温州等36站。

发布于:三亚市