�DeepSeek的Janus-Pro表现如何?_ZAKER动漫美女被❌到爽🔞流斗罗大陆新闻
DeepSeek的Janus-Pro表现如何?_ZAKER动漫美女被❌到爽🔞流斗罗大陆新闻
目前,萃华珠宝的定增事项还在进行中,若定增顺利完成,陈思伟还将获得更高比例的上市公司股份。
本文来自微信公众号:王智远,作者:王智远,题图来源:AI 生成昨晚,刷新闻时看到:DeepSeek 创始人梁文峰已经回广州老家过年了。然而,在 2025 年 1 月 27 日凌晨(除夕夜)前夕,他们团队发布了一款新模型:多模态框架 Janus-Pro。朋友在社群中吐槽道,估计他是想以中国人的方式,和美国 AI 圈一起庆祝春节。这款模型一发布,让本来就爆火的 DeepSeek 又一次成为了焦点。黄仁勋看了可能都想说:一晚上干掉我几千亿市值,年轻人不讲武德,下手没个轻重,居然还在除夕夜搞事情。不过,吐槽归吐槽,模型确实值得关注。我不是技术从业者,但可以把自身的理解汇报给你。一整个报告一共有四点。第一点是:DeepSeek Janus-Pro 是什么?它是一款先进的多模态理解和生成模型,是之前 Janus 模型的升级版。简单讲,这个模型能够同时处理文本、图像,即可以理解图片内容,也能文生图。为什么叫这个名字呢?在罗马神话中,Janus(雅努斯)是象征着矛盾和过渡的双面守护神,他有两副面孔,一副看着过去,一副看着未来,象征着开始和结束。这个模型设计理念是双重的,能理解图像又能生成图像,所以,它非常贴切模型的双重能力,才叫:雅努斯。问题来了,之前有 Janus,为什么还要推出 PRO 版?报告中提到,现在多模态模型虽然已经很厉害,但处理复杂的任务时,还有诸多不足,有些模型在理解图片内容时表现不错,但生成图片可能不稳定,要么细节处理不到位、甚至描述和想象的不一样;为了解决一系列问题,因此,才推出 Janus-Pro 版。既然这样,Janus-Pro 版采用什么样的架构呢?官方说:整体架构的核心设计原则是,将多模态理解任务和视觉生成任务的视觉编码进行解耦;我们应用独立的编码方法将原始输入转换为特征,然后,通过统一的自回归变换器进行处理。图释:Janus-Pro 模型架构示意图,如何分别处理理解图像和生成图像的任务这段话比较复杂。我举个例子:现在有个超级机器人叫 Janus-Pro。它的大脑被设计成两个部分,一个负责理解图片,另一个负责根据文字描述来画画。当机器人看到一张图片时,会用一个特别的 " 眼睛 "(叫 SigLIP 编码器)来仔细观察图片,然后,把看到的内容变成一串数字(高维语义特征)。这些数字像图片的 " 指纹 ",能帮助机器人理解图片里有什么。接下来,数字会被整理成一排,通过一个翻译器(适配器)转换成机器理解的语言。当机器人需要根据文字描述画面时,它会用另一个工具(叫 VQ tokenizer)把图片变成一串代码(离散 ID)。这些代码,就像图片的 " 密码 ",机器人可以根据密码重建照片。紧接着,代码也会被整理成一排,通过另一个 " 翻译器 "(生成适配器)转换成机器人能理解的语言;最后,机器人把两部分信息(理解图片的内容和根据文字描述画画的信息)和合并在一起,通过大脑(语言模型)来处理,最后,机器就能看到你要的东西了。简单讲,有四步:理解照片、提炼成语义、转换成机器人看得懂的东西、合并成你想要的东西。这是第一部分,它是什么?它的架构什么样。二那么,它是怎么训练出来的呢?一共有三个阶段:第一阶段,专注于训练适配器和图像头部。第二阶段处理统一预训练,第三阶段,监督微调。但我认为,这样理解比较复杂。打个比方:你现在正在教一个小孩学画画。一开始,你不会直接让他画一幅复杂的风景画,而是先让他练习画简单的形状,比如圆圈、正方形。等他把基本形状画得熟练了,再逐步增加难度,让他画更复杂的东西。Janus-Pro 的训练也是这样的。第一阶段,打基础。就像让小孩练习画 " 基本形状 " 一样,Janus-Pro 会先专注于学习图像基本特征,比如颜色、线条等。这个阶段的训练步骤增加了,模型才有更多时间学习基本特征,如此一来,即便在固定的语言模型参数下,模型也能有效模拟像素的规律,根据类别生成合理的框架。到了第二阶段,增强难度。当小孩能够熟练画出基本形状后,就可以开始画更复杂的东西了。同样,Janus-Pro 在这个阶段。会开始处理更复杂的任务,比如:根据文本描述生成图像。这个阶段的训练数据也做了优化,直接使用正常的文本到图像数据,提高了训练效率,这样,模型能够更高效地利用文本到图像数据,从而提升了整体性能。第三阶段,检验成果。就像让孩子参加画画比赛,检验他的学习成果一样,Janus-Pro 在这个阶段会同时处理多模态理解任务和文本到图像生成任务,进一步优化模型的性能。比如:将多模态数据、纯文本数据和文本到图像数据的比例从 7:3:10 调整为 5:1:4,进一步提升模态的理解能力。在数据上,官方提到:在 Janus-Pro 中,我们加入了大约 7200 万样本的合成美学数据,使得统一预训练阶段中真实数据与合成数据的比例达到 1:1,这些合成数据样本的提示是公开可用的。实验证明,模型在合成数据上训练时,收敛速度更快,生成的文本到图像输出不仅更稳定,而且在审美质量上也有显著提升。说白了,我认为,这三个步骤,如果总结归纳的话,用中国话叫:比着葫芦画瓢。问题来了:光画不够,因为,小朋友想画出一幅好画,必须要学很多东西,去理解世界,看各种各样的动物、照片,才有抽象的能力。怎么办?为了提高 Janus-Pro 在任务中的表现,团队增加了大量的图像字幕数据、表格图表、以及文档理解数据;这些数据,能让模型有机会学习不同的东西。这叫:多模态理解数据的能力。然后,团队又增加了大量的合成美学数据。这些数据让模型,有更多机会学习如何生成高质量的图像,从而提高模型的生成能力。因此," 比着葫芦画瓢连 " 加上学习,它才能在日常中更出色。三可是,光有数据和学习能力还不够,就像小朋友要长大,需要不断提升认知能力一样,Janus-Pro 也要 " 长大 "。那么,它是怎么 " 长大 " 的呢?官方提到,先前版本使用的是 1.5B 语言模型,验证了视觉编码解耦的有效性。而在 Janus-Pro 中,团队将模型扩展到了 7B,并对 1.5B 和 7B 语言模型的超参数进行了优化。具体来说,1.5B 模型的嵌入大小为 2048,上下文窗口为 4096,注意力头数为 16,层数为 24。而 7B 模型的嵌入大小为 4096,上下文窗口为 4096,注意力头数为 32,层数为 30。看到这些数字,你可能会觉得头大。其实,参数可以抽象地理解为模型 " 大脑 " 的升级:嵌入大小:就像模型 " 记忆容量 ",越大,能记住的信息就越多上下文窗口:就像模型 " 视野范围 ",越大,能看到的上下文信息就越丰富注意力头数:就像模型 " 注意力焦点 ",越多,能同时关注的细节就越多层数:就像模型的 " 思考深度 ",越多,能进行的思考就越复杂通过升级,Janus-Pro 的 " 大脑 " 从一个小学生变成了一个大学生,能力得到了全面提升。官方团队发现,使用更大规模的语言模型时,多模态理解和视觉生成的损失收敛速度,显著提高,与较小模型相比,性能提升明显。这一发现,进一步验证了这种方法的强大可扩展性。说白了,更大模型就像一支更高级的画笔,能够更精细地处理复杂的任务,生成更高质量的图像和更准确的理解结果。图释:Janus-Pro 模型超参数配置概览那么,这些升级如何实现呢?来看看训练过程。官方提到:Janus-Pro 使用了 DeepSeek-LLM 作为基础语言模型,这是一个支持最大序列长度为 4096 的强大模型。对于视觉编码器,Janus-Pro 选择了 SigLIP-Large-Patch16-384,这是一个能够从图像中提取高维语义特征的编码器。生成编码器的码本大小为 16,384,图像下采样因子为 16。训练过程中,Janus-Pro 采用了多种优化策略;例如,使用了 AdamW 优化器,使得学习率在不同阶段逐渐调整。整个训练过程在 HAI-LLM 框架上进行,强大的硬件支持确保,Janus-Pro 能够在短时间内完成复杂的训练任务。这些数据看不懂没关系,我抽象解释下:你家小孩要参加一个画画比赛,你需要为他准备一套好用的画具,还得找一位经验丰富的老师来指导他,对吧?DeepSeek-LLM 像那套高级画具,能够帮助 Janus-Pro 更好地处理复杂的任务。AdamW 优化器,像经验丰富的老师,会根据小孩的学习进度,逐渐调整教学难度,让小孩在每个阶段都能稳步进步。HAI-LLM 框架就像是一个宽敞明亮的画室,为小孩提供了专注创作的环境。有了软硬兼施的整体支持,Janus-Pro 才能轻松应对复杂的文本描述,生成高质量的图像的任务。四理论固然重要,实际表现才是检验模型能力的真正标准,有句中国话叫什么:是骡子是马,拉出来遛遛。那么,Janus-Pro 的实际表现如何呢?来看看它的评估设置和与最新技术的比较。为了验证 Janus-Pro 的性能,团队进行了严格的评估,他们选择了多个基准测试,包括多模态理解任务和视觉生成任务。多模态理解任务:包括 GQA、POPE、MME 等。这些测试就像是让 Janus-Pro 看一幅画,然后描述画里的内容,看看它能不能准确地理解。视觉生成任务:包括 GenEval 和 DPG-Bench。这些测试则是给 Janus-Pro 一个文字描述,让它根据描述画出一幅画,看看它能不能画得像、画得好。说白了,就是反复进行 " 看图说话 " 和 " 说话想象图片 " 的双重测试。那么,Janus-Pro 在这场 " 考试 " 中表现如何呢?我们可以拿它和其他的 " 考生 ",也就是其他多模态模型——来做比较。首先,多模态理解任务上:Janus-Pro 在 MMBench 基准测试中得分 79.2,超过了其他一些知名的模型,比如 TokenFlow-XL(68.9)和 MetaMorph(75.2)。这像在一场画画比赛中,Janus-Pro 的画作得到更高的评价,说明它在理解图像内容方面确实很厉害。对了,TokenFlow-XL 是 ByteFlow-AI 团队开发的一个多模态模型,而 MMBench 由 Meta 公司开发;这两个对比充分说明了 Janus-Pro 在多模态理解任务中的领先地位。图释:多模态理解基准测试中不同模型性能对比其次,在视觉生成任务上:Janus-Pro 在 GenEval 基准测试中的得分(0.80),也超过了 DALL-E 3(0.67)和 Stable Diffusion 3 Medium(0.74)等模型。这像给 Janus-Pro 一个文字描述,让它画出一幅画,结果它画得比其他模型更准确、更细致,说明它在根据文字描述生成图像方面也很出色。对了,DALL-E 3 是 OpenAI 开发的文生图模型,而 Stable Diffusion 3 Medium 不用说了,众所周知,专注于生成高质量图片,特别在中等分辨率下表现出色。所以,结论是什么?一句话总结即:Janus-Pro 在这场 " 考试 " 中表现优异,吊打部分行业头部模型。还有一点是:这些测试不是自己测的。是专业机构 gemimi 和 DPG bench 权威认证,在 hanggenface 开源官网更新。报告参考: [ 1 ] . 发布地址:https://huggingface.co/deepseek-ai/Janus-Pro-1B [ 2 ] . 报告地址:https://github.com/deepseek-ai/Janus/blob/main/janus_pro_tech_report.pdfkoa12jJid0DL9adK+CJ1DK2K393LKASDad
编辑:绍祖
TOP1热点:花了1万多的木屋被举报了
面对市场翻天覆地的变化,我们的策略是充分利用债券更高的收益率。我们力求从债券获取收益,包括较安全的投资级公司债券及风险较高的新兴市场债券,直到可以更好地评估央行政策转向对经济增长和通胀的影响。除了由于美联储加息可能或确实引发的“未知的未知”以外,我们在今年上半年至少看到了两种严重风险:企业盈利疲软和实际工资下降。。
TOP2热点:于正说沈腾比他更适合谢景行
星环科技IPO项目总得分为
存量房贷利率下调靴子落地,同时银行开启新一轮存款利率下调,以维护合理息差与盈利空间,存量房贷对银行股的情绪压制告一段落,银行板块止跌上行。
TOP3热点:美军公布夜袭胡塞武装画面麻花传MD0174苏蜜清歌
这意味着自营模式的钢贸业务为找钢网带来了稳定的现金流和收入,并随着规模增长在2017年实现了盈利,但是它也存在着固有的天花板,让找钢网接下来的故事并不好讲。
这意味着自营模式的钢贸业务为找钢网带来了稳定的现金流和收入,并随着规模增长在2017年实现了盈利,但是它也存在着固有的天花板,让找钢网接下来的故事并不好讲。
TOP4热点:3198元网购水晶收到假证acca少女sdanvi
OBV指标不能单独使用,当个股OBV指标新高后,必须与股价曲线结合使用才能发挥作用:
TOP5热点:容易伤肝的行为有哪些幼儿稀缺区超清幼儿是什么意思
从持仓来看,施成坚定持有新能源板汽车板块,他在中报表示,目前销量、库存、价格都到了比较极限的状态,处于衰退的末期,未来随着需求的回复,2-3年内将会持续向好。
TOP6热点:每周减1至2斤是健康减肥速度人与性动交ⅩXXXB
如此大手笔购买无人机的行为发生在一个县,让人感到无法理解也无法想象。更何况,平舆县的经济状况并不富裕。作为曾经的国家级贫困县,平舆县直到2020年2月才摘下贫困县的“帽子”,是河南省最后一批“摘帽”的贫困县之一。
TOP7热点:1999年出生 努努力可以活三个世纪啊〜用力〜嗯〜轻一点雷安视频
2021年,全国规模以上煤炭企业煤炭产量40.7亿吨,同比增长4.7%,创下历史新高。2022年,全国原煤产量45.6亿吨,同比增长10.5%,再创历史新高。这是自2011年以来,同比增幅首次重回10%区间。
TOP8热点:投资人不意外阿里打出夸克这张牌男男伦流澡~你tm别㖭了
美国
TOP9热点:蜜雪冰城改24小时营业强㢨一级二级2023
“于该次董事会中我们与公司经营管理层就2022年年度报告的部分问题再次进行了沟通,但仍未获得完整的解释和解决。”陈洁方面表示。
TOP10热点:赵丽颖早期评价来自星星的你男男被ᴄ的合不拢腿
责任编辑:王旭
推荐阅读
当上法院院长后,她的办公室和休息室合计68.7平方米,超出规定44.7平方米
刘国梁卸任乒协主席不到三天,令人恶心的一幕还是出现了!
李雪琴暴瘦30斤后大变样!穿半透鎏光裙又纯又欲,美到差点认不出了!
广西壮族自治区党委书记:期限前主动上交款项的干部,按自查从宽处理
台军女飞行员郭文静:只要长官敢下令,我会毫不犹豫的击落歼20
巴萨夺冠,全员列队鼓掌致敬安帅!皇马15冠功勋即将离开
印度男子婚礼当天揭开新娘的头纱,发现自己迎娶的竟然是岳母,婚事由他的哥嫂安排的
