美国XAXWAS9977777DeepSeek的Janus-Pro表现如何?美国XAXWAS9977777_ZAKER新闻
DeepSeek的Janus-Pro表现如何?美国XAXWAS9977777_ZAKER新闻
2011年,央行行长易纲曾撰写《“十一五”时期人民银行的对外交往与合作》一文。
本文来自微信公众号:王智远,作者:王智远,题图来源:AI 生成昨晚,刷新闻时看到:DeepSeek 创始人梁文峰已经回广州老家过年了。然而,在 2025 年 1 月 27 日凌晨(除夕夜)前夕,他们团队发布了一款新模型:多模态框架 Janus-Pro。朋友在社群中吐槽道,估计他是想以中国人的方式,和美国 AI 圈一起庆祝春节。这款模型一发布,让本来就爆火的 DeepSeek 又一次成为了焦点。黄仁勋看了可能都想说:一晚上干掉我几千亿市值,年轻人不讲武德,下手没个轻重,居然还在除夕夜搞事情。不过,吐槽归吐槽,模型确实值得关注。我不是技术从业者,但可以把自身的理解汇报给你。一整个报告一共有四点。第一点是:DeepSeek Janus-Pro 是什么?它是一款先进的多模态理解和生成模型,是之前 Janus 模型的升级版。简单讲,这个模型能够同时处理文本、图像,即可以理解图片内容,也能文生图。为什么叫这个名字呢?在罗马神话中,Janus(雅努斯)是象征着矛盾和过渡的双面守护神,他有两副面孔,一副看着过去,一副看着未来,象征着开始和结束。这个模型设计理念是双重的,能理解图像又能生成图像,所以,它非常贴切模型的双重能力,才叫:雅努斯。问题来了,之前有 Janus,为什么还要推出 PRO 版?报告中提到,现在多模态模型虽然已经很厉害,但处理复杂的任务时,还有诸多不足,有些模型在理解图片内容时表现不错,但生成图片可能不稳定,要么细节处理不到位、甚至描述和想象的不一样;为了解决一系列问题,因此,才推出 Janus-Pro 版。既然这样,Janus-Pro 版采用什么样的架构呢?官方说:整体架构的核心设计原则是,将多模态理解任务和视觉生成任务的视觉编码进行解耦;我们应用独立的编码方法将原始输入转换为特征,然后,通过统一的自回归变换器进行处理。图释:Janus-Pro 模型架构示意图,如何分别处理理解图像和生成图像的任务这段话比较复杂。我举个例子:现在有个超级机器人叫 Janus-Pro。它的大脑被设计成两个部分,一个负责理解图片,另一个负责根据文字描述来画画。当机器人看到一张图片时,会用一个特别的 " 眼睛 "(叫 SigLIP 编码器)来仔细观察图片,然后,把看到的内容变成一串数字(高维语义特征)。这些数字像图片的 " 指纹 ",能帮助机器人理解图片里有什么。接下来,数字会被整理成一排,通过一个翻译器(适配器)转换成机器理解的语言。当机器人需要根据文字描述画面时,它会用另一个工具(叫 VQ tokenizer)把图片变成一串代码(离散 ID)。这些代码,就像图片的 " 密码 ",机器人可以根据密码重建照片。紧接着,代码也会被整理成一排,通过另一个 " 翻译器 "(生成适配器)转换成机器人能理解的语言;最后,机器人把两部分信息(理解图片的内容和根据文字描述画画的信息)和合并在一起,通过大脑(语言模型)来处理,最后,机器就能看到你要的东西了。简单讲,有四步:理解照片、提炼成语义、转换成机器人看得懂的东西、合并成你想要的东西。这是第一部分,它是什么?它的架构什么样。二那么,它是怎么训练出来的呢?一共有三个阶段:第一阶段,专注于训练适配器和图像头部。第二阶段处理统一预训练,第三阶段,监督微调。但我认为,这样理解比较复杂。打个比方:你现在正在教一个小孩学画画。一开始,你不会直接让他画一幅复杂的风景画,而是先让他练习画简单的形状,比如圆圈、正方形。等他把基本形状画得熟练了,再逐步增加难度,让他画更复杂的东西。Janus-Pro 的训练也是这样的。第一阶段,打基础。就像让小孩练习画 " 基本形状 " 一样,Janus-Pro 会先专注于学习图像基本特征,比如颜色、线条等。这个阶段的训练步骤增加了,模型才有更多时间学习基本特征,如此一来,即便在固定的语言模型参数下,模型也能有效模拟像素的规律,根据类别生成合理的框架。到了第二阶段,增强难度。当小孩能够熟练画出基本形状后,就可以开始画更复杂的东西了。同样,Janus-Pro 在这个阶段。会开始处理更复杂的任务,比如:根据文本描述生成图像。这个阶段的训练数据也做了优化,直接使用正常的文本到图像数据,提高了训练效率,这样,模型能够更高效地利用文本到图像数据,从而提升了整体性能。第三阶段,检验成果。就像让孩子参加画画比赛,检验他的学习成果一样,Janus-Pro 在这个阶段会同时处理多模态理解任务和文本到图像生成任务,进一步优化模型的性能。比如:将多模态数据、纯文本数据和文本到图像数据的比例从 7:3:10 调整为 5:1:4,进一步提升模态的理解能力。在数据上,官方提到:在 Janus-Pro 中,我们加入了大约 7200 万样本的合成美学数据,使得统一预训练阶段中真实数据与合成数据的比例达到 1:1,这些合成数据样本的提示是公开可用的。实验证明,模型在合成数据上训练时,收敛速度更快,生成的文本到图像输出不仅更稳定,而且在审美质量上也有显著提升。说白了,我认为,这三个步骤,如果总结归纳的话,用中国话叫:比着葫芦画瓢。问题来了:光画不够,因为,小朋友想画出一幅好画,必须要学很多东西,去理解世界,看各种各样的动物、照片,才有抽象的能力。怎么办?为了提高 Janus-Pro 在任务中的表现,团队增加了大量的图像字幕数据、表格图表、以及文档理解数据;这些数据,能让模型有机会学习不同的东西。这叫:多模态理解数据的能力。然后,团队又增加了大量的合成美学数据。这些数据让模型,有更多机会学习如何生成高质量的图像,从而提高模型的生成能力。因此," 比着葫芦画瓢连 " 加上学习,它才能在日常中更出色。三可是,光有数据和学习能力还不够,就像小朋友要长大,需要不断提升认知能力一样,Janus-Pro 也要 " 长大 "。那么,它是怎么 " 长大 " 的呢?官方提到,先前版本使用的是 1.5B 语言模型,验证了视觉编码解耦的有效性。而在 Janus-Pro 中,团队将模型扩展到了 7B,并对 1.5B 和 7B 语言模型的超参数进行了优化。具体来说,1.5B 模型的嵌入大小为 2048,上下文窗口为 4096,注意力头数为 16,层数为 24。而 7B 模型的嵌入大小为 4096,上下文窗口为 4096,注意力头数为 32,层数为 30。看到这些数字,你可能会觉得头大。其实,参数可以抽象地理解为模型 " 大脑 " 的升级:嵌入大小:就像模型 " 记忆容量 ",越大,能记住的信息就越多上下文窗口:就像模型 " 视野范围 ",越大,能看到的上下文信息就越丰富注意力头数:就像模型 " 注意力焦点 ",越多,能同时关注的细节就越多层数:就像模型的 " 思考深度 ",越多,能进行的思考就越复杂通过升级,Janus-Pro 的 " 大脑 " 从一个小学生变成了一个大学生,能力得到了全面提升。官方团队发现,使用更大规模的语言模型时,多模态理解和视觉生成的损失收敛速度,显著提高,与较小模型相比,性能提升明显。这一发现,进一步验证了这种方法的强大可扩展性。说白了,更大模型就像一支更高级的画笔,能够更精细地处理复杂的任务,生成更高质量的图像和更准确的理解结果。图释:Janus-Pro 模型超参数配置概览那么,这些升级如何实现呢?来看看训练过程。官方提到:Janus-Pro 使用了 DeepSeek-LLM 作为基础语言模型,这是一个支持最大序列长度为 4096 的强大模型。对于视觉编码器,Janus-Pro 选择了 SigLIP-Large-Patch16-384,这是一个能够从图像中提取高维语义特征的编码器。生成编码器的码本大小为 16,384,图像下采样因子为 16。训练过程中,Janus-Pro 采用了多种优化策略;例如,使用了 AdamW 优化器,使得学习率在不同阶段逐渐调整。整个训练过程在 HAI-LLM 框架上进行,强大的硬件支持确保,Janus-Pro 能够在短时间内完成复杂的训练任务。这些数据看不懂没关系,我抽象解释下:你家小孩要参加一个画画比赛,你需要为他准备一套好用的画具,还得找一位经验丰富的老师来指导他,对吧?DeepSeek-LLM 像那套高级画具,能够帮助 Janus-Pro 更好地处理复杂的任务。AdamW 优化器,像经验丰富的老师,会根据小孩的学习进度,逐渐调整教学难度,让小孩在每个阶段都能稳步进步。HAI-LLM 框架就像是一个宽敞明亮的画室,为小孩提供了专注创作的环境。有了软硬兼施的整体支持,Janus-Pro 才能轻松应对复杂的文本描述,生成高质量的图像的任务。四理论固然重要,实际表现才是检验模型能力的真正标准,有句中国话叫什么:是骡子是马,拉出来遛遛。那么,Janus-Pro 的实际表现如何呢?来看看它的评估设置和与最新技术的比较。为了验证 Janus-Pro 的性能,团队进行了严格的评估,他们选择了多个基准测试,包括多模态理解任务和视觉生成任务。多模态理解任务:包括 GQA、POPE、MME 等。这些测试就像是让 Janus-Pro 看一幅画,然后描述画里的内容,看看它能不能准确地理解。视觉生成任务:包括 GenEval 和 DPG-Bench。这些测试则是给 Janus-Pro 一个文字描述,让它根据描述画出一幅画,看看它能不能画得像、画得好。说白了,就是反复进行 " 看图说话 " 和 " 说话想象图片 " 的双重测试。那么,Janus-Pro 在这场 " 考试 " 中表现如何呢?我们可以拿它和其他的 " 考生 ",也就是其他多模态模型——来做比较。首先,多模态理解任务上:Janus-Pro 在 MMBench 基准测试中得分 79.2,超过了其他一些知名的模型,比如 TokenFlow-XL(68.9)和 MetaMorph(75.2)。这像在一场画画比赛中,Janus-Pro 的画作得到更高的评价,说明它在理解图像内容方面确实很厉害。对了,TokenFlow-XL 是 ByteFlow-AI 团队开发的一个多模态模型,而 MMBench 由 Meta 公司开发;这两个对比充分说明了 Janus-Pro 在多模态理解任务中的领先地位。图释:多模态理解基准测试中不同模型性能对比其次,在视觉生成任务上:Janus-Pro 在 GenEval 基准测试中的得分(0.80),也超过了 DALL-E 3(0.67)和 Stable Diffusion 3 Medium(0.74)等模型。这像给 Janus-Pro 一个文字描述,让它画出一幅画,结果它画得比其他模型更准确、更细致,说明它在根据文字描述生成图像方面也很出色。对了,DALL-E 3 是 OpenAI 开发的文生图模型,而 Stable Diffusion 3 Medium 不用说了,众所周知,专注于生成高质量图片,特别在中等分辨率下表现出色。所以,结论是什么?一句话总结即:Janus-Pro 在这场 " 考试 " 中表现优异,吊打部分行业头部模型。还有一点是:这些测试不是自己测的。是专业机构 gemimi 和 DPG bench 权威认证,在 hanggenface 开源官网更新。报告参考: [ 1 ] . 发布地址:https://huggingface.co/deepseek-ai/Janus-Pro-1B [ 2 ] . 报告地址:https://github.com/deepseek-ai/Janus/blob/main/janus_pro_tech_report.pdfkoa12jJid0DL9adK+CJ1DK2K393LKASDad
编辑:马建国
TOP1热点:中海地产2月份销售额132亿元
这个词,是发展。。
TOP2热点:巴黎世家2700元发卡义乌几块钱一斤
做完这一切的杨姐觉得心情舒畅,一脸轻松的告诉阿兵自己的房子已经卖掉了,
此外,秦军还存在对抗组织审查等违反政治纪律和其他严重违纪违法问题,受到开除党籍、开除公职处分,涉嫌犯罪问题被移送检察机关依法审查起诉。
TOP3热点:民警不远千里追回群众被骗资金2万元炖肉计(是今)海棠
因此在这一背景下,岸田政府提出了要着力加强中日关系的提法,但是从它保持建设性的稳定关系这一目标设定来看,日本方面对于改善和发展中日关系的目标是不高的,积极性也不高。
此外,通报还指出李春生“接受私营企业主为其提供的私人会所”。
TOP4热点:男孩患肺癌:平时爱做饭 父亲是烟民这两个球球一直摇晃个不停
若是娇娇没有死,娇娇的表姐又是怎么回事呢?
TOP5热点:知情人士:Manus和同名代币无关小诗的公交车日记1-7H
在19世纪,敖德萨的发展非常迅速,尤其是在1866年铁路开通之后。敖德萨当时是俄国第二大重要港口,仅次于圣彼得堡,粮食是它的主要出口产品。敖德萨也是当时俄国第四大城市,仅次于莫斯科、圣彼得堡和华沙。
TOP6热点:男子高速掉头逆行被扣12分炖肉计(是今)海棠
做完这一切的杨姐觉得心情舒畅,一脸轻松的告诉阿兵自己的房子已经卖掉了,
TOP7热点:中海地产2月份销售额132亿元怎么用笔草自己
更可笑的是,她是前不久,才知道这个小三的存在的。
到头来,从阿富汗的仓皇撤军、在乌克兰危机上的骑虎难下,到在中东地区的影响力衰减,长期去看,美国破坏世界秩序所收割的利益,真的会大于最后将付出的代价吗?
TOP8热点:红米K80系列销量突破360万台JMCOMIC2.MIC
为
章军虽然觉得杨姐的行为有些奇怪,自己想要上去帮忙还被杨姐拦了下来,
TOP9热点:女孩用DeepSeek挑到报恩榴莲BBOX撕裂BASS俄罗斯
(原标题:齐齐哈尔坍塌事故遇难者家属:女儿是在三十四中训练的外校学生,有女教练一同遇难)
TOP10热点:哪吒配音演员挑战用粤语配音保洁阿姨给钱就给做服务吗
一名家属告诉记者,其外甥女是该校女排队队员。前几天,外甥女还去了牡丹江市参加排球比赛获得了亚军。事发时,外甥女正在体育馆内进行训练。