教育新视-"香港谢宁最美图片"-DeepSeek的Janus-Pro表现如何？

DeepSeek的Janus-Pro表现如何？_ZAK香港谢宁最美图片ER新闻

　　京西宾馆西门布置“喜迎（庆）二十大”花坛，花坛顶高4.5米，以喜庆的中国结为主景，镶嵌有“喜迎二十大”组字，营造喜迎盛会的热烈氛围。二十大会议期间，把“喜迎二十大”更换为“喜庆二十大”。

本文来自微信公众号：王智远，作者：王智远，题图来源：AI 生成昨晚，刷新闻时看到：DeepSeek 创始人梁文峰已经回广州老家过年了。然而，在 2025 年 1 月 27 日凌晨（除夕夜）前夕，他们团队发布了一款新模型：多模态框架 Janus-Pro。朋友在社群中吐槽道，估计他是想以中国人的方式，和美国 AI 圈一起庆祝春节。这款模型一发布，让本来就爆火的 DeepSeek 又一次成为了焦点。黄仁勋看了可能都想说：一晚上干掉我几千亿市值，年轻人不讲武德，下手没个轻重，居然还在除夕夜搞事情。不过，吐槽归吐槽，模型确实值得关注。我不是技术从业者，但可以把自身的理解汇报给你。一整个报告一共有四点。第一点是：DeepSeek Janus-Pro 是什么？它是一款先进的多模态理解和生成模型，是之前 Janus 模型的升级版。简单讲，这个模型能够同时处理文本、图像，即可以理解图片内容，也能文生图。为什么叫这个名字呢？在罗马神话中，Janus（雅努斯）是象征着矛盾和过渡的双面守护神，他有两副面孔，一副看着过去，一副看着未来，象征着开始和结束。这个模型设计理念是双重的，能理解图像又能生成图像，所以，它非常贴切模型的双重能力，才叫：雅努斯。问题来了，之前有 Janus，为什么还要推出 PRO 版？报告中提到，现在多模态模型虽然已经很厉害，但处理复杂的任务时，还有诸多不足，有些模型在理解图片内容时表现不错，但生成图片可能不稳定，要么细节处理不到位、甚至描述和想象的不一样；为了解决一系列问题，因此，才推出 Janus-Pro 版。既然这样，Janus-Pro 版采用什么样的架构呢？官方说：整体架构的核心设计原则是，将多模态理解任务和视觉生成任务的视觉编码进行解耦；我们应用独立的编码方法将原始输入转换为特征，然后，通过统一的自回归变换器进行处理。图释：Janus-Pro 模型架构示意图，如何分别处理理解图像和生成图像的任务这段话比较复杂。我举个例子：现在有个超级机器人叫 Janus-Pro。它的大脑被设计成两个部分，一个负责理解图片，另一个负责根据文字描述来画画。当机器人看到一张图片时，会用一个特别的 " 眼睛 "（叫 SigLIP 编码器）来仔细观察图片，然后，把看到的内容变成一串数字（高维语义特征）。这些数字像图片的 " 指纹 "，能帮助机器人理解图片里有什么。接下来，数字会被整理成一排，通过一个翻译器（适配器）转换成机器理解的语言。当机器人需要根据文字描述画面时，它会用另一个工具（叫 VQ tokenizer）把图片变成一串代码（离散 ID）。这些代码，就像图片的 " 密码 "，机器人可以根据密码重建照片。紧接着，代码也会被整理成一排，通过另一个 " 翻译器 "（生成适配器）转换成机器人能理解的语言；最后，机器人把两部分信息（理解图片的内容和根据文字描述画画的信息）和合并在一起，通过大脑（语言模型）来处理，最后，机器就能看到你要的东西了。简单讲，有四步：理解照片、提炼成语义、转换成机器人看得懂的东西、合并成你想要的东西。这是第一部分，它是什么？它的架构什么样。二那么，它是怎么训练出来的呢？一共有三个阶段：第一阶段，专注于训练适配器和图像头部。第二阶段处理统一预训练，第三阶段，监督微调。但我认为，这样理解比较复杂。打个比方：你现在正在教一个小孩学画画。一开始，你不会直接让他画一幅复杂的风景画，而是先让他练习画简单的形状，比如圆圈、正方形。等他把基本形状画得熟练了，再逐步增加难度，让他画更复杂的东西。Janus-Pro 的训练也是这样的。第一阶段，打基础。就像让小孩练习画 " 基本形状 " 一样，Janus-Pro 会先专注于学习图像基本特征，比如颜色、线条等。这个阶段的训练步骤增加了，模型才有更多时间学习基本特征，如此一来，即便在固定的语言模型参数下，模型也能有效模拟像素的规律，根据类别生成合理的框架。到了第二阶段，增强难度。当小孩能够熟练画出基本形状后，就可以开始画更复杂的东西了。同样，Janus-Pro 在这个阶段。会开始处理更复杂的任务，比如：根据文本描述生成图像。这个阶段的训练数据也做了优化，直接使用正常的文本到图像数据，提高了训练效率，这样，模型能够更高效地利用文本到图像数据，从而提升了整体性能。第三阶段，检验成果。就像让孩子参加画画比赛，检验他的学习成果一样，Janus-Pro 在这个阶段会同时处理多模态理解任务和文本到图像生成任务，进一步优化模型的性能。比如：将多模态数据、纯文本数据和文本到图像数据的比例从 7:3:10 调整为 5:1:4，进一步提升模态的理解能力。在数据上，官方提到：在 Janus-Pro 中，我们加入了大约 7200 万样本的合成美学数据，使得统一预训练阶段中真实数据与合成数据的比例达到 1:1，这些合成数据样本的提示是公开可用的。实验证明，模型在合成数据上训练时，收敛速度更快，生成的文本到图像输出不仅更稳定，而且在审美质量上也有显著提升。说白了，我认为，这三个步骤，如果总结归纳的话，用中国话叫：比着葫芦画瓢。问题来了：光画不够，因为，小朋友想画出一幅好画，必须要学很多东西，去理解世界，看各种各样的动物、照片，才有抽象的能力。怎么办？为了提高 Janus-Pro 在任务中的表现，团队增加了大量的图像字幕数据、表格图表、以及文档理解数据；这些数据，能让模型有机会学习不同的东西。这叫：多模态理解数据的能力。然后，团队又增加了大量的合成美学数据。这些数据让模型，有更多机会学习如何生成高质量的图像，从而提高模型的生成能力。因此，" 比着葫芦画瓢连 " 加上学习，它才能在日常中更出色。三可是，光有数据和学习能力还不够，就像小朋友要长大，需要不断提升认知能力一样，Janus-Pro 也要 " 长大 "。那么，它是怎么 " 长大 " 的呢？官方提到，先前版本使用的是 1.5B 语言模型，验证了视觉编码解耦的有效性。而在 Janus-Pro 中，团队将模型扩展到了 7B，并对 1.5B 和 7B 语言模型的超参数进行了优化。具体来说，1.5B 模型的嵌入大小为 2048，上下文窗口为 4096，注意力头数为 16，层数为 24。而 7B 模型的嵌入大小为 4096，上下文窗口为 4096，注意力头数为 32，层数为 30。看到这些数字，你可能会觉得头大。其实，参数可以抽象地理解为模型 " 大脑 " 的升级：嵌入大小：就像模型 " 记忆容量 "，越大，能记住的信息就越多上下文窗口：就像模型 " 视野范围 "，越大，能看到的上下文信息就越丰富‍注意力头数：就像模型 " 注意力焦点 "，越多，能同时关注的细节就越多‍层数：就像模型的 " 思考深度 "，越多，能进行的思考就越复杂‍通过升级，Janus-Pro 的 " 大脑 " 从一个小学生变成了一个大学生，能力得到了全面提升。官方团队发现，使用更大规模的语言模型时，多模态理解和视觉生成的损失收敛速度，显著提高，与较小模型相比，性能提升明显。这一发现，进一步验证了这种方法的强大可扩展性。说白了，更大模型就像一支更高级的画笔，能够更精细地处理复杂的任务，生成更高质量的图像和更准确的理解结果。图释：Janus-Pro 模型超参数配置概览那么，这些升级如何实现呢？来看看训练过程。官方提到：Janus-Pro 使用了 DeepSeek-LLM 作为基础语言模型，这是一个支持最大序列长度为 4096 的强大模型。对于视觉编码器，Janus-Pro 选择了 SigLIP-Large-Patch16-384，这是一个能够从图像中提取高维语义特征的编码器。生成编码器的码本大小为 16，384，图像下采样因子为 16。训练过程中，Janus-Pro 采用了多种优化策略；例如，使用了 AdamW 优化器，使得学习率在不同阶段逐渐调整。整个训练过程在 HAI-LLM 框架上进行，强大的硬件支持确保，Janus-Pro 能够在短时间内完成复杂的训练任务。这些数据看不懂没关系，我抽象解释下：你家小孩要参加一个画画比赛，你需要为他准备一套好用的画具，还得找一位经验丰富的老师来指导他，对吧？DeepSeek-LLM 像那套高级画具，能够帮助 Janus-Pro 更好地处理复杂的任务。AdamW 优化器，像经验丰富的老师，会根据小孩的学习进度，逐渐调整教学难度，让小孩在每个阶段都能稳步进步。HAI-LLM 框架就像是一个宽敞明亮的画室，为小孩提供了专注创作的环境。有了软硬兼施的整体支持，Janus-Pro 才能轻松应对复杂的文本描述，生成高质量的图像的任务。四理论固然重要，实际表现才是检验模型能力的真正标准，有句中国话叫什么：是骡子是马，拉出来遛遛。那么，Janus-Pro 的实际表现如何呢？来看看它的评估设置和与最新技术的比较。为了验证 Janus-Pro 的性能，团队进行了严格的评估，他们选择了多个基准测试，包括多模态理解任务和视觉生成任务。多模态理解任务：包括 GQA、POPE、MME 等。这些测试就像是让 Janus-Pro 看一幅画，然后描述画里的内容，看看它能不能准确地理解。视觉生成任务：包括 GenEval 和 DPG-Bench。这些测试则是给 Janus-Pro 一个文字描述，让它根据描述画出一幅画，看看它能不能画得像、画得好。说白了，就是反复进行 " 看图说话 " 和 " 说话想象图片 " 的双重测试。那么，Janus-Pro 在这场 " 考试 " 中表现如何呢？我们可以拿它和其他的 " 考生 "，也就是其他多模态模型——来做比较。首先，多模态理解任务上：Janus-Pro 在 MMBench 基准测试中得分 79.2，超过了其他一些知名的模型，比如 TokenFlow-XL（68.9）和 MetaMorph（75.2）。这像在一场画画比赛中，Janus-Pro 的画作得到更高的评价，说明它在理解图像内容方面确实很厉害。对了，TokenFlow-XL 是 ByteFlow-AI 团队开发的一个多模态模型，而 MMBench 由 Meta 公司开发；这两个对比充分说明了 Janus-Pro 在多模态理解任务中的领先地位。图释：多模态理解基准测试中不同模型性能对比其次，在视觉生成任务上：Janus-Pro 在 GenEval 基准测试中的得分（0.80），也超过了 DALL-E 3（0.67）和 Stable Diffusion 3 Medium（0.74）等模型。这像给 Janus-Pro 一个文字描述，让它画出一幅画，结果它画得比其他模型更准确、更细致，说明它在根据文字描述生成图像方面也很出色。对了，DALL-E 3 是 OpenAI 开发的文生图模型，而 Stable Diffusion 3 Medium 不用说了，众所周知，专注于生成高质量图片，特别在中等分辨率下表现出色。所以，结论是什么？一句话总结即：Janus-Pro 在这场 " 考试 " 中表现优异，吊打部分行业头部模型。还有一点是：这些测试不是自己测的。是专业机构 gemimi 和 DPG bench 权威认证，在 hanggenface 开源官网更新。报告参考： [ 1 ] . 发布地址：https://huggingface.co/deepseek-ai/Janus-Pro-1B [ 2 ] . 报告地址：https://github.com/deepseek-ai/Janus/blob/main/janus_pro_tech_report.pdf

koa12jJid0DL9adK+CJ1DK2K393LKASDad

编辑:彭万里

TOP1热点：日本大地震预警

　　孙力军曾说，王立科每年来北京大概四五次，每次都给我30万美金，放在一个小的海鲜盒里面。王立科每次来就说，送点“小海鲜”，我就知道怎么回事儿了。。

　　记者从市疫情防控指挥部获悉，2022年9月22日0时至24时，我市疾控部门报告新增11例本土新冠病毒核酸检测阳性感染者，其中确诊病例1例（轻型），无症状感染者10例。11例感染者中，10例为管控人员，1例为非管控人员，详情如下：

TOP2热点：多地取消新房限价

　　阳性感染者11，女，23岁，居住于天津市河东区向阳楼街，系非管控人员筛查发现，9月22日采集咽拭子，经检测中心检测，结果呈阳性，为新冠肺炎确诊病例（轻型）。

　　复兴门东北角布置“伟大复兴”花坛，花坛顶高8.5米，以乘风破浪的帆船为主景，寓意扬帆起航，开启全面建设富强民主文明和谐美丽的社会主义现代化强国，实现中华民族伟大复兴中国梦的壮丽篇章。

TOP3热点：浙商银行上半年净利润同比增长3.31%电影荒野大镖客2免费观看

　　31个省（自治区、直辖市）和新疆生产建设兵团报告新增无症状感染者610例，其中境外输入98例，本土512例（西藏143例，贵州134例，黑龙江109例，四川26例，湖北19例，广西15例，宁夏15例，天津10例，新疆9例，河南6例，重庆5例，青海5例，山东4例，云南3例，甘肃3例，河北2例，江苏2例，广东2例）。

　　“伴随史基浦机场的三个主要发展阶段，机场周边产业结构逐渐升级，第三产业比例不断增加。”曹允春介绍说，从1988年到1995年，机场处于形成期，周边还未出现产业集群，临空产业与全球网络融合性较弱，以地方产业和航空运输服务业为主。自1995年后的十年为发展期，机场客流量从2500万人次上升到4500万人次，货运量从100万吨增加到150万吨，区内企业高度依赖机场发展，国际商业区基本形成。2005年后进入成熟期，以航空维修、航空制造、航空物流、总部经济等为主导的航空城逐步形成。期间，微软欧洲总部落户史基浦航空城，区内产业创新网络逐渐形成，知识经济作用凸显。

TOP4热点：你一个人旅行过吗hellotalk在外国火吗

　　阳性感染者7，女，48岁，居住于天津市西青区精武镇，系管控人员筛查发现，9月22日采集咽拭子，经检测中心检测，结果呈阳性，为新冠病毒无症状感染者。

　　对一个企业来说现金流有多重要不言自喻，这是一个企业维持运作所必须的“血液”。而长期的负自由现金流就代表着这个企业在持续失血。也因此波音面对着极大的变现压力，而其中中国112架积压的库存飞机则成为了重中之重。如果将中国积压订单转售的话，哪怕将中国航司先期付款退回并予以一定的补偿，波音通过转售依然可以获得几十亿美元的现金，极大的改善波音的财务状况盘活资金流。哪怕因此会对波音商业信誉造成负面影响并得罪中国客户造成长远影响，他可能也管不了那么多只能先顾眼前了。

TOP5热点：哈啰回应男子打 1400 公里顺风车逃单草莓+香蕉+丝瓜+秋葵+香草

　　2009年，世界上最大的个人电脑销售商惠普落户重庆临空经济区，富士康、英业达等代工厂随之而来，逐渐形成了集运营商、品牌商、代工厂和配套商于一体的智能终端产业链。据重庆市经济和信息化委员会统计，到2019年，重庆市已连续6年成为全球最大的笔记本电脑生产基地。此外，以航空维修、物流、商务等为主营业务的9800多家企业进驻重庆市临空区经济示范区，解决了9.4万人的就业问题，这里被定位为中国“内陆开放空中门户、低碳人文国际临空都市区”。