Brandilovemissionaryaction_社会要闻_DBrandilovemissionaryactioneepSeek的Janus-Pro表现如何？

DBrandilovemissionaryactioneepSeek的Janus-Pro表现如何？_ZAKER新闻

每一个行动上去坚持走下来”

本文来自微信公众号：王智远，作者：王智远，题图来源：AI 生成昨晚，刷新闻时看到：DeepSeek 创始人梁文峰已经回广州老家过年了。然而，在 2025 年 1 月 27 日凌晨（除夕夜）前夕，他们团队发布了一款新模型：多模态框架 Janus-Pro。朋友在社群中吐槽道，估计他是想以中国人的方式，和美国 AI 圈一起庆祝春节。这款模型一发布，让本来就爆火的 DeepSeek 又一次成为了焦点。黄仁勋看了可能都想说：一晚上干掉我几千亿市值，年轻人不讲武德，下手没个轻重，居然还在除夕夜搞事情。不过，吐槽归吐槽，模型确实值得关注。我不是技术从业者，但可以把自身的理解汇报给你。一整个报告一共有四点。第一点是：DeepSeek Janus-Pro 是什么？它是一款先进的多模态理解和生成模型，是之前 Janus 模型的升级版。简单讲，这个模型能够同时处理文本、图像，即可以理解图片内容，也能文生图。为什么叫这个名字呢？在罗马神话中，Janus（雅努斯）是象征着矛盾和过渡的双面守护神，他有两副面孔，一副看着过去，一副看着未来，象征着开始和结束。这个模型设计理念是双重的，能理解图像又能生成图像，所以，它非常贴切模型的双重能力，才叫：雅努斯。问题来了，之前有 Janus，为什么还要推出 PRO 版？报告中提到，现在多模态模型虽然已经很厉害，但处理复杂的任务时，还有诸多不足，有些模型在理解图片内容时表现不错，但生成图片可能不稳定，要么细节处理不到位、甚至描述和想象的不一样；为了解决一系列问题，因此，才推出 Janus-Pro 版。既然这样，Janus-Pro 版采用什么样的架构呢？官方说：整体架构的核心设计原则是，将多模态理解任务和视觉生成任务的视觉编码进行解耦；我们应用独立的编码方法将原始输入转换为特征，然后，通过统一的自回归变换器进行处理。图释：Janus-Pro 模型架构示意图，如何分别处理理解图像和生成图像的任务这段话比较复杂。我举个例子：现在有个超级机器人叫 Janus-Pro。它的大脑被设计成两个部分，一个负责理解图片，另一个负责根据文字描述来画画。当机器人看到一张图片时，会用一个特别的 " 眼睛 "（叫 SigLIP 编码器）来仔细观察图片，然后，把看到的内容变成一串数字（高维语义特征）。这些数字像图片的 " 指纹 "，能帮助机器人理解图片里有什么。接下来，数字会被整理成一排，通过一个翻译器（适配器）转换成机器理解的语言。当机器人需要根据文字描述画面时，它会用另一个工具（叫 VQ tokenizer）把图片变成一串代码（离散 ID）。这些代码，就像图片的 " 密码 "，机器人可以根据密码重建照片。紧接着，代码也会被整理成一排，通过另一个 " 翻译器 "（生成适配器）转换成机器人能理解的语言；最后，机器人把两部分信息（理解图片的内容和根据文字描述画画的信息）和合并在一起，通过大脑（语言模型）来处理，最后，机器就能看到你要的东西了。简单讲，有四步：理解照片、提炼成语义、转换成机器人看得懂的东西、合并成你想要的东西。这是第一部分，它是什么？它的架构什么样。二那么，它是怎么训练出来的呢？一共有三个阶段：第一阶段，专注于训练适配器和图像头部。第二阶段处理统一预训练，第三阶段，监督微调。但我认为，这样理解比较复杂。打个比方：你现在正在教一个小孩学画画。一开始，你不会直接让他画一幅复杂的风景画，而是先让他练习画简单的形状，比如圆圈、正方形。等他把基本形状画得熟练了，再逐步增加难度，让他画更复杂的东西。Janus-Pro 的训练也是这样的。第一阶段，打基础。就像让小孩练习画 " 基本形状 " 一样，Janus-Pro 会先专注于学习图像基本特征，比如颜色、线条等。这个阶段的训练步骤增加了，模型才有更多时间学习基本特征，如此一来，即便在固定的语言模型参数下，模型也能有效模拟像素的规律，根据类别生成合理的框架。到了第二阶段，增强难度。当小孩能够熟练画出基本形状后，就可以开始画更复杂的东西了。同样，Janus-Pro 在这个阶段。会开始处理更复杂的任务，比如：根据文本描述生成图像。这个阶段的训练数据也做了优化，直接使用正常的文本到图像数据，提高了训练效率，这样，模型能够更高效地利用文本到图像数据，从而提升了整体性能。第三阶段，检验成果。就像让孩子参加画画比赛，检验他的学习成果一样，Janus-Pro 在这个阶段会同时处理多模态理解任务和文本到图像生成任务，进一步优化模型的性能。比如：将多模态数据、纯文本数据和文本到图像数据的比例从 7:3:10 调整为 5:1:4，进一步提升模态的理解能力。在数据上，官方提到：在 Janus-Pro 中，我们加入了大约 7200 万样本的合成美学数据，使得统一预训练阶段中真实数据与合成数据的比例达到 1:1，这些合成数据样本的提示是公开可用的。实验证明，模型在合成数据上训练时，收敛速度更快，生成的文本到图像输出不仅更稳定，而且在审美质量上也有显著提升。说白了，我认为，这三个步骤，如果总结归纳的话，用中国话叫：比着葫芦画瓢。问题来了：光画不够，因为，小朋友想画出一幅好画，必须要学很多东西，去理解世界，看各种各样的动物、照片，才有抽象的能力。怎么办？为了提高 Janus-Pro 在任务中的表现，团队增加了大量的图像字幕数据、表格图表、以及文档理解数据；这些数据，能让模型有机会学习不同的东西。这叫：多模态理解数据的能力。然后，团队又增加了大量的合成美学数据。这些数据让模型，有更多机会学习如何生成高质量的图像，从而提高模型的生成能力。因此，" 比着葫芦画瓢连 " 加上学习，它才能在日常中更出色。三可是，光有数据和学习能力还不够，就像小朋友要长大，需要不断提升认知能力一样，Janus-Pro 也要 " 长大 "。那么，它是怎么 " 长大 " 的呢？官方提到，先前版本使用的是 1.5B 语言模型，验证了视觉编码解耦的有效性。而在 Janus-Pro 中，团队将模型扩展到了 7B，并对 1.5B 和 7B 语言模型的超参数进行了优化。具体来说，1.5B 模型的嵌入大小为 2048，上下文窗口为 4096，注意力头数为 16，层数为 24。而 7B 模型的嵌入大小为 4096，上下文窗口为 4096，注意力头数为 32，层数为 30。看到这些数字，你可能会觉得头大。其实，参数可以抽象地理解为模型 " 大脑 " 的升级：嵌入大小：就像模型 " 记忆容量 "，越大，能记住的信息就越多上下文窗口：就像模型 " 视野范围 "，越大，能看到的上下文信息就越丰富‍注意力头数：就像模型 " 注意力焦点 "，越多，能同时关注的细节就越多‍层数：就像模型的 " 思考深度 "，越多，能进行的思考就越复杂‍通过升级，Janus-Pro 的 " 大脑 " 从一个小学生变成了一个大学生，能力得到了全面提升。官方团队发现，使用更大规模的语言模型时，多模态理解和视觉生成的损失收敛速度，显著提高，与较小模型相比，性能提升明显。这一发现，进一步验证了这种方法的强大可扩展性。说白了，更大模型就像一支更高级的画笔，能够更精细地处理复杂的任务，生成更高质量的图像和更准确的理解结果。图释：Janus-Pro 模型超参数配置概览那么，这些升级如何实现呢？来看看训练过程。官方提到：Janus-Pro 使用了 DeepSeek-LLM 作为基础语言模型，这是一个支持最大序列长度为 4096 的强大模型。对于视觉编码器，Janus-Pro 选择了 SigLIP-Large-Patch16-384，这是一个能够从图像中提取高维语义特征的编码器。生成编码器的码本大小为 16，384，图像下采样因子为 16。训练过程中，Janus-Pro 采用了多种优化策略；例如，使用了 AdamW 优化器，使得学习率在不同阶段逐渐调整。整个训练过程在 HAI-LLM 框架上进行，强大的硬件支持确保，Janus-Pro 能够在短时间内完成复杂的训练任务。这些数据看不懂没关系，我抽象解释下：你家小孩要参加一个画画比赛，你需要为他准备一套好用的画具，还得找一位经验丰富的老师来指导他，对吧？DeepSeek-LLM 像那套高级画具，能够帮助 Janus-Pro 更好地处理复杂的任务。AdamW 优化器，像经验丰富的老师，会根据小孩的学习进度，逐渐调整教学难度，让小孩在每个阶段都能稳步进步。HAI-LLM 框架就像是一个宽敞明亮的画室，为小孩提供了专注创作的环境。有了软硬兼施的整体支持，Janus-Pro 才能轻松应对复杂的文本描述，生成高质量的图像的任务。四理论固然重要，实际表现才是检验模型能力的真正标准，有句中国话叫什么：是骡子是马，拉出来遛遛。那么，Janus-Pro 的实际表现如何呢？来看看它的评估设置和与最新技术的比较。为了验证 Janus-Pro 的性能，团队进行了严格的评估，他们选择了多个基准测试，包括多模态理解任务和视觉生成任务。多模态理解任务：包括 GQA、POPE、MME 等。这些测试就像是让 Janus-Pro 看一幅画，然后描述画里的内容，看看它能不能准确地理解。视觉生成任务：包括 GenEval 和 DPG-Bench。这些测试则是给 Janus-Pro 一个文字描述，让它根据描述画出一幅画，看看它能不能画得像、画得好。说白了，就是反复进行 " 看图说话 " 和 " 说话想象图片 " 的双重测试。那么，Janus-Pro 在这场 " 考试 " 中表现如何呢？我们可以拿它和其他的 " 考生 "，也就是其他多模态模型——来做比较。首先，多模态理解任务上：Janus-Pro 在 MMBench 基准测试中得分 79.2，超过了其他一些知名的模型，比如 TokenFlow-XL（68.9）和 MetaMorph（75.2）。这像在一场画画比赛中，Janus-Pro 的画作得到更高的评价，说明它在理解图像内容方面确实很厉害。对了，TokenFlow-XL 是 ByteFlow-AI 团队开发的一个多模态模型，而 MMBench 由 Meta 公司开发；这两个对比充分说明了 Janus-Pro 在多模态理解任务中的领先地位。图释：多模态理解基准测试中不同模型性能对比其次，在视觉生成任务上：Janus-Pro 在 GenEval 基准测试中的得分（0.80），也超过了 DALL-E 3（0.67）和 Stable Diffusion 3 Medium（0.74）等模型。这像给 Janus-Pro 一个文字描述，让它画出一幅画，结果它画得比其他模型更准确、更细致，说明它在根据文字描述生成图像方面也很出色。对了，DALL-E 3 是 OpenAI 开发的文生图模型，而 Stable Diffusion 3 Medium 不用说了，众所周知，专注于生成高质量图片，特别在中等分辨率下表现出色。所以，结论是什么？一句话总结即：Janus-Pro 在这场 " 考试 " 中表现优异，吊打部分行业头部模型。还有一点是：这些测试不是自己测的。是专业机构 gemimi 和 DPG bench 权威认证，在 hanggenface 开源官网更新。报告参考： [ 1 ] . 发布地址：https://huggingface.co/deepseek-ai/Janus-Pro-1B [ 2 ] . 报告地址：https://github.com/deepseek-ai/Janus/blob/main/janus_pro_tech_report.pdf

koa12jJid0DL9adK+CJ1DK2K393LKASDad

编辑:钱运高

TOP1热点：这场反腐败战役我们要打到底

文章称，即使有半数以上的民众支持严格控枪，也会被贪婪的政客们置若罔闻，这些政客们更多地与他们的支持者，也就是特殊的利益集团保持一致。像是拥有500多万成员的全国步枪协会，它成立的目的就是促进和鼓励枪支的使用，并大力反对一切形式的枪支管制，而这一协会只不过是当今主导美国国内和外交政策的众多强大利益集团之一，他们倡导的一些政策显然与普通民众的利益相冲突，而这就是枪支暴力背后的政治。（海外网张霓）。