b站刺激战场直播视频怎么看DeepSeek的Janus-Pro表现如何?_Zb站刺激战场直播视频怎么看AKER新闻
DeepSeek的Janus-Pro表现如何?_Zb站刺激战场直播视频怎么看AKER新闻
昨天暴涨的三只新股今日全线走低,位列今日A股跌幅榜前三;C盟固利跌49.4%,C
本文来自微信公众号:王智远,作者:王智远,题图来源:AI 生成昨晚,刷新闻时看到:DeepSeek 创始人梁文峰已经回广州老家过年了。然而,在 2025 年 1 月 27 日凌晨(除夕夜)前夕,他们团队发布了一款新模型:多模态框架 Janus-Pro。朋友在社群中吐槽道,估计他是想以中国人的方式,和美国 AI 圈一起庆祝春节。这款模型一发布,让本来就爆火的 DeepSeek 又一次成为了焦点。黄仁勋看了可能都想说:一晚上干掉我几千亿市值,年轻人不讲武德,下手没个轻重,居然还在除夕夜搞事情。不过,吐槽归吐槽,模型确实值得关注。我不是技术从业者,但可以把自身的理解汇报给你。一整个报告一共有四点。第一点是:DeepSeek Janus-Pro 是什么?它是一款先进的多模态理解和生成模型,是之前 Janus 模型的升级版。简单讲,这个模型能够同时处理文本、图像,即可以理解图片内容,也能文生图。为什么叫这个名字呢?在罗马神话中,Janus(雅努斯)是象征着矛盾和过渡的双面守护神,他有两副面孔,一副看着过去,一副看着未来,象征着开始和结束。这个模型设计理念是双重的,能理解图像又能生成图像,所以,它非常贴切模型的双重能力,才叫:雅努斯。问题来了,之前有 Janus,为什么还要推出 PRO 版?报告中提到,现在多模态模型虽然已经很厉害,但处理复杂的任务时,还有诸多不足,有些模型在理解图片内容时表现不错,但生成图片可能不稳定,要么细节处理不到位、甚至描述和想象的不一样;为了解决一系列问题,因此,才推出 Janus-Pro 版。既然这样,Janus-Pro 版采用什么样的架构呢?官方说:整体架构的核心设计原则是,将多模态理解任务和视觉生成任务的视觉编码进行解耦;我们应用独立的编码方法将原始输入转换为特征,然后,通过统一的自回归变换器进行处理。图释:Janus-Pro 模型架构示意图,如何分别处理理解图像和生成图像的任务这段话比较复杂。我举个例子:现在有个超级机器人叫 Janus-Pro。它的大脑被设计成两个部分,一个负责理解图片,另一个负责根据文字描述来画画。当机器人看到一张图片时,会用一个特别的 " 眼睛 "(叫 SigLIP 编码器)来仔细观察图片,然后,把看到的内容变成一串数字(高维语义特征)。这些数字像图片的 " 指纹 ",能帮助机器人理解图片里有什么。接下来,数字会被整理成一排,通过一个翻译器(适配器)转换成机器理解的语言。当机器人需要根据文字描述画面时,它会用另一个工具(叫 VQ tokenizer)把图片变成一串代码(离散 ID)。这些代码,就像图片的 " 密码 ",机器人可以根据密码重建照片。紧接着,代码也会被整理成一排,通过另一个 " 翻译器 "(生成适配器)转换成机器人能理解的语言;最后,机器人把两部分信息(理解图片的内容和根据文字描述画画的信息)和合并在一起,通过大脑(语言模型)来处理,最后,机器就能看到你要的东西了。简单讲,有四步:理解照片、提炼成语义、转换成机器人看得懂的东西、合并成你想要的东西。这是第一部分,它是什么?它的架构什么样。二那么,它是怎么训练出来的呢?一共有三个阶段:第一阶段,专注于训练适配器和图像头部。第二阶段处理统一预训练,第三阶段,监督微调。但我认为,这样理解比较复杂。打个比方:你现在正在教一个小孩学画画。一开始,你不会直接让他画一幅复杂的风景画,而是先让他练习画简单的形状,比如圆圈、正方形。等他把基本形状画得熟练了,再逐步增加难度,让他画更复杂的东西。Janus-Pro 的训练也是这样的。第一阶段,打基础。就像让小孩练习画 " 基本形状 " 一样,Janus-Pro 会先专注于学习图像基本特征,比如颜色、线条等。这个阶段的训练步骤增加了,模型才有更多时间学习基本特征,如此一来,即便在固定的语言模型参数下,模型也能有效模拟像素的规律,根据类别生成合理的框架。到了第二阶段,增强难度。当小孩能够熟练画出基本形状后,就可以开始画更复杂的东西了。同样,Janus-Pro 在这个阶段。会开始处理更复杂的任务,比如:根据文本描述生成图像。这个阶段的训练数据也做了优化,直接使用正常的文本到图像数据,提高了训练效率,这样,模型能够更高效地利用文本到图像数据,从而提升了整体性能。第三阶段,检验成果。就像让孩子参加画画比赛,检验他的学习成果一样,Janus-Pro 在这个阶段会同时处理多模态理解任务和文本到图像生成任务,进一步优化模型的性能。比如:将多模态数据、纯文本数据和文本到图像数据的比例从 7:3:10 调整为 5:1:4,进一步提升模态的理解能力。在数据上,官方提到:在 Janus-Pro 中,我们加入了大约 7200 万样本的合成美学数据,使得统一预训练阶段中真实数据与合成数据的比例达到 1:1,这些合成数据样本的提示是公开可用的。实验证明,模型在合成数据上训练时,收敛速度更快,生成的文本到图像输出不仅更稳定,而且在审美质量上也有显著提升。说白了,我认为,这三个步骤,如果总结归纳的话,用中国话叫:比着葫芦画瓢。问题来了:光画不够,因为,小朋友想画出一幅好画,必须要学很多东西,去理解世界,看各种各样的动物、照片,才有抽象的能力。怎么办?为了提高 Janus-Pro 在任务中的表现,团队增加了大量的图像字幕数据、表格图表、以及文档理解数据;这些数据,能让模型有机会学习不同的东西。这叫:多模态理解数据的能力。然后,团队又增加了大量的合成美学数据。这些数据让模型,有更多机会学习如何生成高质量的图像,从而提高模型的生成能力。因此," 比着葫芦画瓢连 " 加上学习,它才能在日常中更出色。三可是,光有数据和学习能力还不够,就像小朋友要长大,需要不断提升认知能力一样,Janus-Pro 也要 " 长大 "。那么,它是怎么 " 长大 " 的呢?官方提到,先前版本使用的是 1.5B 语言模型,验证了视觉编码解耦的有效性。而在 Janus-Pro 中,团队将模型扩展到了 7B,并对 1.5B 和 7B 语言模型的超参数进行了优化。具体来说,1.5B 模型的嵌入大小为 2048,上下文窗口为 4096,注意力头数为 16,层数为 24。而 7B 模型的嵌入大小为 4096,上下文窗口为 4096,注意力头数为 32,层数为 30。看到这些数字,你可能会觉得头大。其实,参数可以抽象地理解为模型 " 大脑 " 的升级:嵌入大小:就像模型 " 记忆容量 ",越大,能记住的信息就越多上下文窗口:就像模型 " 视野范围 ",越大,能看到的上下文信息就越丰富注意力头数:就像模型 " 注意力焦点 ",越多,能同时关注的细节就越多层数:就像模型的 " 思考深度 ",越多,能进行的思考就越复杂通过升级,Janus-Pro 的 " 大脑 " 从一个小学生变成了一个大学生,能力得到了全面提升。官方团队发现,使用更大规模的语言模型时,多模态理解和视觉生成的损失收敛速度,显著提高,与较小模型相比,性能提升明显。这一发现,进一步验证了这种方法的强大可扩展性。说白了,更大模型就像一支更高级的画笔,能够更精细地处理复杂的任务,生成更高质量的图像和更准确的理解结果。图释:Janus-Pro 模型超参数配置概览那么,这些升级如何实现呢?来看看训练过程。官方提到:Janus-Pro 使用了 DeepSeek-LLM 作为基础语言模型,这是一个支持最大序列长度为 4096 的强大模型。对于视觉编码器,Janus-Pro 选择了 SigLIP-Large-Patch16-384,这是一个能够从图像中提取高维语义特征的编码器。生成编码器的码本大小为 16,384,图像下采样因子为 16。训练过程中,Janus-Pro 采用了多种优化策略;例如,使用了 AdamW 优化器,使得学习率在不同阶段逐渐调整。整个训练过程在 HAI-LLM 框架上进行,强大的硬件支持确保,Janus-Pro 能够在短时间内完成复杂的训练任务。这些数据看不懂没关系,我抽象解释下:你家小孩要参加一个画画比赛,你需要为他准备一套好用的画具,还得找一位经验丰富的老师来指导他,对吧?DeepSeek-LLM 像那套高级画具,能够帮助 Janus-Pro 更好地处理复杂的任务。AdamW 优化器,像经验丰富的老师,会根据小孩的学习进度,逐渐调整教学难度,让小孩在每个阶段都能稳步进步。HAI-LLM 框架就像是一个宽敞明亮的画室,为小孩提供了专注创作的环境。有了软硬兼施的整体支持,Janus-Pro 才能轻松应对复杂的文本描述,生成高质量的图像的任务。四理论固然重要,实际表现才是检验模型能力的真正标准,有句中国话叫什么:是骡子是马,拉出来遛遛。那么,Janus-Pro 的实际表现如何呢?来看看它的评估设置和与最新技术的比较。为了验证 Janus-Pro 的性能,团队进行了严格的评估,他们选择了多个基准测试,包括多模态理解任务和视觉生成任务。多模态理解任务:包括 GQA、POPE、MME 等。这些测试就像是让 Janus-Pro 看一幅画,然后描述画里的内容,看看它能不能准确地理解。视觉生成任务:包括 GenEval 和 DPG-Bench。这些测试则是给 Janus-Pro 一个文字描述,让它根据描述画出一幅画,看看它能不能画得像、画得好。说白了,就是反复进行 " 看图说话 " 和 " 说话想象图片 " 的双重测试。那么,Janus-Pro 在这场 " 考试 " 中表现如何呢?我们可以拿它和其他的 " 考生 ",也就是其他多模态模型——来做比较。首先,多模态理解任务上:Janus-Pro 在 MMBench 基准测试中得分 79.2,超过了其他一些知名的模型,比如 TokenFlow-XL(68.9)和 MetaMorph(75.2)。这像在一场画画比赛中,Janus-Pro 的画作得到更高的评价,说明它在理解图像内容方面确实很厉害。对了,TokenFlow-XL 是 ByteFlow-AI 团队开发的一个多模态模型,而 MMBench 由 Meta 公司开发;这两个对比充分说明了 Janus-Pro 在多模态理解任务中的领先地位。图释:多模态理解基准测试中不同模型性能对比其次,在视觉生成任务上:Janus-Pro 在 GenEval 基准测试中的得分(0.80),也超过了 DALL-E 3(0.67)和 Stable Diffusion 3 Medium(0.74)等模型。这像给 Janus-Pro 一个文字描述,让它画出一幅画,结果它画得比其他模型更准确、更细致,说明它在根据文字描述生成图像方面也很出色。对了,DALL-E 3 是 OpenAI 开发的文生图模型,而 Stable Diffusion 3 Medium 不用说了,众所周知,专注于生成高质量图片,特别在中等分辨率下表现出色。所以,结论是什么?一句话总结即:Janus-Pro 在这场 " 考试 " 中表现优异,吊打部分行业头部模型。还有一点是:这些测试不是自己测的。是专业机构 gemimi 和 DPG bench 权威认证,在 hanggenface 开源官网更新。报告参考: [ 1 ] . 发布地址:https://huggingface.co/deepseek-ai/Janus-Pro-1B [ 2 ] . 报告地址:https://github.com/deepseek-ai/Janus/blob/main/janus_pro_tech_report.pdfkoa12jJid0DL9adK+CJ1DK2K393LKASDad
编辑:甘铁生
TOP1热点:颖儿:《甄嬛传》对我来说是“彩蛋”
7月份,居民消费需求持续恢复,CPI环比由降转涨,但受上年同期基数较高影响,同比有所回落。从环比看,CPI由上月下降0.2%转为上涨0.2%,为近6个月来首次转正;核心CPI上涨0.5%,涨幅比上月扩大0.6个百分点。其中,受暑期旅游消费旺盛等因素影响,飞机票、旅游、宾馆住宿等价格不同程度上涨,带动服务价格整体上涨0.8%,影响CPI上涨约0.3个百分点。从同比看,主要受去年同期高基数影响,7月份CPI由上月持平降至-0.3%。。
天眼查显示,2023年7月18日,富力地产因有履行能力而拒不履行生效法律文书确定义务,被广州市天河区人民法院两次列为失信被执行人(老赖)。
TOP2热点:山东一地部分土地被挖坑取土?官方:成立联合调查组全面调查核实
通过终端动销解决渠道的存货问题,保证“厂家—商家—终端”货物的流向、流量和流速问题。2022年是山西国资接手广誉远后完整运行的第一个年度,组织架构和部分员工调整重组。这一年公司实现营业收入9.95亿元,较去年上涨16.44%,利润方面则亏损。
TOP3热点:上海印发“脑机接口产业培育方案”:2030年前助失明患者,部分恢复视觉能力和谐之家丹我是个工人爸爸
如今,中
TOP4热点:《甄嬛传》中的名场面,她们印象最深的是这些白石茉莉奈
公告显示,上半年阅文上线了热播电视剧《平凡之路》和《纵有疾风起》,除了正在热播的《潜行者》和已经进入制作阶段的《庆余年第二季》《大奉打更人》《玫瑰故事》外,《斗破苍穹第二季》《与凤行》《骄阳伴我》等储备影视作品也有望陆续上线。
TOP5热点:明查|这些视频图片都与西藏地震无关yxnzy.net
一是实现风险数据实时共享。构建集团风险数据、业务、管理三个中台,贯通集团和金融子公司,实现风险数据上下贯通、实时汇聚、系统间实时传输。建设风险数据中台,开展风险监测图表、多维度风险分析、客户风险画像等,为决策层提供可视化的风险信息,助力风险管理精细化;建设风险业务中台,对集团和子公司的风险数据进行汇集和共享,衔接后台和前台应用,快速提供风险业务的共享服务。建设风险管理中台,开展风险数据的标准化等全生命周期管理,快速为通用的风险管理技术提供标准化基础技术组件,保障风险数据资产的低冗余、高复用。
四、拓宽市场宽度。走出竞争圈,走出舒适圈,共同拓展黄酒全国化市场。
TOP6热点:段永平再出手:今天买了腾讯,也买了茅台肌肤对肤肤30分钟
“策略之王”发现,ST信通三连阳同时成交量缩小,表示空头不支,多头乘势追击,以最小的代价取得胜利,上涨过程中遇到的阻力很小,是后市看好的二次确认。
诺泰生物(688076.SH)发布公告,公司股东星联管理因自身资金需求,拟通过集中竞价及大宗交易方式减持合计公司股份不超过636.93万股,不超过公司股份总数的2.9877%。
TOP7热点:9年来首次止跌回升,韩国新生儿为什么变多了?男生女生差差差差轮滑鞋2023
上海市第二中级人民法院民事判决书
TOP8热点:2025年财政政策方向清晰明确:将非常积极大奉打更人插花弄玉的背景故事
但个股市值体量、股性以及所处的市场环境不同均会影响均线多头排列策略的有效性。保守起见,策略哥特地回测了近几年中信建投相同指标形态的出现次数及后续影响,数据发现中信建投从2020年起共出现过30次5、10日线多头排列且缩量上涨的情况。
TOP9热点:浙江省委常委、组织部部长王成任浙江省委副书记最好看的中文字幕国语电视剧
目前锦泰保险增资扩股的具体金额和比例尚未公布,增资新股东股权占比也需以正式披露为准。不过,公告明确表示,不接受联合体投资。
奢侈品类股普涨,劳力士零售商瑞士手表集团一度上涨5.9%,最新财报显示,其营收符合预期,美国业务营收增长强劲,LVMH涨2.6%、爱马仕国际涨2.4%、欧莱雅涨1.8%、
TOP10热点:特朗普被判为重罪犯但予以无条件释放,为何?有何影响?b站刺激战场直播视频怎么看
净利润为330.00亿元(约合45.51亿美元),与上年同期的净利润202.98亿元相比增长63%。不按美国通用会计准则(Non-GAAP),净利润为449.22亿元(约合61.95亿美元),与上年同期的302.52亿元相比增长48%。