文学新视-"张小雨"-Qwen2.5张小雨登上全球开源王座，72B模型击败LIama3 405B，轻松胜过GPT-4o-mini

Qwen2.5张小雨登上全球开源王座，72B模型击败LIama3 405B，轻松胜过GPT-4o-mini_ZAKER新闻

老挝员工丽达来自西北部的沙耶武里省。尽管她是来到工厂之后才第一次接触到现代化生产设备，但通过培训很快掌握了操作技术。“在这里工作有保障，吃饭有补贴，宿舍及水电费都由公司承担，除留些零花钱外，大部分工资都能寄回家里。希望沙耶武里将来也能有这样现代化的工厂。”丽达说。

在指令跟踪、长文本生成、结构化数据理解和结构化输出生成方面均有显著提升。击败 LIama3！Qwen2.5 登上全球开源王座。而后者仅以五分之一的参数规模，就在多任务中超越 LIama3 405B。各种任务表现也远超同类别的其他模型。跟上一代相比，几乎实现了全面提升，尤其在一般任务、数学和编码方面的能力表现显著。值得注意的是，此次 Qwen 可以说是史上最大规模开源，基础模型直接释放了 7 个参数型号，其中还有六七个数学、代码模型。像 14B、32B 以及轻量级 Turbo 模型胜过 GPT-4o-mini。除 3B 和 72B 模型外，此次所有开源模型均采用 Apache 2.0 许可。Qwen2.5：0.5B、1.5B、3B、7B、14B、32B 和 72BQwen2.5-Coder：1.5B、7B 和 32B（on the way）Qwen2.5-Math：1.5B、7B 和 72B。直接一整个眼花缭乱，已经有网友开始用上了。Qwen2.5 72B 与 LIama3.1 405B 水平相当相比于 Qwen2 系列，Qwen2.5 系列主要有这么几个方面升级。首先，全面开源。他们研究表明，用户对于生产用的 10B-30B 参数范围以及移动端应用的 3B 规模的模型有浓厚兴趣。因此在原有开源同尺寸（0.5/1.5/7/72B）基础上，还新增了 14B、32B 以及 3B 的模型。同时，通义还推出了 Qwen-Plus 与 Qwen-Turbo 版本，可以通过阿里云大模型服务平台的 API 服务进行体验。可以看到，超半数模型都支持 128K 上下文，最多可生成 8K 上下文。在他们的综合评测中，所有模型跟上一代相比实现了能力的跃迁，比如 Qwen2.5-32B 胜过 Qwen2-72B，Qwen2.5-14B 胜过 Qwen2-57B-A14B。其次，预训练数据集更大更高质量，从原本 7 万亿个 token 扩展到最多 18 万亿个 token。然后就是多方面的能力增强，比如获得更多知识、数学编码能力以及更符合人类偏好。此外，还有在指令跟踪、长文本生成（从 1k 增加到 8K 以上 token）、结构化数据理解（如表格）和结构化输出生成（尤其是 JSON）方面均有显著提升。来看看实际效果。表格理解生成 JSON 输出此外，Qwen2.5 模型总体上对系统提示的多样性具有更强的适应能力，增强了聊天机器人的角色扮演实现和条件设定能力。那么就来看看具体模型能力如何。旗舰模型在前文已经看到，它在各个任务都有明显的进步。而像 0.5B、1.5B 以及 3B 这样的小模型，性能大概是这样的：值得注意的是，Qwen2.5-0.5B 型号在各种数学和编码任务上的表现优于 Gemma2-2.6B。除此之外，Qwen2.5 还展现了指令调优之后的模型性能，72B-Instruct 在几项关键任务中超越了更大的 Llama-3.1-405B，尤其在数学（MATH：83.1）、编码（LiveCodeBench：55.5）和聊天（Arena-Hard：81.2）方面表现出色。还有像 32B-Instruct、14B-Instruct 以及 Qwen2.5-Turbo，展现了与 GPT-4o-mini 相当的能力。Qwen 史上最大规模开源除了基础模型，此次 Qwen 还放出了代码和数学专业模型。Qwen2.5-Coder 提供了三种模型大小：1.5B、7B 和 32B 版本（即将推出）。主要有两点改进：代码训练数据规模的扩大以及编码能力的增强。Qwen2.5-Coder 在更大规模的代码数据上进行训练，包括源代码、文本代码基础数据和合成数据，总计 5.5 万亿个 token。它支持 128K 上下文，覆盖 92 种编程语言。开源的 7B 版本甚至超越了 DeepSeek-Coder-V2-Lite 和 Codestral 等更大型的模型，成为目前最强大的基础代码模型之一。而数学模型这边，Qwen2.5-Math 主要支持通过 CoT 和 TIR 解决英文和中文数学问题。目前不建议将此系列模型用于其他任务。Qwen2.5-Math 这一系列开源了包括基础模型 Qwen2.5-Math-1.5B/7B/72B、指令调优模型 Qwen2.5-Math-1.5B/7B/72B-Instruct，以及数学奖励模型 Qwen2.5-Math-RM-72B。与 Qwen2-Math 系列仅支持使用思维链（CoT）解决英文数学问题不同，Qwen2.5-Math 系列扩展支持使用思维链和工具集成推理（TIR）解决中英文数学问题。跟上一版本相比，他们主要干了这三件事来实现基础模型升级。利用 Qwen2-Math-72B-Instruct 模型来合成额外的高质量数学预训练数据。从网络资源、书籍和代码中收集更多高质量的数学数据，尤其是中文数据，跨越多个时间周期。利用 Qwen2.5 系列基础模型进行参数初始化，展现出更强大的语言理解、代码生成和文本推理能力。最终实现了能力的提升，比如 1.5B/7B/72B 在高考数学问答中分别提升了 3.4、12.2、19.8 分。好了，以上是 Qwen2.5 系列一整套堪称「史上最大规模」的开源。不叫草莓叫猕猴桃阿里通义开源负责人林俊旸也分享了背后的一些细节。他首先表示，在开源 Qwen2 的那一刻就开始了 Qwen2.5 项目。在这过程中，他们认识到了很多问题和错误。比如在预训练方面，他们们只是专注于提高预训练数据的质量和数量，使用了很多大家熟悉的方法。比如文本分类器用于召回高质量数据，LLM 评分器用于对数据进行评分，这样就能在质量和数量之间取得平衡。还有在创建专家模型的同时，团队还利用它们生成合成数据。在后期训练时候，用户的反馈来帮助他们逐一解决问题，同时他们也在探索 RLHF 方法，尤其是在线学习方法。对于之后的升级和更新，他表示受 o1 启发，认为应该深入研究推理能力。值得一提的是，在 Qwen2.5 预热之时，他们团队就透露不叫草莓，叫猕猴桃。好了，现在猕猴桃可以快快用起来了。参考链接： [ 1 ] https://x.com/JustinLin610/status/1836461575965938104 [ 2 ] https://x.com/Alibaba_Qwen/status/1836449414220779584 [ 3 ] https://qwenlm.github.io/blog/qwen2.5/ [ 4 ] https://qwenlm.github.io/blog/qwen2.5-llm/ [ 5 ] https://qwenlm.github.io/blog/qwen2.5-coder/ [ 6 ] https://qwenlm.github.io/blog/qwen2.5-math/本文来自微信公众号 " 量子位 "，作者：白小交。

koa12jJid0DL9adK+CJ1DK2K393LKASDad

编辑:甘铁生

TOP1热点：父母双亡脑梗男子被好友拯救

浙江省海宁市硖石街道西山社区党委书记、居委会主任金美凤分享了她的思路：精准把握居民诉求，充分调动广大居民参与治理的积极性，引导社会组织以项目化运作的方式开展志愿服务，让居民群众在互助中收获更大的社会价值。。

“对于习近平主席在致辞中提到加强同各国的发展战略和合作倡议对接，我们十分期待。”阿吉兰兄弟控股集团副董事长穆罕默德·艾尔·阿吉兰表示，随着共建“一带一路”倡议与沙特“2030愿景”的深度对接，沙中企业在技术创新、研发生产及市场开拓等方面实现了合作共赢，也为沙特经济转型注入了新动力。“希望与中国的商业伙伴加强长期的、富有战略意义的合作。”

TOP2热点：继续深入学习运用邓小平理论

位于国家会议中心综合展区的沙特阿吉兰兄弟控股集团展台，吸引了不少中国企业代表驻足交流。

张庆伟指出，制定无障碍环境建设法，是贯彻落实习近平总书记重要指示精神和党中央决策部署的重要举措，是保障残疾人与老年人权益、推动我国人权事业发展进步的内在要求，是提升无障碍环境建设质量、提高人民生活品质的有力保障。

TOP3热点：黑神话网易云音乐举报机制

（一）社会保险法律、法规、规章执行情况；

如今，在有“中国光谷”之称的武汉东湖新技术开发区，“独树一帜”的这束光在创新中持续闪亮：中国信科集团研制出国内首款超1太比特/秒硅基相干光收发芯片；华工激光制造出我国首台核心部件100%国产化的高端晶圆激光切割设备……目前，光谷科创大走廊上的光电子信息产业规模已接近8000亿元，正加速冲刺万亿元级规模。

TOP4热点：女子下雨天拉隐形车门被熏吐了Chinagary篮球体育飞机

第七章附则

为了使火炬能够适应长时间的户外燃烧、适应多种复杂天气环境，“薪火”火炬历经两年研发制造，实现了火力最大化和防风防雨性的最强化，确保火焰能够在风力达8级和大雨状态下持续燃烧且火焰清晰可见，在抗风、耐高温等方面都刷新多项纪录。

TOP5热点：邓紫棋鸟巢演唱会139大但人文艺术天气包子铺

老挝万象赛色塔综合开发区鸟瞰图。

赛色塔低碳示范区是中老两国政府依托赛色塔综合开发区开展的应对气候变化的南南合作项目，是中国在发展中国家开展的“10个低碳示范区”合作项目之一。根据中老两国签署的谅解备忘录，双方将开展一系列合作，包括以低碳交通带动低碳生活方式的转变，以低碳照明提升绿色基础设施建设水平等。

TOP6热点：中星卫星发射成功貂蝉喝自己乳液照片

毛宁说，近来，习近平主席先后复信美国华盛顿州“美中青少年学生交流协会”和各界友好人士、美国史迪威将军后人，指出“中美关系的希望在人民，基础在民间，未来在青年”“两国人民应该加强交流、增进理解、扩大合作，为两国关系发展不断注入新动力”。“这两封复信充分彰显了习近平主席对促进中美民间交往和两国人民交流的高度重视。”