日本大但人文艺术 MBA不断有人在问，这个中国模型到底有什么魔力？_ZAKER新日本大但人文艺术 MBA闻
不断有人在问，这个中国模型到底有什么魔力？_ZAKER新日本大但人文艺术 MBA闻
#国乒女团7连胜挺进决赛#【#国乒女团3比0完胜中国台北队#】7日，在成都进行的2022年第56届世界乒乓球团体锦标赛（决赛）女团半决赛中，中国队派出孙颖莎、陈梦、王曼昱迎战中国台北队，最终3：0完胜对手，率先闯进本次世乒赛决赛。（记者：陈地）
作者 ｜ Yoky邮箱 ｜ yokyliu@pingwest.comDeepSeek、李飞飞、LIMO，全球的 AI 界近期几乎都被这几个名词环绕，而这一切的背后，都要从一个 " 大隐隐于市 " 的高手谈起。2 月 3 日，李飞飞和斯坦福大学等团队在 arXiv 上发表了一篇名为《s1: Simple test-time scaling》的论文，仅在 16 块 H100 上微调 26 分钟，以不到 50 美元的价格训练出的新模型 s1-32B，数学及编程能力与 OpenAI o1 及 DeepSeek R1 等尖端推理模型效果相当。几乎同一时间，来自上海交大的本科生 Yixin Ye 与团队训练出的 LIMO 新模型，用 1% 的数据量，训练出 MATH 测试准确率高达 94.8% 的新模型。一般认为，低成本训练强劲性能模型的方法，基本上始于 DeepSeek 推出 R1 模型时顺手做的蒸馏示范。这一系列工作涌现，海外 AI 社区惊奇地发现，他们采用的基座模型，居然都是 Qwen ——这位真正的幕后高手。中国人更熟悉的名字是，通义千问，阿里云自研并开源的大模型 Qwen 系列。加拿大滑铁卢大学助理教授陈文虎更是直言，他们也在别的模型上作了尝试，同样的训练数据却完全不奏效，他总结称："Qwen 模型里头一定有一些 magical 的东西！"那么，这些充满魔力的东西到底是什么？1从研究到实践，他们为何都选择 Qwen?李飞飞团队在这篇论文里提到，性能优化的核心技术是 s1K 数据集和预算强制法（budget forcing）。s1K 的数据集包含 1000 个精心挑选的问题，李飞飞团队还使用谷歌的 Gemini Flash Thinking 模型生成每个问题的推理轨迹（reasoning traces）和答案。预算强制方法的特点，则是在模型终结思考时添加 "wait"，鼓励探索更多答案。最后，李飞飞团队对开源的 Qwen2.5-32B-Instruct 进行 s1K 的监督微调并应用预算强制后，得到模型 s1-32B。也就是在 16 个 H100 GPU 上训练 26 分钟、花费 50 美元的阶段。首先应该破除的迷思是，这绝不仅仅是只花 50 美元就能办到的事情。李飞飞的新方法，并不是从零训练一个模型，而是基于 Qwen 模型做的微调。公开数据显示，Qwen2.5 模型系列，仅预训练就用了 18 万亿 tokens，可以想见是怎样一笔支出。陈文虎在 X 上的留言，更是一语道破天机，绝非所有模型微调后都能有这样的效果。上海交大团队的 LIMO，几乎是对同样技术的探讨，使用了更少的 817 个精选训练样本，通过构建更高质量的推理链，结合推理时计算扩展和微调，就在极具挑战性的 AIME 基准测试中从 6.5% 的准确率提升到 57.1% ，在 MATH 基准测试中更是达到了 94.8% 的准确率。这一数据规模，仅占经典方法能达到模型水平所需数据量的 1% 左右。在 X 上，即将成为 MIT 助理教授、现 Databricks 的研究科学家 Omar Khattab 评价 LIMO 称，此类的论文更像是关于 Qwen 的研究成果而非推理。前三星研究院科学家 Rakshit Shukla 也表示，这些新成果印证了基础模型（也即 Qwen）的性能之强。事实上，国际开源社区对 Qwen 非常熟识，从 Qwen2 到 Qwen2.5，不同代际的开源 Qwen 模型，屡屡登上 HuggingFace 的 Open LLM Leaderboard、Chatbot Arena 大模型盲测榜单，多次斩获 " 全球开源冠军 "，性能强劲毋庸置疑。更重要的是，Qwen 推出了不同尺寸的开源模型，小到 0.5B，大到 110B，可以更好满足千行百业的需求，开发者用脚投票，纷纷来下载 Qwen 模型。这在 HuggingFace 平台上，仅 Qwen 的一款小型模型就占据了去年所有模型下载量的 26.6%。HuggingFace 官方供图全球火爆出圈的 DeepSeek，同样选择了 Qwen。在发布 R1 时，DeepSeek 官方透露，打样蒸馏 R1 的能力给到 6 个模型，其中 4 个模型就是 Qwen，分别选择了 1.5B、7B、14B 和 32B 四个尺寸，其中基于 Qwen-32B 的蒸馏模型，在多项能力上实现了与 OpenAI o1-mini 相当的效果。全球越来越多的开发者和企业选择了 Qwen，也将他们研发出的 Qwen 衍生模型贡献于开源社区。目前，开发者二创的 Qwen 衍生模型数量已经突破了 9 万，成为全球最大的 AI 模型族群。或许，这是李飞飞、Yixin Ye 乃至 DeepSeek 选择 Qwen 的又一原因，毕竟从学术界到产业界都用的 Qwen，是最容易被对比的性能标杆基座模型。2不止是最佳开源模型，更强的 Qwen2.5-Max 来了正当大家为性能出色的开源 Qwen 模型欢呼时，大年初一，阿里云在凌晨 1 点半又放出了新年第一弹：Qwen2.5-Max。在与业界领先的所有模型对比中，Qwen2.5-Max 依然展现出极强的性能。在测试大学水平知识的 MMLU-Pro、评估编程能力的 LiveCodeBench、全面评估综合能力的 LiveBench，以及近似人类偏好的 Arena-Hard 等主流测评中，Qwen2.5-Max 比肩 Claude-3.5-Sonnet，并几乎全面超越了 GPT-4o、DeepSeek-V3 及 Llama-3.1-405B。而就在这两天，Qwen 的新模型又再次以超强性能冲上主流大模型评测榜单全球前十：2 月 4 日， 业界最知名的三方评测榜单—— Chatbot Arena 大模型盲测榜单放榜。Qwen2.5-Max 以 1332 分，超过 DeepSeek V3、o1-mini 和 Claude-3.5-Sonnet 等国内外强手，获得全球第七名，并且获得数学和编程的单项第一。2 月 6 日，在 Meta 杨立昆牵头的 LiveBench 最新榜单中，Qwen2.5-Max 也闯进全球前十，领先于 DeepSeek-V3、Gemini-2.0-flash-lite 等诸多好手。Qwen 团队关于 Qwen2.5-Max 的技术博客里最后一段提到，" 持续提升数据规模和模型参数规模能够有效提升模型的智能水平。"这等同于解答了这个超大规模 MoE 模型里的秘密：Scaling Law，基于 MoE（混合专家）架构开发，持续扩大参数规模，不断改进训练方案。Scaling Law，既是观念，也是实践。在预训练数据规模上，Qwen2.5-Max 模型基于高达 20 万亿 tokens 的数据进行预训练，规模比训练 Qwen2.5 的 18 万亿 Tokens 还要多。Qwen2.5-Max 的预训练数据覆盖领域广泛，且知识密度高，同时通过精心设计的数据过滤及配比，保证了数据的数量与质量。此外，全面优化的后训练数据及强化学习方法让 Qwen2.5-Max 产出的内容也更符合广大用户的偏好。而在训练技术层面，Qwen 团队在今年 1 月提交的这篇名为《魔鬼在细节》（Demons in the Detail: On Implementing Load Balancing Loss for Training Specialized Mixture-of-Expert Models）的论文中，着重解释了 MoE 模型训练改进的方法。在 DeepSeek 训练 V3 的技术报告中，就曾在小规模上讨论了基于全局均衡来优化专家选择的效果。而 Qwen 更进一步，通过轻量的通信代价实现了全局均衡，在大规模上系统验证了这种方法的有效性，使得 MoE 模型的性能和专家特异性都得到了显著的提升。也正因这些关键改进，在模型裸性能也即基座模型的 11 项评测对比中，Qwen2.5-Max 与业界领先的 MoE 模型 DeepSeek V3、最大的开源稠密模型 Llama-3.1-405B 以及同系列的 Qwen2.5-72B 比拼中，全面领先。3不是从 DeepSeek 到 Qwen，而是从 Qwen 到开源世界当不少人为 Qwen2.5-Max 性能超越 DeepSeek-V3、再度为中国大模型欢呼时，实际上忽略了一个重要的事实：在 DeepSeek 爆火之前，海外大模型圈，早就熟知了 Qwen 这一名字。在我们此前对硅谷的数次探访中，每当谈及中国大模型，不少 CEO、开发者蹦出来的第一个名字，是 Alibaba's Qwen。过去两年来，Qwen 的确是开源最多、最深入的中国大模型代表。Qwen 模型性能强劲，开源尺寸多样化，并且拥有全球最大的衍生模型群，成为学术界到产业界都广受欢迎的最重要的开源模型系列。从 2023 年 8 月首个开源模型 Qwen-7B 的发布开始，Qwen 就陆续开源了覆盖不同参数规模、不同模态、不同应用场景的数十款模型。这些模型不仅包括通用大语言模型，还涵盖了多模态、对话、代码生成等专业领域的特化版本。在 GitHub 社区，Qwen 收获了来自全球开发者的好评。特别是 2024 年 9 月发布的 Qwen2.5 系列模型，在代码生成和调试任务中表现卓越。有开发者成功通过本地部署 Qwen2.5-32B 模型并配合 VS Code 扩展工具，完全替代了此前依赖的 ChatGPT 和 Claude 3.5 Sonnet 的编程辅助功能。图源 X 截图仅仅在过去的 3 个月，Qwen 就陆续开源了推理模型 QwQ、多模态推理模型 QVQ、数学推理过程奖励模型 Qwen2.5-Math-PRM、支持 100 万 Tokens 的长文本模型 Qwen2.5-1M 以及最新一代视觉理解模型 Qwen2.5-VL。以视觉理解模型为例，阿里云曾开源 Qwen-VL 及 Qwen2-VL 两代模型，全球总下载量突破 3200 万次，是开源社区里最受欢迎、性能最强的视觉理解模型，开发者用它来理解难以辨认的手写稿，解答书本上艰深的数学物理题，甚至尝试去探索月球和银河的秘密。也正因此，Qwen2.5-VL 一开源发布，就引发了大波的海外 Qwen 粉丝们的狂欢，开源社区大佬 VB 一句话总结：它持续变得越来越好了。一个业界的共识是，Qwen 最早扛起了中国 AI 大模型开源的大旗，也带起了一波开源的浪潮，孕育起一个 AI 生态。阿里云牵头建设的魔搭社区，已经上架了 4 万多个 AI 模型，服务超过 1000 万名开发者。李飞飞这样的学术大咖选择 Qwen，Yixin Ye 这样的年轻本科生基于 Qwen 探索新技术，甚至 DeepSeek 这样现象级的创业公司也用 Qwen 模型做蒸馏。更多来自阿拉伯语、法语、日语、西班牙语地区的开发者，因为 Qwen 的强劲语言能力而第一次拥有了性能超群的本国语言大模型。Qwen 让 AI 技术从杭州走向了世界。4「神秘东方力量」的公开秘密人往往高估一年的变化，但会低估五年的变化。不到一年前，还有大佬认为闭源才是 AI 大模型发展的主流，现在，全世界的开发者都在为开源的中国 AI 技术挑战传统霸权而欢呼。今天，当我们谈中国大模型集体崛起，我们会谈论 DeepSeek，谈它背后充足的量化资本以及追求 AGI 的纯粹初心；我们也会谈通义千问 Qwen，谈孕育它的阿里云和更庞大的阿里巴巴生态。巧的是，这两个扬名海外的中国大模型，都来自杭州，因此也有人称之为开源世界里的杭州「内战」，甚至一度传出阿里要入股 DeepSeek 的谣言。一个不争的事实是，在 DeepSeek 最需要算力支持的时候，阿里云官宣支持部署 DeepSeek-V3 和 R1 模型。AI 不是零和博弈，最后胜利也不会只属于某一家公司。在这样一个激动人心的大时代，齐头并进或许是个最优解。当然，时间会考验所有人，而一切才刚刚开始。koa12jJid0DL9adK+CJ1DK2K393LKASDad
编辑:马继
TOP1热点：食材逆袭，将超市濒死的雪蟹带回家，有趣的事发生了
此外，有些公司的基层岗位也倾向于聘请60后。《中国经济周刊》记者了解到，不少物业公司保洁、保安岗位员工年龄普遍在50岁、60岁以上。某物业公司管理层员工说，保安保洁工作又脏又累，时间长，工资还低，招不到年轻人。。
TOP2热点：《绝区零》零号·安比角色展示 | 第零适格者
据河北香河县疾控中心10月4日通报，10月4日0时至12时，京哈高速香河服务区两名工作人员在隔离点中检测初筛阳性，系经停京哈高速香河服务区的外省病例关联人员。
TOP3热点：越到临死的时候，越喜欢作死，这部电影会带你探寻生命的意义男生女生一起相差差差30免费观看电视剧
张世贤从中国社会科学院退休至今已5年，退休后他也没闲着，“我是先退休后退职，现在也在做一些事情，在清华大学等高校讲讲课，带一带研究生。除了给家里带孩子的这一部分老人之外，我身边退休的不少学者，都在为社会作贡献，来实现自己的剩余价值。”
相比企业年金，职业年金建立得比较晚，但是发展势头较快。《公报》显示，我国职业年金市场化投资运营工作稳步推进，2021年年末，职业年金基金投资运营规模1.79万亿元，当年投资收益额932亿元。
TOP4热点：「导数含参单调性讨论」一小时大串讲！铜铜铜铜铜铜铜铜铜好多水
随后第三单打的较量又是一场“青春对决”，由世界排名第一的孙颖莎对阵排名第43位的20岁新秀长崎美柚。实力、经验均占优的孙颖莎，以11比7、11比7、11比8力克对手。中国女队连续第五次、历史上第22次捧起了考比伦杯。
未来，选择专业养老机构的60后也会有更大的选择空间。据规划，“十四五”期间，全国养老服务床位总量目标是达到900万张以上。
TOP5热点：我只能说要是嘉豪和睡神对比强度的话，一定是嘉豪胜#内容太过于真实#嘉豪#搞笑铜铜铜铜铜铜铜铜好大好深色
10月4日17时10分，浙江绍兴嵊州市在苏台高速崇仁服务区发现1例新冠肺炎核酸检测阳性感染者，系途经嵊州的外省货车司机，经嵊州市疾控中心复核为阳性，目前已闭环转运至定点医院治疗。经流调，该司机在进入服务区后，第一时间落实管控措施，其在嵊州市内无其他活动轨迹。
TOP6热点：《虚癫自守》第1集：新生16岁macbookpro日本
60后是一个超级庞大的群体。统计数据显示，上世纪60年代是我国人口出生高峰期，人口出生率超40‰，总出生人口数为2.45亿，其中，1963年出生人口最多，达2934万人。
TOP7热点：《熊A与虎B》海角精产国品一二三区别
“我从来不把安逸和快乐看作是生活目的的本身——这种伦理基础，我叫它猪栏的理想。”邱小英很喜欢爱因斯坦的这句话，“如果不上班，天天在家里，我可受不了，从更大范围来说，我觉得现在完全不干活，只拿退休金，是浪费国家资源。”为此，她退休后又去了一家民营企业担任管理人员，干劲十足。
TOP8热点：食材逆袭，将超市濒死的雪蟹带回家，有趣的事发生了国精产品99永久中国有限公司
#国乒女团7连胜挺进决赛#【#国乒女团3比0完胜中国台北队#】7日，在成都进行的2022年第56届世界乒乓球团体锦标赛（决赛）女团半决赛中，中国队派出孙颖莎、陈梦、王曼昱迎战中国台北队，最终3：0完胜对手，率先闯进本次世乒赛决赛。（记者：陈地）
TOP9热点：食材逆袭，将超市濒死的雪蟹带回家，有趣的事发生了人马畜禽CORPORATION免费
#国乒女团7连胜挺进决赛#【#国乒女团3比0完胜中国台北队#】7日，在成都进行的2022年第56届世界乒乓球团体锦标赛（决赛）女团半决赛中，中国队派出孙颖莎、陈梦、王曼昱迎战中国台北队，最终3：0完胜对手，率先闯进本次世乒赛决赛。（记者：陈地）
平遥古城景区管理有限公司10月7日通告称，平遥古城景区（含双林寺、镇国寺）于10月8日起暂时关闭。已预约景区门票的游客，可通过原购票渠道申请全额退款。
TOP10热点：sorrrrrrrrrrry……谁的青春..和朋友们一起饭后娱乐！女人与公驹交酡全过程
尽管暂时没打算离开工作岗位，黄伟还是设想过今后悠闲自在的生活，为此，他几年前在湖南浏阳农村与当地村民共建一套住房，租期20年，村民平时自住。等到正式退下来，他期待着归隐田园。
养老保险问题说到底是社会问题，对于那些有能力的高知退休人士，更多人选择“老有所为”来解决退休后养老金与退休前收入形成的落差。