急救护士 满天星_科技前线_美国硅谷巨头神话崩塌,国产大模型DeepSeek在全球掀起复现急救护士 满天星狂潮_ZAKER新闻

急救护士 满天星美国硅谷巨头神话崩塌,国产大模型DeepSeek在全球掀起复现急救护士 满天星狂潮_ZAKER新闻

急救护士 满天星美国硅谷巨头神话崩塌,国产大模型DeepSeek在全球掀起复现急救护士 满天星狂潮_ZAKER新闻

美国硅谷巨头神话崩塌,国产大模型DeepSeek在全球掀起复现急救护士 满天星狂潮_ZAKER新闻

看普京的表情,感觉是在努力憋住笑。

【新智元导读】就在刚刚,网上已经出现了一波复现 DeepSeek 的狂潮。UC 伯克利、港科大、HuggingFace 等纷纷成功复现,只用强化学习,没有监督微调,30 美元就能见证「啊哈时刻」!全球 AI 大模型,或许正在进入下一分水岭。这些天,硅谷彻底处于中国公司带来的大地震余波中。全美都在恐慌:是否全球人工智能的中心已经转移到了中国?就在这当口,全球复现 DeepSeek 的一波狂潮也来了。诚如 LeCun 所言:「这一次,正是开源对闭源的胜利!」在没有顶级芯片的情况下,以极低成本芯片训出突破性模型的 DeepSeek,或将威胁到美国的 AI 霸权。大模型比拼的不再是动辄千万亿美元的算力战。OpenAI、Meta、谷歌这些大公司引以为傲的技术优势和高估值将会瓦解,英伟达的股价将开始动摇。种种这些观点和讨论,让人不禁怀疑:数百亿美元支出,对这个行业真的必要吗?甚至有人说,中国量化基金的一群天才,将导致纳斯达克崩盘。从此,大模型时代很可能会进入一个分水岭:超强性能的模型不再独属于算力巨头,而是属于每个人。30 美金,就能看到「啊哈」时刻来自 UC 伯克利博士生潘家怡和另两位研究人员,在 CountDown 游戏中复现了 DeepSeek R1-Zero。他们表示,结果相当出色!实验中,团队验证了通过强化学习 RL,3B 的基础语言模型也能够自我验证和搜索。更令人兴奋的是,成本不到 30 美金(约 217 元),就可以亲眼见证「啊哈」时刻。这个项目叫做 TinyZero,采用了 R1-Zero 算法——给定一个基础语言模型、提示和真实奖励信号,运行强化学习。然后,团队将其应用在 CountDown 游戏中(这是一个玩家使用基础算术运算,将数字组合以达到目标数字的游戏)。模型从最初的简单输出开始,逐步进化出自我纠正和搜索的策略。在以下示例中,模型提出了解决方案,自我验证,并反复纠正,直到解决问题为止。在消融实验中,研究人员运行了 Qwen-2.5-Base(0.5B、1.5B、3B、7B 四种参数规模)。结果发现,0.5B 模型仅仅是猜测一个解决方案然后停止。而从 1.5B 开始,模型学会了搜索、自我验证和修正其解决方案,从而能够获得更高的分数。他们认为,在这个过程,基础模型是性能的关键。他们还验证了,额外的指令微调(SFT)并非是必要的,这也印证了 R1-Zero 的设计决策。这是首个验证 LLM 推理能力的实现可以纯粹通过 RL,无需监督微调的开源研究基础模型和指令模型两者区别:指令模型运行速度快,但最终表现与基础模型相当指令输出的模型更具结构性和可读性此外,他们还发现,具体的 RL 算法并不重要。PPO、GRPO、PRIME 这些算法中,长思维链(Long CoT)都能够涌现,且带来不错的性能表现。而且,模型在推理行为中非常依赖于具体的任务:对于 Countdow 任务,模型学习进行搜索和自我验证对于数字乘法任务,模型反而学习使用分布规则分解问题,并逐步解决苹果机器学习科学家 Yizhe Zhang 对此表示,太酷了,小到 1.5B 的模型,也能通过 RL 涌现出自我验证的能力。7B 模型复刻,结果令人惊讶港科大助理教授何俊贤的团队(共同一作黄裕振、Weihao Zeng),只用了 8K 个样本,就在 7B 模型上复刻出了 DeepSeek-R1-Zero 和 DeepSeek-R1 的训练。结果令人惊喜——模型在复杂的数学推理上取得了十分强劲结果。项目地址:https://github.com/hkust-nlp/simpleRL-reason他们以 Qwen2.5-Math-7B(基础模型)为起点,直接对其进行强化学习。整个过程中,没有进行监督微调(SFT),也没有使用奖励模型。最终,模型在 AIME 基准上实现了 33.3% 的准确率,在 AMC 上为 62.5%,在 MATH 上为 77.2%。这一表现不仅超越了 Qwen2.5-Math-7B-Instruct,并且还可以和使用超过 50 倍数据量和更复杂组件的 PRIME 和 rStar-MATH 相媲美!其中,Qwen2.5-7B-SimpleRL-Zero 是在 Qwen2.5-Math-7B 基础模型上仅使用纯 PPO 方法训练的,仅采用了 MATH 数据集中的 8K 样本。Qwen2.5-7B-SimpleRL 则首先通过 Long CoT 监督微调(SFT)作为冷启动,然后再进行强化学习。在这两种方法中,团队都只使用了相同的 8K MATH 样本,仅此而已。大概在第 44 步的时候,「啊哈时刻」出现了!模型的响应中,出现了自我反思。并且,在这个过程中,模型还显现了更长的 CoT 推理能力和自我反思能力。在博客中,研究者详细剖析了实验设置,以及在这个强化学习训练过程中所观察到的现象,例如长链式思考(CoT)和自我反思机制的自发形成。与 DeepSeek R1 类似,研究者的强化学习方案极其简单,没有使用奖励模型或 MCTS(蒙特卡洛树搜索)类技术。他们使用的是 PPO 算法,并采用基于规则的奖励函数,根据生成输出的格式和正确性分配奖励:如果输出以指定格式提供最终答案且正确,获得 +1 的奖励如果输出提供最终答案但不正确,奖励设为 -0.5如果输出未能提供最终答案,奖励设为 -1该实现基于 OpenRLHF。初步试验表明,这个奖励函数有助于策略模型快速收敛,产生符合期望格式的输出。第一部分:SimpleRL-Zero(从头开始的强化学习)接下来,研究者为我们分享了训练过程动态分析和一些有趣的涌现模式。训练过程动态分析如下所示,所有基准测试的准确率在训练过程中都在稳步提高,而输出长度则呈现先减少后逐渐增加的趋势。经过进一步调查,研究者发现,Qwen2.5-Math-7B 基础模型在初始阶段倾向于生成大量代码,这可能源于模型原始训练数据的分布特征。输出长度的首次下降,是因为强化学习训练逐渐消除了这种代码生成模式,转而学会使用自然语言进行推理。随后,生成长度开始再次增加,此时出现了自我反思机制。训练奖励和输出长度基准测试准确率(pass@1)和输出长度自我反思机制的涌现在训练到第 40 步左右时,研究者观察到:模型开始形成自我反思模式,这正是 DeepSeek-R1 论文中所描述的「aha moment」(顿悟时刻)。第二部分:SimpleRL(基于模仿预热的强化学习)如前所述,研究者在进行强化学习之前,先进行了 long CoT SFT 预热,使用了 8,000 个从 QwQ-32B-Preview 中提取的 MATH 示例响应作为 SFT 数据集。这种冷启动的潜在优势在于:模型在开始强化学习时已具备 long CoT 思维模式和自我反思能力,从而可能在强化学习阶段实现更快更好的学习效果。与 RL 训练前的模型(Qwen2.5-Math-7B-Base + 8K QwQ 知识蒸馏版本)相比,Qwen2.5-7B-SimpleRL 的平均性能显著提升了 6.9 个百分点。此外,Qwen2.5-7B-SimpleRL 不仅持续优于 Eurus-2-7B-PRIME,还在 5 个基准测试中的 3 个上超越了 Qwen2.5-7B-SimpleRL-Zero。训练过程分析训练奖励和输出长度基准测试准确率(pass@1)和输出长度Qwen2.5-SimpleRL 的训练动态表现与 Qwen2.5-SimpleRL-Zero 相似。有趣的是,尽管研究者先进行了 long CoT SFT,但在强化学习初期仍然观察到输出长度减少的现象。他们推测,这可能是因为从 QwQ 提取的推理模式不适合小型策略模型,或超出了其能力范围。因此,模型选择放弃这种模式,转而自主发展新的长链式推理方式。最后,研究者用达芬奇的一句话,对这项研究做了总结——简约,便是最终极的精致。完全开源复刻,HuggingFace 下场了甚至,就连全球最大开源平台 HuggingFace 团队,今天官宣复刻 DeepSeek R1 所有 pipeline。复刻完成后,所有的训练数据、训练脚本等等,将全部开源。这个项目叫做 Open R1,当前还在进行中。发布到一天,星标冲破 1.9k,斩获 142 个 fork。项目地址:https://github.com/huggingface/open-r1研究团队以 DeepSeek-R1 技术报告为指导,将整个复刻过程划分为三个关键步骤。步骤 1:通过从 DeepSeek-R1 蒸馏高质量语料库,复现 R1-Distill 模型。步骤 2:复现 DeepSeek 用于创建 R1-Zero 的纯强化学习(RL)流程。这可能需要为数学、推理和代码任务策划新的大规模数据集。步骤 3:展示我们如何通过多阶段训练,从基础模型发展到经过 RL 调优的模型。从斯坦福到 MIT,R1 成为首选一个副业项目,让全世界科技大厂为之惶恐。DeepSeek 这波成功,也成为业界的神话,网友最新截图显示,这款应用已经在 APP Store 应用榜单登顶。在 Hugging Face 中,R1 下载量直接登顶,另外 3 个模型也霸占着热榜。a16z 合伙人 Anjney Midha 称,一夜之间,从斯坦福到 MIT,DeepSeek R1 已经成为美国顶尖高校研究人员「首选模型」。还有研究人员表示,DeepSeek 基本上取代了我用 ChatGPT 的需求。中国 AI,这一次真的震撼了世界。

koa12jJid0DL9adK+CJ1DK2K393LKASDad

编辑:李开富

TOP1热点:韩国空难飞机发动机吸入花脸鸭

据日本共同社报道,日本这次也派出陆上自卫队的水陆机动团和海上自卫队的“出云”号航母等参演,其中的重点课目是陆上自卫队首次在澳大利亚发射12式反舰导弹。此外,未来几天陆上自卫队还将参加两栖和防空演习,包括试射日本国产03式中程防空系统。“护身军刀2023”军演总监希尔准将表示,自卫队这次实弹射击对澳大利亚和日本来说是“互惠互利的演习”。“我认为这对他们来说是一个很好的机会,减少了在他们所在地区操作不同导弹系统的不确定性。我们很高兴能参与日本和澳大利亚之间互通的军事演习。”一名日本高级防务消息人士表示:“对于日本来说,在澳大利亚相对开放的空间而不是在日本拥挤且有争议的地区试射导弹很有意义。”。

看普京的表情,感觉是在努力憋住笑。

TOP2热点:DeepSeek为何震惊硅谷

这个年轻男人名叫

接到报警信息的警方也非常重视这起案件,很快就赶到了阿兵的出租屋。

TOP3热点:DeepSeekHR谈招聘条件别c我⋯啊⋯嗯上课呢男男明星

网页截图

卢卡申科表示,当他问瓦格纳为什么想去西方时,他们回答“想去华沙(波兰首都)和热舒夫(波兰东南部工业城市)旅游参观”。他指出,白俄罗斯按照约定收留了瓦格纳,但瓦格纳成员“心情并不好”。

TOP4热点:你的年味氛围组已就位BrandiLOVemissionaryaction

但那时

除了从人工智能到芯片领域的制裁,美国今年以来还炒作所谓“去风险”的新概念,要加速对华的脱钩断链。

TOP5热点:2025春节档预售票房突破7.2亿中国东方XXXXXLmedjyf

今年7月24日上午,广西本科第一批第二次征集志愿填报截止之后,封面新闻记者拨通了唐尚珺电话,但他婉拒了采访。何汉立告诉记者,唐尚珺对下一步打算仍然迷茫,梦想和现实还在斗争。“心情很低落,想安静”。

据日本共同社报道,日本这次也派出陆上自卫队的水陆机动团和海上自卫队的“出云”号航母等参演,其中的重点课目是陆上自卫队首次在澳大利亚发射12式反舰导弹。此外,未来几天陆上自卫队还将参加两栖和防空演习,包括试射日本国产03式中程防空系统。“护身军刀2023”军演总监希尔准将表示,自卫队这次实弹射击对澳大利亚和日本来说是“互惠互利的演习”。“我认为这对他们来说是一个很好的机会,减少了在他们所在地区操作不同导弹系统的不确定性。我们很高兴能参与日本和澳大利亚之间互通的军事演习。”一名日本高级防务消息人士表示:“对于日本来说,在澳大利亚相对开放的空间而不是在日本拥挤且有争议的地区试射导弹很有意义。”

TOP6热点:自驾4000公里回家主人和狗都麻了中国东方XXXXXLmedjyf

(原标题:持续跟进:齐齐哈尔体育馆坍塌11人死亡,救援人员讲述救援经过)

“听到妹妹出事了,我们家人像疯了一样,我父母快70岁了,一直哭一直哭,我妹妹从小就很懂事,很优秀,和家里人感情都很好,真的让人难以接受。”

TOP7热点:想象中的豪门vs真实的豪门黄上黄

盖洛普分析称,“总统职务评价数据实际上与上周没有变化,肯定评价的理由也一样”,“否定评价者选择的理由中,灾难、民生应对相关内容出现,福岛放流比重减少”。

官微截图

TOP8热点:00后有自己的传承细糠搡BBBB搡BBBB搡BBBB

尹锡悦资料图新华社发

夏松告诉中国新闻周刊,在2008年奥运会前,中国男篮是世界篮坛的一支劲旅,世界各国都对中国男篮存有一定敬畏,但是在2008年之后,这种敬畏感正在消失。“据我所知,一些国家的专业机构,持续在追踪中国球员的动态,作专业分析评估,但对于中国球员的能力和发展上限普遍评价不高。”

TOP9热点:国色芳华会员收官人马畜禽corporation网站

(原标题:日本对先进半导体制造所需设备追加出口管制,外交部:已向日方交涉)

经19个小时全力搜救,截至24日上午10时,15名被困人员全部找到。15名被困人员中,有4人无生命危险,6人经抢救无效死亡;另外5人现场已无生命体征,也尽全力组织了施救,但仍然没有挽回他们鲜活的生命。

TOP10热点:鲜活帝王蟹价格跌破千元2023国精产品一二二线精华液

“由于一直没有业绩,儿子的身上被打得皮开肉绽,一直无法平躺睡觉。”王女士表示,“他曾告诉我说,就算没有业绩,他也不会骗我们中国人的钱。”

卢卡申科表示,当他问瓦格纳为什么想去西方时,他们回答“想去华沙(波兰首都)和热舒夫(波兰东南部工业城市)旅游参观”。他指出,白俄罗斯按照约定收留了瓦格纳,但瓦格纳成员“心情并不好”。

发布于:易门县