好•色•先•色丅VS好•色•先•色丅Vcaling Law递减，堆砌数据、算力拼AI模型已行不通？大厂正在找出路_ZAKER新闻
S好•色•先•色丅Vcaling Law递减，堆砌数据、算力拼AI模型已行不通？大厂正在找出路_ZAKER新闻
“今年端午节生意比往年更好。”春林山庄的主人潘春林边招呼客人边兴奋地说，“以前从没想过余村会有今天这个样子，我觉得自己的路子是选对了。”
作者：赵雨荷来源：硬 AI迈向超级智能系统的 AI 实验室正意识到，可能需要改换道路。分析指出，相比传统的堆砌计算能力和数据的训练方法，被称为 " 测试时计算 "（Test-time Compute）的新方法更有助于提高 AI 模型的预测能力。据 TechCrunch 报道，多位 AI 投资者、创始人和 CEO 透露，近年来 AI 实验室用于提升模型能力的 "AI 扩展定律 "（AI scaling laws）正显示出边际收益递减的迹象。他们的观点与近期的报告一致，这些报告表明顶尖 AI 实验室中的模型提升速度已不如以往。现在，几乎所有人都开始承认，仅通过增加计算能力和数据量来预训练大型语言模型，并指望其变成某种全知全能模型的道路，是行不通的。这也许听起来显而易见，但扩展定律曾是开发 ChatGPT、提升其性能的关键因素，也可能影响了许多 CEO 大胆预测通用人工智能（AGI）将在几年内到来的信心。OpenAI 和 Safe Super Intelligence 的联合创始人 Ilya Sutskever 上周对媒体表示，" 所有人都在寻找扩展 AI 模型的新方式 "。本月早些时候，Andreessen Horowitz 联合创始人 Marc Andreessen 在一档播客中提到，当前 AI 模型似乎都趋向于能力的上限。不过，有 AI 领域的 CEO、研究人员和投资者已经开始宣称，行业正进入扩展定律的新纪元：" 测试时计算 "（Test-time Compute）被认为是一项特别有前景的新方法，能够让 AI 模型在回答问题前，有更多时间和计算资源进行 " 思考 "。" 我们正看到一种新扩展定律的出现，" 微软 CEO 纳德拉（Satya Nadella）周二在微软 Ignite 大会上说，他指的是支持 OpenAI o1 模型的测试时计算研究。此外，Andreessen Horowitz 合伙人、Mistral 的董事会成员、曾是 Anthropic 天使投资人的 Anjney Midha 在接受媒体采访时表示，" 我们现在正处于扩展定律的第二纪元，也就是测试时扩展。" AI 扩展定律失效？自 2020 年以来，OpenAI、谷歌、Meta 和 Anthropic 等公司取得的 AI 模型快速进步，主要归功于一个关键判断：在 AI 模型的预训练阶段使用更多的计算资源和数据。在这一阶段，AI 通过分析大量数据集中的模式来识别和存储信息。当研究人员为机器学习系统提供充足的资源时，模型通常在预测下一个词或短语方面表现更好。第一代 AI 扩展定律让工程师通过增加 GPU 的数量和数据量来提升模型性能。尽管这种方法可能已经达到瓶颈，但它已经改变了整个行业的版图。几乎每家大型科技公司都押注 AI，而为这些公司提供 GPU 的英伟达如今已成为全球市值最高的上市公司。然而，这些投资是基于扩展能够持续发展的预期而做出的。毕竟，扩展定律并不是自然、物理、数学或政府制定的法律，它并未被任何人或事物保证会以相同的速度继续下去。即便是著名的摩尔定律，也在运行了较长时间后逐渐失效。Anyscale 联合创始人、前 CEO Robert Nishihara 在对媒体表示，" 如果你只投入更多的计算资源和数据，模型越做越大，回报会逐渐递减，要维持扩展定律的运行并保持进步的速度，我们需要新思路。"" 当你已经阅读了 100 万条 Yelp 评论，再读更多评论可能不会带来太大增益，但那是预训练。关于后训练的方法还相对不成熟，还有很大的改进空间。"尽管如此，AI 模型开发者可能仍会继续追求更大的计算集群和更大的数据集进行预训练，而这些方法可能仍有一定的提升空间。例如，马斯克最近完成了一台拥有 10 万 GPU 的超级计算机 Colossus，用于训练 xAI 的下一代模型。但趋势表明，仅通过现有策略使用更多 GPU 无法实现指数级增长，因此新的方法开始获得更多关注。 测试时计算：AI 行业的下一大赌注当 OpenAI 发布其 o1 模型的预览版时，就宣布这属于独立于 GPT 的新系列模型。OpenAI 主要通过传统的扩展定律（即在预训练阶段使用更多数据和更多计算能力）改进了其 GPT 模型。但据称，这种方法现在的增益已不再显著。o1 模型框架依赖于一个新概念——测试时计算（test-time compute），之所以这样命名，是因为计算资源是在接收到提示后（而不是之前）才使用的。分析认为，这种技术在神经网络背景下的探索还不多，但已经表现出潜力。一些人已经将测试时计算视为扩展 AI 系统的下一种方法。Andreessen Horowitz 的 Midha 表示，许多实验表明，即使 " 预训练 " 的扩展定律可能正在放缓，" 测试时 " 扩展定律——即在推理过程中为模型提供更多计算资源——仍然可以显著提升性能。著名 AI 研究员 Yoshua Bengio 则表示，"OpenAI 的新‘ o 系列’进一步推动了 [ 连贯思维 ] ，需要更多计算资源，也因此需要更多能源，我们因此看到了一种新的计算扩展形式：不仅仅是更多的训练数据和更大的模型，还包括花费更多时间‘思考’答案。"例如，在 10 到 30 秒的时间里，OpenAI 的 o1 模型会多次重新提示自己，将一个复杂的问题分解为一系列更小的问题。现负责 OpenAI o1 工作的 Noam Brown 尝试开发可以击败人类的扑克 AI 系统，在最近的一次演讲中，Brown 表示，他注意到人类扑克玩家在出牌前会花时间考虑不同的情景。2017 年，他引入了一种方法，让模型在出牌前 " 思考 "30 秒。在此期间，AI 会模拟不同的子游戏，推演不同场景可能的结果以确定最佳行动。最终，这种 AI 的预测表现比他以前的方法提升了 7 倍。需要注意的是，Brown 在 2017 年的研究并未使用神经网络，因为当时它们尚未普及。然而，上周麻省理工学院的研究人员发表了一篇论文，表明测试时计算显著提高了 AI 模型在推理任务上的表现。目前尚不清楚测试时计算如何大规模推广。这可能意味着 AI 系统在解决难题时需要非常长的 " 思考 " 时间，可能是数小时甚至数天。另一种方法可能是让 AI 模型同时在许多芯片上 " 思考 " 问题。Midha 表示，如果测试时计算成为扩展 AI 系统的下一步，对专注于高速推理的 AI 芯片的需求可能会大幅增加，这对 Groq 或 Cerebras 等专注于快速 AI 推理芯片的初创公司来说是好消息。如果找到答案与训练模型同样需要大量计算资源，那么 AI 领域的 " 挖掘工具 " 提供商将再次受益。无论 AI 研究的前沿情况如何，用户可能在一段时间内感受不到这些变化的影响。不过，AI 开放商将不遗余力地继续快速推出更大、更智能、更快的模型，这意味着多家领先的科技公司可能会调整其推动 AI 边界的方法。本文来自微信公众号 " 硬 AI"，关注更多 AI 前沿资讯请移步这里koa12jJid0DL9adK+CJ1DK2K393LKASDad
编辑:程孝先
TOP1热点：单机游戏到底做成什么样才能像《黑神话: 悟空》一样大卖？
“虚假摆拍短视频的治理需要有关部门、平台、媒体、用户以及社会各方的共同努力。”黄楚新建议，作为主要传播载体的短视频平台需要落实审核责任，通过完善规定、优化技术手段等多种方式治理相关内容。同时，还可以强化用户参与和反馈机制，鼓励用户积极参与虚假短视频的举报和反馈，建立方便用户举报的渠道和机制。监管机构和社交媒体平台应积极响应用户的举报，进行调查处理，并及时向用户反馈处理结果。。
TOP2热点：服饰产业链外迁成为趋势，对出海企业而言需要关注哪些问题？
“今年端午节生意比往年更好。”春林山庄的主人潘春林边招呼客人边兴奋地说，“以前从没想过余村会有今天这个样子，我觉得自己的路子是选对了。”
TOP3热点：有没有什么实际简单、比较可行的方法，可以替换掉三餐的精致碳水？白嫩白嫩BBBBBBBBB-
扛起新使命，就要在种业科技体制机制创新上下功夫。
TOP4热点：新能源车的智能驾驶目前发展到什么程度了？你有哪些记忆深刻的智驾体验？18 лет
2003年至2010年，“千村示范、万村整治”示范引领，综合整治村庄环境，推动乡村更加整洁有序；
TOP5热点：世界围棋团体锦标赛更新规则，称棋盘外情况均不处罚，这会对日后的比赛带来怎样的影响？ChinaⅩXX❌XHD仙踪林
习近平总书记在考察调研中指出：“盛世修文，我们这个时代，国家繁荣、社会平安稳定，有传承民族文化的意愿和能力，要把这件大事办好。”亲耳聆听习近平总书记的重要要求，作为古籍工作者深感责任重大、使命光荣。进一步做好历史典籍版本的研究和挖掘工作，首要的是全面保护，其次要在调查研究历史典籍版本的“前世今生”上下功夫。就古籍版本而论，比如《九章算术》，据专家研究，这部书定型于汉代，总结了先秦到汉代的数学成果。西汉早期，张苍、耿寿昌对其进行过增补删订。魏晋时期数学家刘徽为其作注，唐代李淳风又进一步作解释。唐代曾在国子监设立算学馆，规定学习十部算学典籍，叫《算经十书》，其中有《九章算经》《周髀算经》等。在北宋年间曾用雕版印刷这些算经，南宋汀州又重刻之。然而这些算经大都流传稀少，《九章算经》南宋汀州刻本仅存前五卷，后四卷失传。所幸明代永乐年间修《永乐大典》时，这些算经大都被引用。清代乾隆年间修《四库全书》，四库馆臣戴震从《永乐大典》中辑出，并精心校订、补图，《九章算术》九卷基本恢复了全貌。回顾历史，《九章算术》定型于汉代，在唐代科举考试中列入“明算科”，可谓最显赫的时期，其后渐被冷落，到清代又受重视。从这个历史过程中可以发现，历史典籍版本能流传下来并非一帆风顺，但经过种种曲折总算是流传下来了，这充分表明中华文化具有生生不息的内在力量，每一个时代都有一批人精心呵护着。
TOP6热点：如何评价《崩坏：星穹铁道》2025 年 2 月 17 日新更新的忘却之庭？51cgfun吃瓜网热心朝阳群众
国家之魂，文以化之，文以铸之。日前，习近平总书记到中国国家版本馆和中国历史研究院考察调研、出席文化传承发展座谈会并发表重要讲话，对中华文化传承发展的一系列重大理论和现实问题作出全面系统深入阐述，为我们继续推进文化传承发展和繁荣兴盛指明了前进方向。习近平总书记在中国国家版本馆考察了国家书房、中华古代文明版本展、中国当代出版精品与特色版本展，参观了“汉藏蒙满文大藏经雕版合璧”和“《四库全书》合璧”库展，详细了解馆藏精品版本保存情况。丹青著史，盛世修文。“我最关心的就是中华文明历经沧桑留下的最宝贵的东西。我们文化不断流，再传承，留下的这些瑰宝一定要千方百计呵护好、珍惜好。”习近平总书记在考察调研时对新时代做好历史典籍版本研究和挖掘等提出了新的更高的要求，我们要深入学习领会、认真贯彻落实。
TOP7热点：《天国拯救 2》的主创曾在机核采访中表示该游戏就是捷克的「黑神话」，你认为这款游戏算是捷克的黑神话么？拔萝卜打牌不盖被子可以吗图片
海南自贸港首家国家知识产权保护中心、海南自贸港农业植物新品种审查协作中心、自贸港知识产权法院审判庭等先后落地崖州湾科技城，专利、商标、版权、地理标志、植物新品种“五合一”行政管理体制逐步落成。
TOP8热点：自由职业者通过 AI 是否能更好实现「一人公司化」？这种模式是否可持续？这对自媒体人又是一轮新机会吗？人马畜禽corporation猪
从省域走向全国，“千万工程”在广袤神州落地生根，重塑着中国更多乡村的面貌。
“今年端午节生意比往年更好。”春林山庄的主人潘春林边招呼客人边兴奋地说，“以前从没想过余村会有今天这个样子，我觉得自己的路子是选对了。”
TOP9热点：警方介入温州小学班主任校内身亡，学校对该教师实行末位淘汰制不属实，具体情况如何？斗罗大陆唐三爆阿银
哈法亚天然气处理厂是伊拉克各方关注的工业重点项目。何艳辉说，他不久前赴巴格达参加了伊拉克总理苏达尼召集的会议。苏达尼强调，伊拉克油气资源丰富，每年却有大量天然气白白烧掉，面临着缺电少气的局面，不得不从邻国进口天然气。伊拉克希望与各方伙伴加强合作，提升天然气处理能力，改善经济民生。
在人民网“领导留言板”和“人民投诉”平台，留言反映被在线培训机构所骗，“无法联系对方”“钱款不知所终”等问题的不在少数。
TOP10热点：清朝从哪一年开始成为中国正统，1644 年还是 1662 年？搡BBBB㐅㐅㐅搡BBB
为欢迎更多中国游客走进尼泊尔博卡拉市，尼泊尔国家旅游局专门组织“‘一带一路’走进尼泊尔――博卡拉旅游中文培训班”。来自中国的国际中文教育志愿者为70名当地学员授课。参加培训的有旅游局工作人员、酒店管理者，也有商铺老板，学员们在两个月内完成了80个小时的中文课程。尼泊尔国家旅游局相关负责人表示：“中国对全球旅游业而言都是巨大的市场。为更好地和中国游客沟通交流，我们亟须加强中文学习。”