x7x7x7暴力槽256wOpenAI的x7x7x7暴力槽256w先进模型遭遇瓶颈,堆数据做不成AGI_ZAKER新闻
OpenAI的x7x7x7暴力槽256w先进模型遭遇瓶颈,堆数据做不成AGI_ZAKER新闻
总体而言,房地产行业去杠杆带来的阵痛大概率还没有结束,虽然政策端开始出现少许利好,但是仍需要时间来修补之前的创伤。
外界对于人工智能最初的 " 期待感 " 正在消退,这无疑是当下整个 AI 行业最大的痛点,因此继续支撑资本市场信心的似乎只剩下了 AGI(通用人工智能)。而 AGI 将在未来 5 年内实现,这也是 OpenAI CEO 阿特尔曼、特斯拉创始人马斯克、英伟达创始人黄仁勋等一众科技界大咖的预测。从 ChatGPT 到 GPT-4 到 o1,从 LLama 1.0 到 3.0、Claude1 到 Claude3,如同打怪升级一般逐步实现 AGI,这是以 OpenAI 为代表的 AI 厂商试图描绘的未来图景。只是近日有消息显示,OpenAI 下一代旗舰模型 " 猎户座 "(Orion)的进步速度大幅放缓,合成数据越训越像旧模型、编码性能甚至还在退步。其实不仅仅是 OpenAI,谷歌的 Gemini 2.0、Anthropic 的 Claude 3.5 Opus 等先进 AI 模型也被传出遇到了瓶颈,以至于业界开始讨论如今被奉为圭臬 Scaling law 即将失效。事实上,关于 Scaling law 的论战也是近期 X 平台的热点,从 OpenAI 的开发者到 NYU、OSU 等知名大学的教授都参与其中。所谓 Scaling law,其实是 OpenAI 在 2020 年提出的一个关于基于 transformer 语言模型的规律,指的是大模型的最终性能主要与计算量、模型参数量和训练数据量三者的规模大小相关,与模型的具体结构基本无关。OpenAI 在发现了这个规律后,就搭建了拥有 200 亿参数的 GPT-3.5-Turbo,而 ChatGPT 正是在后者的基础上诞生。要知道在过去相当长的一段时间里,机器学习研究领域并没有把数据量作为主要研究对象,因为数据一般被认为是被动变量,大量的研究是集中在如何有效降低训练误差和控制模型复杂度上。客观来说,Scaling law 也是过去两年 AI 大模型赛道风起云涌的基础,因为它证明了通过预训练使用更多的数据和算力,能够让 AI 模型的性能暴涨。Scaling law 在 AI 领域的意义就如同摩尔定律之于半导体行业,用李开复博士在知乎上的回答就可以解释这条规律的重要性,"Scaling Law 的持续影响下,无论是硅谷还是国内,大模型赛道正在掀起一场 AI Infra 的‘军备竞赛’ "。过去两年,OpenAI、微软、谷歌、Meta、Anthropic 等 AI 赛道的头部厂商其实都在做同一件事,即以巨额计算资源为赌注,来赌 Scaling Law 的收益递减未来能够得到解决。在这一趋势下,海量资金被用于购买算力芯片、筹建数据中心,以及购买数据。而 Scaling Law 的存在也让整个业界弥漫着一股乐观情绪,仿佛购买更多的英伟达芯片、拿下更多的数据、获取更多的水电资源,AGI 似乎就是水到渠成的事情。对于 OpenAI 等大厂来说,实现 Scaling Law 需要的硬件资源和工程实践也是远胜于技术和思想的护城河。那么为什么会出现 OpenAI Orion 越训练越像旧模型呢?因为 " 新的、未开发的高质量人类生成训练数据 " 正在成为稀缺资源。在过去几年里,大模型的迭代升级过程几乎已经把各种公开可用的数据集、网站、书籍,以及其他来源的数据耗尽,而合成数据的广泛使用,则会导致新模型在训练中变得与旧模型更贴近。换而言之,如果解决了高质量训练数据的供给,业界就能继续在 Scaling law 这条道路上前进。问题在于高质量训练数据的产出跟不上大模型的 " 消耗 ",并且随着越来越多内容拥有者认识到了数据的价值,使得其变得越来越贵。这就意味着数据匮乏的问题不仅在 2024 年变得严峻,在未来还将变得更难以解决。Scaling Law 的边际效应愈发凸显、AI 大模型撞上 " 数据墙 ",这对于整个 AI 行业无疑是一个危险的信号。著名美国认知科学家、AI 泡沫论支持者 Gary Marcus 就在社交平台上表示,整个 AI 行业相关公司的高估值是建立在模型能力不断增强,能够迅速达到 AGI 的预期之上。所以一旦迭代速度放缓,行业就将进入价格战,这就意味着 AI 行业在找到自己的 " 现金牛 "、获得切实的业绩增长、回收基础设施上的庞大投入前,需要先进行残酷的消耗战。这对于投资者而言无疑是一个晴天霹雳,也很难不让他们联想到当年的互联网泡沫。如果不想重蹈二十年前互联网泡沫破裂的覆辙,AI 公司就必须找到 Scaling Law 之外的新道路。目前,OpenAI 给出的解决方案是切换赛道,The Verge 日前就发文称, OpenAI 方面计划于 2025 年 1 月推出名为 "Operator" 的 AI 智能体,其能力类似于 Claude 3.5 Sonnet、主打能像人类一样操作电脑。对此 OpenAI 首席产品官凯文・韦尔指出,2025 年可能是智能体进入主流市场的关键时间。其实智能体并不是什么新概念,早在一年前,比尔 · 盖茨就曾在博客文章中预言,AI 智能体将会成为继 Windows、iOS/Android 之后的下一个平台。在此之前,OpenAI、Anthropic、谷歌、Meta 等引流潮流的头部 AI 厂商之所以不做智能体,只是因为追逐 AGI 显然更有 " 钱景 "。如今在 Scaling law 失灵已经近在咫尺的情况下,头部 AI 厂商的 AGI 梦看来将会变得遥遥无期。这时候重新捡起商业前景更好的智能体,就说明 OpenAI 更务实了,毕竟想要实现远大的理想先得活下来才行。【本文图片来自网络】koa12jJid0DL9adK+CJ1DK2K393LKASDad
编辑:杨惟义
TOP1热点:《哪吒2》超《长津湖》,获中国影史票房冠军,创中国动画新纪元
文中提到仁生泽发头皮调理套盒中的关键成分“富勒烯”是“解决头发问题的技术”,源自中国科学院化学研究所纳米实验室的王春儒研究员团队,并表示富勒烯在抗氧化、修护、紧致、淡化皱纹、祛痘和舒缓方面具有显著的功效。。
AI概念继续强势表现,早盘低开“假摔”后,午后发起迅猛攻势!其中大数据产业链全线劲升,
TOP2热点:夫妻春节吵架丈夫被丢高速上,交警载他与家属会合
当然,这离不开燕之屋已建立起来的广泛且地域多元化的实体销售网络,包括自营门店及经销商门店。截至2022年12月31日,燕之屋拥有全国性的线下销售网络,由89家自营门店及225名线下经销商组成,涵盖中国615家经销商门店。
在今年一季度的楼市“小阳春”之后,4月和5月份中国房地产市场热度下滑,房地产企业拿地、开发投资等供给端疲弱。房地产相关政策优化预期逐步增强。
TOP3热点:证监会发布《关于资本市场做好金融“五篇大文章”的实施意见》公孙离眼流泪红脸咬铁球图片
明天开始高温来袭,上述地区公众需持续做好防暑降温措施。
TOP4热点:证监会发布《关于资本市场做好金融“五篇大文章”的实施意见》B是不是越大越好
用户在鲜活市场的线上消费,如何能如线下般满足其对新鲜度和品质的要求——这是行业的长期用户痛点,也是饿了么携手商家持续实现增长突破的切入点。
如今,阿里将正式告别“逍遥子时代”。全员信中显示,经过阿里巴巴控股集团董事会批准,集团执行副主席蔡崇信将出任阿里巴巴控股集团董事会主席;吴泳铭出任阿里巴巴控股集团CEO,同时继续兼任淘天集团董事长。
TOP5热点:证监会发布《关于资本市场做好金融“五篇大文章”的实施意见》Acca kappa
目前,该工厂设计年生产能力为加工大豆4万吨,生产大豆饼粕3.4万吨、大豆油0.4万吨的大豆加工厂一座。下一步,将依据订单扩大产能,力争年加工能力突破10万吨。
TOP6热点:这事儿|大同就“破门亮灯”致歉,此前商户们在担忧什么旅行者和丽莎拔萝卜
公司表示,一季度,集成电路产业整体尚处于底部,市场需求疲弱,产能利用率下降,叠加扩产带来的折旧成本上升的影响,一季度公司的净利润有所下降,这是净资产收益率下降的主要原因。从长远来看,市场对芯片的需求依然是增长的趋势,公司会以持续盈利为目标,保证一定的毛利率水平。
TOP7热点:打击跨国电诈!老挝:已对向缅甸大其力地区供电作出限制yp已满18点此自动转
报告预计,2023年上半年,预计香港将有31只新股上市融资178亿港元,对比2022年上半年则有24只新股融资177亿港元,代表新股数量增加29%,融资额微升1%。在2023年上半年,香港仅有1宗大型新股上市和1只中概股回归上市。
据界面新闻记者梳理,仅今年上半年,先后便已有招商资管、广发资管、兴证资管以及光证资管四家递交公募基金管理人申报材料。
TOP8热点:勇士交易巴特勒的动力,是库里那颗不甘平庸的心成品精品
文中提到仁生泽发头皮调理套盒中的关键成分“富勒烯”是“解决头发问题的技术”,源自中国科学院化学研究所纳米实验室的王春儒研究员团队,并表示富勒烯在抗氧化、修护、紧致、淡化皱纹、祛痘和舒缓方面具有显著的功效。
换位思考下,淘天和抖音想在微信生态上做大盘子,也面临压力,毕竟,除了腾讯旗下业务在争夺微信流量池外,美团、京东、拼多多等也还在通过各种方式抢蛋糕。
TOP9热点:春节七天上海线上线下消费465亿元,境外来沪客群消费金额同比增长28%串珠一颗一颗排出来视频_
最近几个月张勇的活动也印证了他对于阿里云、AI的投入。在阿里内部的一次分享会上,张勇讲到:“云在战略上太重要,时间窗口太宝贵,无论国际国内,数字化智能化都处于高速井喷期,抓住时代机遇非常重要。”5月26日与天津市主要领导座谈时,张勇谈到助力当地云计算、人工智能、大数据等产业的发展。在6月14日的2023西门子数字经济论坛上,张勇高度看好人工智能的未来前景,“由于生成式AI技术的发展,我们看到了完全不一样的数字化未来,所有行业都能通过AI重塑。”
TOP10热点:众声丨这届年轻人下班后迷上搞副业?我们和5位副业青年聊了聊日本金银瓶1-5
再次,酒鬼酒的内参系列走高端化战略,与其竞争的中低端赛道里又有众多品牌,且茅台、