亭亭玉立国色天香四月天曝OpenAI新旗舰模型“难产”,或明年年初发布_Z亭亭玉立国色天香四月天AKER新闻
曝OpenAI新旗舰模型“难产”,或明年年初发布_Z亭亭玉立国色天香四月天AKER新闻
据@新华财经消息,近日,视觉中国因与个人摄影师戴建峰出现版权纠纷一事再度陷入舆论漩涡。该事件目前进展为视觉中国下架涉事图片,但表态是基于对摄影师本人诉求尊重的主动下架。视觉中国相关负责人在接受新华财经采访时表示,考虑到目前的市场环境,视觉中国未来将在业务上做出一定调整,比如终止版权保护委托代理业务,即本次版权争议事件所涉及到的业务。(新华财经康耕甫王鹤)
编译 | 汪越编辑 | Panken智东西 11 月 11 日消息,据 The Information 报道,OpenAI 的 GPT 系列模型改进速度放缓,公司正调整策略以应对这一挑战。据 OpenAI 员工透露,下一代旗舰模型 Orion 已完成约 20% 的训练。Orion 在语言任务上表现出色,但在编码等方面未超越 GPT-4,且运行成本偏高,提升幅度低于预期。此外,Orion 在明年年初发布时,可能不会沿用传统的 "GPT" 命名规则,而是采用新的命名方式。Orion 的开发暴露了高质量文本数据短缺的问题。根据 Scaling Law 理论,模型性能应随数据量和算力的增加而提升。但高质量数据的有限性已使 Orion 的训练效果受限,令 Scaling Law 的适用性受到质疑。即便投入更多数据和算力,模型的提升速度也可能不再如前几代那样显著。为此,OpenAI 成立了一个专门团队,研究如何克服数据短缺的挑战,评估 Scaling Law 还能适用多久。 一、撞上数据墙,Orion 在某些方面神似旧模型据 OpenAI 员工透露,GPT 改进速度放缓的重要原因是高质量文本和其他数据的短缺。大语言模型(LLM)的预训练需要大量数据来建立模型对世界和概念的理解,确保其能完成写作或编程等任务。然而,随着现有数据源日益被充分利用,模型提升正面临瓶颈。▲ LLM 发布前的训练和测试过程(图源:The Information)为解决数据不足的问题,OpenAI 已组建由前预训练负责人尼克 · 莱德(Nick Ryder)领导的团队,致力于探索如何克服数据短缺以及 Scaling Law 在未来的适用性。Orion 模型的部分训练数据源于 AI 生成的数据,即由 GPT-4 等旧模型生成的合成数据。然而,这种方式可能导致 Orion 在某些方面呈现出旧模型的特征。OpenAI 正通过其他方法优化 LLM 处理任务的能力,例如要求模型从大量数学或编程问题样本中学习,并通过强化学习提升解题效率。此外,人工评估员还会对模型的编码和问题解决表现进行评分,这种基于人类反馈的强化学习为模型优化带来重要支持。今年 9 月,OpenAI 推出了推理模型 o1。与传统模型不同,o1 在回答前 " 思考 " 时间更长,通过增加计算资源提升响应质量,显示出 " 测试时计算 "(Test-Time Compute)的效果。虽然 o1 的运行成本是普通模型的六倍,并且该模型的客户群较为有限,但阿尔特曼认为它将为科学研究和复杂代码生成等领域带来突破。▲ OpenAI"ol" 推理模型如何更好地解决数学奥林匹克竞赛题(图源:OpenAI) 二、LLM 发展平台期,投资基础设施效果存疑据 The Information 报道,Meta CEO 马克 · 扎克伯格(Mark Zuckerberg)、阿尔特曼以及其他 AI 开发公司的首席执行官均公开讲过,当前的技术仍未达到 Scaling Law 所设定的极限。这或许是包括 OpenAI 在内的公司,仍在投入数十亿美元建设大型数据中心的原因之一,以进一步提升预训练模型的性能。然而,OpenAI 研究员诺姆 · 布朗(Noam Brown)在上个月的 TEDAI 会议上分享说,开发更先进的模型可能在财务上变得不可持续。布朗提出质疑:我们真的要花费数千亿美元甚至更多来训练新的模型吗?扩展的模式终究会达到瓶颈。OpenAI 仍在对其下一代模型 Orion 进行长时间的安全性测试。据公司员工透露,Orion 在明年年初发布时,可能不会沿用传统的 "GPT" 命名规则,而是采用新的命名方式。OpenAI 官方对此并未做出评论。一些已经向 AI 开发商投资了数千万美元的投资者们,也对 LLM 是否已经开始趋于稳定表示担忧。本 · 霍洛维茨(Ben Horowitz)是 OpenAI 的股东之一,同时还投资了 Mistral 和 Safe Superintelligence 等竞争对手。他曾谈道,OpenAI 一直在增加训练 AI 所需的 GPU 数量,但似乎并未获得预期的智能改进。不过,他并未进一步详细说明。霍洛维茨的同事马克 · 安德森(Marc Andreessen)谈道,许多聪明的研究人员正在努力突破技术瓶颈,尝试提高推理能力。企业软件供应商 Databricks 的联合创始人兼董事长 Ion Stoica 谈道,LLM 在某些方面可能已经进入瓶颈期,但在其他方面仍在持续进步。Stoica 说,他们的平台允许应用程序开发者评估不同的 LLM,并且发现虽然 AI 在编码和解决复杂的多步骤问题上持续改进,但在执行一些通用任务(如分析文本情绪或描述医疗症状)时,能力似乎有所放缓。Stoica 还说,在常识性问题上,LLM 的表现可能已经接近极限。为了进一步提升模型的能力,公司需要更多的事实数据,而合成数据的帮助则有限。 结语:强化学习提升模型表现,持续投资保持竞争力OpenAI 正通过多方策略应对当前的技术瓶颈,尤其是在 LLM 面临的高质量数据短缺和性能提升困境。为了克服这些挑战,OpenAI 不仅通过强化学习提升模型在数学和编程等特定任务中的表现,还依赖于 AI 数据平台 Scale AI 和 LLM 训练商 Turing 等初创公司来管理大量外包承包商,以支持训练过程。虽然当前 AI 基础设施的投资回报尚不明显,且在 LLM 训练过程中面临巨大的财务压力与技术挑战,但市场竞争与投资热情尚未减退,竞争者们在持续下注。比如,马斯克旗下的大模型独角兽 xAI 和 X 平台及英伟达合作,已建成了 10 万片 H100 GPU 的强大集群;Meta 投入了 400 亿打造类似规模的 GPU 集群,以支持 Llama 4 模型的训练;苹果也在积极推进与富士康的合作,提升自家设备的 AI 算力。来源:The Informationkoa12jJid0DL9adK+CJ1DK2K393LKASDad
编辑:孙寿康
TOP1热点:假如华妃在滴血认亲现场,蒋欣:看戏,一定是看戏
保守起见,策略哥特地回测了近几年大全能源相同指标形态的出现次数及后续影响,数据发现大全能源自2021年起共出现过44次股价突破BBI均线的情况。。
TOP2热点:央视特约评论员:不统一就不是真正的大市场
税前利润为3.758亿元,而上年同期税前亏损1.652亿元。
TOP3热点:“胖东来模式”来到上海,靠什么吸引消费者?好吊视频一区二区三区
从技术角度来说,当前海兴电力金叉发生在0轴下方,绿柱状持续收缩,红柱状开始放出,这也是市场转市信号之一,表明该股的下跌行情或低位盘整已经结束,股价或将开始加速上升,建议持续关注。
TOP4热点:穿越海峡的热线|“00后”台湾女孩带太奶奶来大陆:99%的人都会喜欢大陆生活灭火宝贝2010美版
于同日,该公司斥资1331.13万英镑回购227.41万股。
税前利润为3.758亿元,而上年同期税前亏损1.652亿元。
TOP5热点:航天科技领导班子调整:市场监管总局司长庞锦履新集团党组副书记扣自己的正确手势图9个
隔夜外盘的表现极大激励了8月22日盘前的A股,开盘后数据要素与英伟达概念股较为强势,指数一度收复3100点。
TOP6热点:我驻泰使馆提醒中国公民警惕“高薪招聘”陷阱成全视频在线观看免费高清
PearlSecurities研究主管YawarUzZaman表示,美元需求正在增加,预计在巴基斯坦政府取消进口限制以获得IMF援助后,这种需求将在短期内持续下去。
因此,英国央行在对抗通胀方面可能还有更多工作要做。分析师预计九月会议上至少会加息一次。
TOP7热点:我驻泰使馆提醒中国公民警惕“高薪招聘”陷阱真人实拍女处被破WWW免费
策略哥今天跟大家聊一下TRIX指标。这个指标确实厉害,因为它能够忽略股价短期波动的干扰,从而凸显出股价的长期运动趋势,防止你被主力的“骗线行为”所愚弄。毫无疑问,对于那些稳健型的长期投资者来说,TRIX指标是一个非常有效的工具。
由于周六福与老字号周大福、六福珠宝并没有什么关系,所以关于周六福的争议,或许从取名创立那一刻就写下了伏笔。
TOP8热点:大豆酱替代粪便样本能蒙混过关,石家庄回应健康证“给钱就办”:立案调查粉嫩小缝口太窄了进不去
由于周六福与老字号周大福、六福珠宝并没有什么关系,所以关于周六福的争议,或许从取名创立那一刻就写下了伏笔。
TOP9热点:穿越海峡的热线|“00后”台湾女孩带太奶奶来大陆:99%的人都会喜欢大陆生活国产SUV精品一区二区
工业富联此前在投资者问答平台上表示,公司于今年开始为客户开发并量产英伟达的H100及H800等高性能AI服务器。此外,公司云端游戏服务器也已于今年3月起正式出货。公司在AI领域布局已久,并不断应客户需求推动新的产品研发并出货。后续,公司将持续提升AI服务器研发投入,不断优化产品结构,引领AI赛道的发展机遇。
TOP10热点:全国商务工作会议召开:推进提振消费专项行动,全力以赴稳外贸钢钢钢钢钢钢钢好多水免费污
ST实华表示,本次交易可以进一步促使公司聚焦主营业务及优质资产,优化战略布局,突出在石油化工业务的优势并着力发展炼油深加工、乙烯后加工和非炼油乙烯类精细化工等业务,帮助公司提升盈利能力、降低经营风险,符合公司长期战略目标。
奔驰油车时代的大好江山,也是靠值得信赖的产品力日积月累打下来的,或许只有再次拿出一款独树一帜的爆款车型,消费者才能重新认识到,其在电动车领域的存在感与品牌力。