艹逼网复旦大学副教授郑骁庆谈DeepSeek：AI行业不只有“规模法则”艹逼网，开源将加速模型更新，芯片需求可能不降反增_ZAKER新闻
复旦大学副教授郑骁庆谈DeepSeek：AI行业不只有“规模法则”艹逼网，开源将加速模型更新，芯片需求可能不降反增_ZAKER新闻
近日，第15次参加高考的唐尚珺志愿被退档，引发社会广泛关注。7月24日，广西本科第一批第二次征集志愿于上午9时结束，封面新闻记者从唐尚珺好友、纪录片《高十》导演何汉立处获悉，唐尚珺原本当天已填写补录志愿院校，因院校和专业选择较少，在系统关闭前仍犹豫，遂决定放弃此次补录。
每经记者：宋欣悦 每经编辑：高涵图片来源：视觉中国近日，中国 AI 初创公司深度求索（DeepSeek）在全球掀起波澜，硅谷巨头恐慌，华尔街焦虑。短短一个月内，DeepSeek-V3 和 DeepSeek-R1 两款大模型相继推出，其成本与动辄数亿甚至上百亿美元的国外大模型项目相比堪称低廉，而性能与国外顶尖模型相当。作为 "AI 界的拼多多 "，DeepSeek 还动摇了英伟达的 " 算力信仰 "，旗下模型 DeepSeek-V3 仅使用 2048 块英伟达 H800 GPU，在短短两个月内训练完成。除了性价比超高，DeepSeek 得到如此高的关注度，还有另一个原因——开源。DeepSeek 彻底打破了以往大型语言模型被少数公司垄断的局面。被誉为 " 深度学习三巨头 " 之一的杨立昆（Yann LeCun）在社交平台 X 上表示，这不是中国追赶美国的问题，而是开源追赶闭源的问题。OpenAI 首席执行官萨姆 · 奥尔特曼（Sam Altman）则罕见地表态称，OpenAI 在开源 AI 软件方面 " 一直站在历史的错误一边 "。DeepSeek 具有哪些创新之处？DeepSeek 的开源策略对行业有何影响？算力与硬件的主导地位是否会逐渐被削弱？针对上述疑问，《每日经济新闻》记者（以下简称 NBD）专访了复旦大学计算机学院副教授、博士生导师郑骁庆。他认为，DeepSeek 在工程优化方面取得了显著成果，特别是在降低训练和推理成本方面。" 在业界存在着两个法则，一个是规模法则（Scaling Law），另外一个法则是指，随着技术的不断发展，在既有技术基础上持续改进，能够大幅降低成本。"对于 DeepSeek 选择的开源策略，郑骁庆指出，"开源模型能够吸引全世界顶尖人才进行优化，对模型的更新和迭代有加速作用。" 此外，开源模型的透明性有助于消除使用安全的顾虑，促进全球范围内人工智能技术的公平应用。尽管 DeepSeek 的模型降低了算力需求，但郑骁庆强调，AI 模型仍需要一定的硬件基础来支持大规模训练和推理。此外，大规模数据中心和预训练仍是 AI 发展的重要组成部分，但未来可能会更注重高质量数据的微调和强化学习。郑骁庆 图片来源：受访者供图规模法则之外，还有另一个法则NBD：微软 CEO 萨提亚 · 纳德拉在微软 2024 年第四季度财报电话会上提到，DeepSeek" 有一些真正的创新 "。在您看来，DeepSeek 有哪些创新点呢？郑骁庆：在深入研读 DeepSeek 的技术报告后，我们发现，DeepSeek 在降低模型训练和推理成本方面采用的方法，大多基于业界已有的技术探索。比如，键值缓存（Key-Value cache）管理，对缓存数据进行压缩。另一个是混合专家模型（MoE，Mixture of Experts），实际上是指，在推理的时候，只需使用模型的某一个特定的模块，而不需要所有模型的网络结构和参数都参与这个推理过程。此外，Deepseek 还采用了 FP8 混合精度训练的技术手段。这些其实之前都有所探索，而DeepSeek 的创新之处就在于，很好地将这些能够降低技术和推理成本的技术整合起来。NBD：您认为 DeepSeek 现阶段的技术水平上是否已经接近或者达到了全球领先水平呢？郑骁庆：DeepSeek 目前在现有技术基础上，包括网络结构训练算法方面，实现了一种阶段性的改进，并非是一种本质上的颠覆性创新，这一点是比较明确的。其改进主要是针对特定任务，例如，DeepSeek 在数学、代码处理以及推理任务等方面，提出了一种在性能与成本上相对平衡的解决方案。然而，它在开放领域（open domain）上的表现，优势并不是十分明显。在业界存在着两个法则，一个是规模法则（Scaling Law），即模型的参数规模越大、训练数据越多，模型就会更好。另外一个法则是指，随着技术的不断发展，在既有技术基础上持续改进，能够大幅降低成本。比如说，以 GPT-3 为例，早期它的成本就很高。但随着研究的深入，研究人员逐渐清楚哪些东西是工作的，哪些东西是不工作的。研究人员基于过往的成功经验，研究目标会逐渐清晰，成本实际上也会随之降低。DeepSeek 的成功，我更觉得可能是工程优化上的成功。当然也非常高兴看到中国的科技企业在大模型的时代，在性能与成本的平衡方面取得了显著进展，不断推动大模型的使用和训练成本下降。符合刚才我提到的第二个法则的情况之下，走到世界前列。DeepSeek 有效平衡性能和成本，但对芯片需求影响不大NBD：DeepSeek 旗下模型的最大亮点之一是在训练和推理过程中显著降低了算力需求。您认为这种低成本大效能的技术创新，长期来看，会对英伟达等芯片公司产生什么影响呢？郑骁庆：我个人认为，它并不会对芯片采购量或出货量产生太大的影响。首先，像 DeepSeek 或者类似的公司，在寻找有效的整合解决方案时，需要进行大量的前期研究与消融实验。所谓的消融实验，即指通过一系列测试来确定哪个方案是有效的以及哪些方案的整合是有效的。而这些测试就非常依赖于芯片，因为芯片越多，迭代次数就越多，就越容易知道哪个东西工作或者哪个东西不工作。比如说，DeepSeek 的训练预算不到 600 万美元。它的技术报告中提到，不到 600 万美元的资金，是按照 GPU 的小时数（每小时两美元）来估算的。也就是说，他们基于之前的很多研究，把整条训练流程都已经搞清楚的情况之下（哪些是工作，哪些不工作的），重新走一遍。它的 GPU 的运算速度是多少，运算小时数是多少，然后再乘以每小时两美元得到的这个结果。报告中也提到了，600 万美元其实没有包含先期研究成本，比如，在结构上的探索、在算法上的探索、在数据上采收集上的探索的成本，也没有涵盖消融实验的开销以及设备的折旧费。所以，我个人判断，对英伟达其实影响不是那么大。另外，DeepSeek 的研究表明，很多中小企业都能用得起这样的大模型。尽管训练成本的下降可能会暂时减少对 GPU 的需求，但大模型变得更加经济，会使原本因为模型成本太高而不打算使用大模型的企业，加入到使用模型的行列，反而会增加对于芯片的需求。NBD：随着 DeepSeek-V3、R1 等低成本大模型的问世，传统的大规模数据中心和高投入的大模型训练是否仍然值得继续推进呢？郑骁庆：我觉得仍然值得。因为首先 DeepSeek 模型是语言模型，还没有扩展到多模态，甚至于我们以后要研究世界模型。那么一旦引入多模态之后，对算力的要求和基础设施要求就会成指数的增长。因为人工智能不可能仅仅局限于语言体本身，语言只是智慧的一种表现，而在这方面的探索仍然需要这样的一个基础设施。刚才也提到 DeepSeek 其实是在很多先期研究的基础之上，找到了一条性能和成本平衡的一个解决方案。先期研究包括各种各样的尝试，怎样去加速它呢？这个还是需要强大的硬件支持。否则，每迭代一次，就可能需要长达一年多的时间，这显然是无法赶上现在 AI 军备竞赛的。而如果有几万张卡，迭代可能几天就完成了。另外就是应用方面。即便是模型的推理成本再低，当需要支持数千、数万甚至更大规模的并发使用时，仍然需要一个配备大量显卡的强大基础架构来确保稳定运行。我觉得大规模预训练这一波潮流可能会弱化，可能不会成为下一步大家争夺的主战场。之前这个领域曾是竞争激烈的战场，但现在看来，成本和产出之间的比例正逐渐趋于紧缩。但是后面两步——高质量数据的微调和基于强化学习的人类偏好对齐，我相信未来会有更多的投入。图片来源：视觉中国开源加速模型更新和迭代，降低安全顾虑NBD：DeepSeek 采用开源模式，与许多国外大模型巨头闭源的做法不同。您怎么看开源模型在推动 AI 行业发展中的作用？郑骁庆：DeepSeek 目前受到了广泛地关注和认可。从开源模型与闭源模型的角度来看，我们观察到，开源模型在积累了以往研究成果的基础上，在目标明确的情况之下，借助于各种训练技巧以及模型结构上的优化，特别是吸收先前研究者在大模型领域已验证有效的原理和方法，开源模型已能够大致追上闭源模型。开源模型最大的好处就在于，一旦模型开源，全球的顶尖人才都能基于这些代码进行进一步的迭代与优化，这无疑加速了这个模型的更新与发展进程。相比之下，闭源模型肯定是没有这样的能力的，只能靠拥有这个闭源模型所属机构的内部人才去推动模型的迭代，迭代速度相对受限。另外，开源模型透明开放，也缓解了公众对于大模型使用安全的一些顾虑。如果模型闭源，大家在使用过程当中可能或多或少会有一些顾虑。而且开源模型对于人工智能的普及以及全球范围内的公平应用起到了非常好的促进作用，特别是技术平权方面。也就是说，当一项科学技术发展起来以后，全世界的人，不管来自哪个国家、身处何地，都应用享有平等地享受这种技术所带来的优势及其产生的经济效益。现在的 AI 竞争是在中国的中国人和在美国的中国人竞争NBD：DeepSeek 团队成员多为国内顶尖高校的应届毕业生、在校博士生。您认为中国 AI 是否存在独特的竞争优势？郑骁庆：我觉得我们的 AI 上面的竞争优势，其实是我们的人才数量上的优势。这几年，从我个人来看，我们的高等教育，包括硕士、博士的培养，有了长足进步。现在从中国的头部高校来看，对博士生、硕士生的培养已经比较接近于美国。在这样的情况之下，我们的基础高等教育质量的提升，使得我们储备了大量的人才。在这样的过程当中，我们能够对现有的技术进行迅速的消化。实际上，美国许多大模型研究团队，不乏有华人的身影。大家开玩笑说，现在的人工智能竞争是在中国的中国人和在美国的中国人竞争。要说劣势，其实我觉得还是很遗憾的，那就是我们很少能有颠覆性的创新。每日经济新闻koa12jJid0DL9adK+CJ1DK2K393LKASDad
编辑:马建国
TOP1热点：武契奇专车行驶中后轮突然飞出
2019年老郭和阿珠住在上海杨浦区，他们家的房子很大，家里的摆设也都很名贵。尤其是他们屋子里墙上挂着的照片，可以看出两个人是很恩爱的。。
为什么演习地点在日本海中部？还不是因为这里是公海海域，各国依据国际法可以在公海海域开展军事演训行动？
TOP2热点：哪咤头型
报道继续称，苏克拉尔表示，虽然没有邀请西方国家，但金砖国家从来没有说过不与后者进行沟通交谈。他说，“我们在解决全球共同问题方面与（西方）社会接触。”
TOP3热点：菲律宾南部一直升机坠毁男生女生一起插肌肌
2021年8月9日，俄方护旗队和陆军方队在“西部·联合-2021”演习开始仪式上列队图：新华社
目前，CBA选秀已启动7年，各队从大学选来的球员中，还没有任何一名球员能在国家队立足，离开职业赛场的也不在少数。
TOP4热点：欧阳自远称火星已经衰老91蝌蚪影院
而且房间的很多地方都有被人打扫过的痕迹，就连垃圾桶里的垃圾都被人扔掉了。
TOP5热点：为什么高德地图有那么多人用黄色应用app下载
他们的受教育程度也不一样。
TOP6热点：文明7当前版本的哪些缺点致评分偏低草棚cαoppo最新加入24
中方参演舰艇出发前
詹德斌则认为，尹锡悦实际上就是搞“阵营外交”，坚定地站在以美国为首的西方国家一侧，积极采取西方国家希望他采取的外交政策，以博得西方阵营的认可，“从而扩大和提升韩国所谓的国际作用和国际地位”。
TOP7热点：赚钱副业推荐吞精人妻
许多鲜花被摆放在涉事学校门前，有市民专程前来悼念
TOP8热点：figure与openai分手铜铜铜铜铜铜～好痛下载
金建希还一度被怀疑论文造假。她曾于2009年在韩国KIC核心期刊《韩国设计论坛》上发表过一篇广告和媒体方向的论文。据当地媒体报道，一位韩国共同民主党党员曾指控该论文“不是简单的抄袭，其数据在没进行调查的情况下拟合伪造的”。当日，金建希向发表改论文的学会申请撤回该文章，变相承认了自己的学术不端行为。
TOP9热点：figure与openai分手已满l8点此进入甸伊园92
这也是美国前总统比尔·克林顿对美国人的建议。他曾说过，为一个美国不再是第一的世界做好准备，美国应该加强多边规则、多边规范、多边进程和多边机构。因此，美国不应该试图削弱多边机构，而应该和中国共同加强多边机制的力量。如果美国能采取更明智的做法，与中国接触而不是试图孤立中国，我想世界其他地区也会更加开心。
TOP10热点：小说推文赚钱天美传谋高清免费看
齐齐哈尔市第三十四中学体育馆坍塌事故搜救现场。新华社发