瑜伽狂野式的要求万卡算力和万亿参数大模型时代，AI存储何时爆发？_瑜伽狂野式的要求ZAKER新闻
万卡算力和万亿参数大模型时代，AI存储何时爆发？_瑜伽狂野式的要求ZAKER新闻
以澳大利亚战略物资公司为例，该公司与美国买家达成一项协议，提供没有中国参与的稀土，这个美国买家想生产“美国制造”稀土磁铁。
图片系 AI 生成当前，大模型最显著的特征之一就是参数量呈指数级增长。根据 Scaling Law（尺度定律）的规则，人工智能神经网络的参数量越多，模型越大，对于知识的总结归纳和推理泛化能力就越强。因而，从 ChatGPT 出现验证了 " 涌现 " 能力，到如今的两年里，业内首要关注的就是算力，怎样突破硬件算力，怎样以尽可能少的 Token 数量训练好一个模型。但在这一显著挑战之外，数据量猛增带来的数据存储，可能是仅次于算力的另一大技术难点。大模型 " 卷 " 向存储年初，一位长期关注 AI 大模型应用的 CTO 与钛媒体 APP 交流中表示：" 企业使用外部数据训练大模型，长文本是关键思路之一。但问题是，长文本处理特别消耗内存和硬件，因为模型训练和推理的内存变大，模型效果才能更好。这也导致在其每次查询的成本高于 GPT-4，而后者基于微调。这不是 ToB 企业能够负担得其起的。"他对钛媒体 APP 解释：微软提出了大模型的 " 不可能三角 "，如果希望模型的微调能力很强，那么模型参数就不会很大，或者小样本的学习能力不会很强。长文本的逻辑是，让小样本学习的能力变强，同时放弃微调，这样模型参数肯定就会相应扩大。彼时，正值国内长文本热潮。除了最早的 Kimi，阿里巴巴、百度、360 等众多厂商相继宣布进军长文本，从最初的可处理 200 万字上下文，迅速扩张至 1000 万字长文本能力。而在这股热潮中，也同样遗留了诸多待解决的问题。根据技术博客 Medium 上一位 AI 工程师 Szymon Palucha 的记录：以阿里开源的 Qwen2-7B（7 亿参数）大模型为例。目前 GPU 显存大小基本在 80GB（以英伟达 A100 为例），那么如果拿不到更好的 A100 时，他根据公式：参数模型内存 =7B*32 位 =7B*32/8 字节 =28B 字节 =28GB，测算出运行该模型至少还需要 28GB 内存，这还不算推理过程中对存储产生的额外开销。为此，最简单的办法是降低参数精度，因为现在多数大模型可以半精度使用，而不会显著影响准确性。这意味着大模型在实际运行时，需要一定的内存或存储空间来存储和处理数据，大模型所需的内存量会根据上下文窗口的大小而变化。窗口越大，所占用的内存也就越多。钛媒体注意到，这也是当下大模型应用厂商在破解算力问题之外，遇到的另一大技术困难点，去年还没有太多人关注——数据量猛增带来的数据存储、内存带宽、时延等一系列问题。并且随着需求的爆发，已经带来一些技术侧产品侧的演进。支持万卡算力和万亿参数 LLM，存储两道槛目前全球的科技巨头都在布局万卡算力集群和万亿参数规模的大模型训练，对于这些集群而言，高性能的计算、存储和网络缺一不可。从存储层面来看如何提供支撑？一是要至少达到 TB 级带宽、百万级 IOPS 的存储性能，未来可能会演变为数十 TB、上亿级 IOPS 的需求；二是要提升数据跨域调度、数据安全、数据可持续性访问等能力。回顾过去两年间大模型带来的存储挑战，可以从三个阶段总结：2022 年初：大模型爆发初期，国内有超过 100 家的大模型公司开始迅速进行市场布局。在这个阶段，模型训练追求的就是 " 快 "，通过 IT 基础设施的方案优化，有效地提升 GPU 效率，加速模型的训练并得到市场认可，即可抢占市场先机。为此，模型训练的数据加载、模型训练过程中的断点续训要尽可能地降低对计算时间的占用，在万卡算力集群万亿参数的大模型的快速训练时，小于 1 分钟断点续训，需要存储提供 TB 级的带宽，同时小模型的训练推理则对 IOPS 提出更高要求，存储系统需提供超过百万级的 IOPS。2023 年底到 2024 年初：随着模型在各行业落地的需求，在很多的行业场景里，行业数据缺少积累，过去分散在各终端、地域数据的夸协议、夸地域高效率共享整合。这就要求存储具备数据跨域调度，通过异构纳管实现全局命名空间管理，提升数据汇集、分析的效率。2024 年下半年开始：模型的真实落地，对数据质量要求更高，语料公司需要将数据汇集并进行精加工。大模型的行业化落地过程中，为了提升通用模型的专业化能力，训练出精度更高的模型，要求有更高质量的数据集。为得到高质量数据，原始数据要经过粗加工、精加工等多个作业环节。这个阶段，对数据的安全存储和数据可持续性访问提出了更高要求。浪潮信息存储产品线副总经理刘希猛指出，模型参数量、训练数据量、GPU 算力、网卡性能、GPU 规模近些年均在飞速增长，原有存储不足以应对 AI 的快速发展。无论是海量训练数据加载、PB 级检查点断点续训，还是高并发推理问答等，存储性能直接决定了整个训练推理过程中的 GPU 利用率。特别在万卡集群规模下，较差的存储性能会严重增加 GPU 闲置时间，导致模型落地困难、业务成本剧增。因此，现代存储已经由传统的数据载体和数据仓储，转化为 AI 发展的关键组件。存储系统正逐渐演进到提供更高的吞吐量，更低的时延，更高效的数据管理。AI 存储何时爆发？既然针对 AI 场景的存储系统在前几年并没有得到太多重视，从需求侧，何时会迎来新的爆发点？" 过去一年，存储的增量市场基本全部来自于 AI 场景。" 刘希猛对钛媒体 APP 解释。如果将未来的 AI 市场分为大致两类：一类是 AI 产业化的市场，在 AI 产业化进程中，更多的关注点可能集中在了模型训练，紧随其后的是语料生产，然后是算法优化。那么，存储首先就会在模型训练、语料生产领域产生价值，特别是语料，从今年开始就已有迹象，并在接下来两年里实现快速增长。在刘希猛看来，从目前来看，大模型训练中最紧缺的是数据，各行业在可能都会开始着手收集各自领域的数据，并进行相应的数据加工处理。算力方面，尽管有人认为算力建设已接近泡沫阶段，甚至有些用力过猛。这一判断可能在一定程度上具有方向性的正确性。接下来，算力的发展可能会进入一个相对平稳的阶段。第二类是产业的 AI 化，即大模型真正落地到行业并产业实际价值，可以观察到一些领域已经先行一步。例如，金融领域的量化交易、证券交易，在科研领域，AI 也开始被用来辅助科研工作。此外，制造业也是 AI 应用的一个重要领域。这两方面都会对 AI 存储市场带来比较好的促进作用。刘希猛还指出，当前 AI 存储面临的挑战尚未完全解决，若继续向前发展，其实还是要从性能、效率以及可靠性三方面入手。一是高性能，以解决混合 AI 负载对存储读写带宽、IOPS，以及低时延的要求；二是高效率，通过存储支持文件、对象、大数据等非结构化协议融合互通，全局命名空间等，减少多份数据重复存储，以及数据夸协议、夸区域、夸系统调度检索的问题；三是高韧性，通过故障的快速恢复、故障前的精准预测降低系统异常时的性能影响，以及服务的连续性，同时强化数据保护与安全防护能力，保证数据的完整、一致、持续可访问。目前国内外在建千卡集群、万卡集群，且未来可能还会出现更大规模的集群。想要达到同等算力，若是采用国产 GPU，可能需要不仅达到十万卡规模，而是更为庞大的集群。随着集群规模的扩大，除了存储本身面临的挑战外，还将带来存储整体方案的挑战。这涉及从存储到前端网络，再到算力节点的整个链条。其中，网络的选择成为一个关键问题。国内之所以更多地使用 RoCE 网络，是因为国内的集群规模需求更大，而 IB 网络在扩展规模上有所限制。RoCE 网络与存储及上层之间的协同性，尤其是超大规模集群的协同性上，可能会成为新的关注点。钛媒体注意到，RDMA ( Remote Direct Memory Access ) 全称远程内存直接访问技术，是一种数据传输技术。目前算力集群对网络的建设在 2022 年之前基本会选择 " 二层虚拟网络 "，随着 AI 应用的爆发，2023 年至今已经在尝试智能无损网络和以太网，并且往往围绕性能、成本、生态系统和兼容性等方面进行权衡。RoCE 就是一项基于以太网的 RDMA 技术。甲骨文公司中国区技术咨询部高级总监嵇小峰与钛媒体 APP 交流中同样指出，大规模集群除了 GPU 数量多之外，同时具备网络低延时和高带宽的特性。从基础设施角度来看，大量 GPU 集中部署会带来供电和冷却方面的巨大挑战。同时，在训练过程中，对存储的需求同样至关重要。因为训练往往涉及成千上万块 GPU 的协同作业，一旦有少数 GPU（如一块或两块）出现故障，整个训练进度可能会因此延误。例如，今年 9 月亮相的 Oracle Zettascale 算力集群，目前可提供 13 万多颗 GPU，相当于可提供 2.4 ZFLOPS 的云端算力。为进一步增强网络的低延迟和高带宽，Oracle 采用支持两种网络协议：InfiniBand 和 RoCEv2，这是一种增强版的以太网。这两种技术均具备一种核心绕行机制，能让网络流量避开常规路径中必须穿越的某些组件，以实现更迅速的传输至目标地。这样的设计促进了数据更快地抵达 GPU，进而提升了处理效率。随着 AI 存储需求的不断涌现，包括 GPU、模型架构、存储解决方案及网络技术的各大厂商，正纷纷加速布局，力求在构建超大规模集群的浪潮中抢占先机。（本文首发于钛媒体 APP，作者 | 杨丽，编辑 | 盖虹达）koa12jJid0DL9adK+CJ1DK2K393LKASDad
编辑:绍祖
TOP1热点：公婆带娃，老公说给七千一个月，该不该给这么多？
最初接触打卡，小孩没有抵触的心理，现在她也已经习惯了。但我们确实遇到过困难，比如说，视频录了半天，就快结束了，结果小孩有一个词卡在那里，或者读得不熟练，就需要从头再来。我们得把她教会了，才能重新陪她录完。因此，若是追求完美的打卡，每次大概都要花1个小时。现在再遇到这种情况，我们也不管了，以前卡一个字就让小孩重新录，现在卡一个字就卡一个字吧，我们只会提醒她一下，她读完就算打好卡了。。
TOP2热点：编程中出现了 ++，-- 操作符，为什么没出现 ** // ？
#国防部回应美对台军售#[#国防部新闻发言人就美对台军售答记者问#]记者：据报道，美国国防安全合作局近日宣布一项3亿美元对台军售，以提供指挥、控制、通讯、计算机生命周期支持及相关设备。请问对此有何评论？
每天帮孩子作业打卡其实蛮累的，完全被锁死在家里，除了语音打卡，还要把检查好的作业拍照上传，一整套下来估计要40分钟。我要是不在家，家里老人也不会。
TOP3热点：为什么现在早上起床跑步的人越来越少了？上海交大的体育名人
安全教育，我认为家长都会教育孩子，或者在学校老师也会教育，没必要特意打卡。因为大环境在这里，最主要的还是文化课成绩，做这些反而是加重了家长的负担。
安全教育，我认为家长都会教育孩子，或者在学校老师也会教育，没必要特意打卡。因为大环境在这里，最主要的还是文化课成绩，做这些反而是加重了家长的负担。
TOP4热点：如何获取正确的医疗科普知识，医疗科普对我们的日常有什么帮助？草灯和灯尚全
我比较社恐，每次催家长，我都挺紧张的。第一次催，我问班主任要怎么和家长讲，她告诉我把要说的话打出来，我就反复看反复改，然后发给家长。如果要打电话，我就给自己做心理建设。那时候我还不知道催家长打卡的话术，后来班主任推荐我看小红书，我就慢慢知道了。
TOP5热点：为什么唐朝会有「猫洗脸会下雨」的谚语？有什么科学依据吗？银行张行长呼吸越来越
班里一共35个孩子，每次大概会有10位家长，到了月末依然没有完成打卡，需要我催他们才能完成。10个人里面，5个人我发消息催，他就会做。剩下5个人就需要我多发几次消息，或者直接打电话让他做。如果到了最后一天晚上11点左右，家长没看到消息，电话也不接，我只能登录学生的账号帮他做。
TOP6热点：去客厅化是否等同于多功能客厅，在现代空间设计中，如何赋予空间 N 种可能？绿帽子精选系列70
有的家长在给孩子交了学费以后，就什么都不管了。我打电话给家长催，他们就会很敷衍地说“好好好”，也不做。我只能和领导说，领导如果说继续催，那我就只能继续催，上级一般会要求我们保存催家长的截图。
TOP7热点：如何评价殷桃、郭京飞主演的电视剧《小夫妻》?海社区id1120.7126
#国防部回应美对台军售#[#国防部新闻发言人就美对台军售答记者问#]记者：据报道，美国国防安全合作局近日宣布一项3亿美元对台军售，以提供指挥、控制、通讯、计算机生命周期支持及相关设备。请问对此有何评论？
只有语文一科需要打卡，要求小孩熟读当天学习的汉字和拼音，家长再拍视频上传到QQ群的作业打卡页面，点击提交。如果视频太大，上传不进去，我们就直接发在QQ群。
TOP8热点：《三国演义》中左慈、管辂、于吉、张角，谁最厉害？换伴5
每天帮孩子作业打卡其实蛮累的，完全被锁死在家里，除了语音打卡，还要把检查好的作业拍照上传，一整套下来估计要40分钟。我要是不在家，家里老人也不会。
每天帮孩子作业打卡其实蛮累的，完全被锁死在家里，除了语音打卡，还要把检查好的作业拍照上传，一整套下来估计要40分钟。我要是不在家，家里老人也不会。
TOP9热点：男朋友贷款买了一辆 30 万的车，我还该不该跟他继续下去?粉色苏州晶体结构
李幼斌，1938出生，北京人，国家一级导演、著名武生表演艺术家。中国戏曲表演学会“终身成就奖”获得者、福建京剧院“卓越贡献奖”获得者，中国戏曲导演协会会员、中国戏剧家协会会员、上海戏曲学院客座教授、中国戏曲学院研究生导师。
TOP10热点：如何评价殷桃、郭京飞主演的电视剧《小夫妻》?唐伯虎qq传媒
李幼斌先生是福建京剧院创立、发展的见证人，为福建京剧事业的发展贡献了众多优秀的艺术作品，为京剧艺术的传承发展奉献一生，为弘扬中华优秀传统文化做出卓越贡献。一代又一代的福建戏曲工作者在他的指导下得到成长，桃李满天下。对李幼斌先生的逝世，福建京剧院全体同仁表示沉痛哀悼！
12月18日，香港“壹传媒”创办人、反中乱港分子黎智英涉嫌串谋勾结外国势力危害国家安全案件在香港西九龙裁判法院正式开审，审理过程预计需要80天。