自愉自愉产区7大模型一体机成趋势!模型微调重要性凸显 浪潮信息最新入局自愉自愉产区7|行业动态
大模型一体机成趋势!模型微调重要性凸显 浪潮信息最新入局自愉自愉产区7|行业动态
原标题:ChineseAmericanscientistsvictimsofcoercion
财联社9月30日讯(记者 付静)当前中国10亿参数规模以上大模型数量已超100个,技术虽蓬勃发展而实际落地程度仍待提升。近日于郑州召开的2024中国算力大会上,财联社记者观察到,大模型应用落地仍受到产业链关注,一体机则成为大模型商业化探索过程中一大热门趋势,算力硬件厂商浪潮信息(000977.SZ)亦在此次大会上推出元脑企智EPAI(Enterprise Platform of AI)一体机,提供“算力+平台+服务”的大模型解决方案。浪潮信息产品方案开发部总经理魏健在接受财联社在内媒体采访时表示,“应用现状跟市场趋势存在鸿沟,怎么让企业,特别是传统企业把大模型应用快速落地,基于这样一个背景,我们做了大模型一体机。”此前工信部赛迪研究院数据显示,2023年我国AI企业新增368家,生成式AI的企业采用率已达15%,其中制造业、零售业、电信行业、医疗健康四大行业采用率分别为5%、13%、10%和7%;预计2035年生成式AI有望为全球贡献近90万亿元经济价值,其中我国将突破30万亿元,占比超四成。同时魏健在采访中提及一组数据:AI市场公开招投标的项目中,去年全年、今年上半年硬件方面占比分别约60%、61%,软件方面占比分别约11%、5%,今年上半年服务方面占比从去年的17%升至30%以上。“相当于说是硬件和服务占了项目总金额的90%以上。”魏健称,此次浪潮信息发布的一体机主要面向制造、金融等行业客户、传统ISV和SI三类用户。以SI为例,“多模管理也好、多元算力管理也好,还需要有对大模型专门的调优能力,我们可以把服务集成到一体机产品里。”据悉,元脑企智EPAI一体机基于为大模型应用场景设计的元脑服务器,预置元脑企智EPAI企业大模型开发平台,支持8颗NVIDIA最新Hopper架构GPU全互联在内的多元算力,预置Yuan2.0、Baichuan2、ChatGLM3、Qwen1.5、GLM4、Llama3等7个基础大模型,旨在解决数据处理、模型微调、RAG搭建、模型部署、应用上线和系统运维等问题。财联社记者注意到,元脑企智EPAI一体机涵盖五种产品规格,主要面向推理、训推一体化、整机柜集群化交付等场景。(受访者供图)“推理算力是一个很重要的增长方向,尤其是边缘端推理。无论车路协同、智慧园区还是高速收费站等,边缘领域的推理应用关注不同的产品形态。”魏健向财联社记者表示。“大模型其实从预训练、微调到推理有大概三个阶段,现在业内的关注点已经走到了微调跟推理,并且微调的重要性越来越凸显了。”浪潮信息AI应用架构师Owen ZHU在采访中表示。Owen ZHU称,此次发布的一体机亦集成了部分当下与算力相匹配、在业内较为可用易用的微调技术。他举例称,“一个10B参数的模型可能需要200-300G的显存才能做微调,可能一台机器就已经开始有点‘勉强’了,更何况我们现在用的都是30B、40B的模型,至少需要三四台机器,门槛也有点过高了。现在一些高效微调技术能做到用10G甚至不到10G的显存把10B参数的模型微调跑起来。也就是说,一些新技术的应用能够降低算力门槛。”而站在成本角度,魏健告诉财联社记者,浪潮信息大模型一体机新品单台价格在二三十万到两百万之间,“如果用户有50万左右的硬件设备初期投入,就可以进行至少10亿到300亿参数规模的模型训练,且在单机设备上用到更好的算力。”同时她表示,浪潮信息对用户的报价为一体机整体报价,但“如果把一体机拆开来看,硬件可能占80%,软件占20%。我们是一个产品公司,做这个商业模式,更多还是为了激发整个行业生态的应用。”“一体机的生意逻辑是对的,是否受客户认可比较关键。”一位AI算力从业者告诉财联社记者。财联社记者问及当前用户对于大模型一体机的接受意愿,魏健表示,“我了解到接受意愿还是挺强烈的,(一体机)和一些传统硬件用户的使用习惯还是蛮匹配的。我们在过去三、四个月里做了近百家的POC测试,有意愿去做应用定制开发、让我们整理数据等等的用户其实能占到30%。”值得关注的是,大模型一体机在业内热度较高,智谱AI、商汤科技、中软国际等主流AI大模型厂商、ICT服务商及ISV服务商均已推出一体机相关产品。Owen ZHU称,“大家都在叫一体机,但其实内涵差距是比较大的。可能我们最开始听到一体机的概念时是在讲训推一体,而现在我们在讲的是把硬件跟面向大模型的解决方案整体打包的方案,是一个大模型的开发平台。”“大模型厂商有的实际上跟我们是合作伙伴关系,但是我们的一体机跟他们有差异。大模型厂商在软件、算法能力方面很强,我们更强调算力的调度管理、算法的调度,跟不同模型做适配,包括对模型参数也做了很多研究,其实还是为了更好地发挥硬件性能优势。”魏健告诉财联社记者。koa12jJid0DL9adK+CJ1DK2K393LKASDad
编辑:汤绍箕
TOP1热点:你的家乡方言里有哪些带「蛇」字的词句或俗语?有什么特别的含义?
科技水平有限,曾导致不少文物的研究无法深入。上世纪80年代,三星堆出土的大量青铜器、金器、玉石器等文物震惊世界。附着于青铜器上的“灰烬”看似不起眼,在当时也引起研究者注意。有人猜测这是丝绸的残留物,但仅凭目测无法证实。。
TOP2热点:你见过最有意思的非遗是什么?
会议传达学习了习主席重要指示。中共中央政治局委员、中央军委副主席何卫东出席会议并讲话,要求深刻认识习主席引领我军党的建设取得的历史性成就,认真学习领悟习主席关于我军党的领导和党的建设重要论述,锚定建军一百年奋斗目标全面加强我军党的建设,夯实坚定拥护“两个确立”思想政治根基,全面深入贯彻军委主席负责制,集聚提高备战打仗能力强大力量,注重抓高层强基层全面固牢组织体系,坚定不移持续正风肃纪反腐,不断提高我军党的领导和党的建设工作质量。
3月29日,贵州省晴隆县腾龙街道村民在采摘食用菌。新华社记者骆飞摄
TOP3热点:在这人生舞台上,你是选择顺从内心,演绎真实的自己?还是为迎合他人,戴上虚假的面具?不要插进来,我是你妈
恰逢周末,位于天津南开区的古文化街旅游区游人如织,这里是天津著名的老字号和手工艺品店铺集中地,杨柳青年画、泥人张等众多手工艺品令人赏心悦目。
“长大以后我也想做航天员,飞向太空”“我想设计新一代飞船,飞向火星”……不少孩子听完这节科普课,对航天产生了浓厚兴趣,悄悄立下了未来的志向。
TOP4热点:「过年」和「上班」,究竟哪一个更让人疲惫?背后的原因又是什么呢?非会员体验十秒
“在美国看来,东盟作为一个多元性、多样化的区域合作组织,各成员国在政治体制、经济发展水平、文化、宗教等方面存在差异,因此有机可乘,于是想方设法挑拨中国和东盟的关系。然而,东盟有自己的原则和利益,在加快建设东盟共同体的大目标下,‘选边站’是东盟的大忌。”北京大学国际关系学院教授杨保筠向本报记者分析称,经济上,中国和东盟连续3年互为最大贸易伙伴。东盟国家深知,和中国保持紧密的经贸联系是本国经济持续发展的重要因素;安全上,东盟日益看清,依靠美国不能获得真正的安全,只有推动中美关系逐步重回稳定发展轨道,才是有利于地区安全的正确选择。
“房子是用来住的、不是用来炒的”的理念如今已深入人心,购房需求更多向居住品质回归。
TOP5热点:你的人生与长江有过怎样的交集?对于这条大江,你有哪些不一样的情感和记忆?8x8x拔插拔插影库 8x8x8x域名解析
这段真实的影像
目前已发售的项目中,体操还有余票,没抢到票的朋友还有机会,抓紧上车吧!05
TOP6热点:导师一般怎么回复学生的拜年短信?啊换个地方做...又加一个手指
中国文化源远流长,中华文明博大精深。6月初,习近平总书记在北京出席文化传承发展座谈会时强调,只有全面深入了解中华文明的历史,才能更有效地推动中华优秀传统文化创造性转化、创新性发展。作为中华文明重要组成部分,巴蜀文化同样底蕴深厚,绚丽多彩。近年来,四川不断通过考古发掘、历史研究和古籍的收藏与整理,助力全面深入了解中华文明和巴蜀文化,为推进中国特色社会主义文化建设、建设中华民族现代文明贡献了巴蜀学界的智慧和力量。
“房子是用来住的、不是用来炒的”的理念如今已深入人心,购房需求更多向居住品质回归。
TOP7热点:如何看待梦百合杯赞助者倪张根称,有可能拒绝卞相壹参加下一届梦百合杯?IPX596枫花恋枫カレン
川观新闻记者范华卢纯阳
TOP8热点:健身是一项要长久坚持,还是达到预期见好就收的运动呢?和平精英火箭少女拔萝卜
科技水平有限,曾导致不少文物的研究无法深入。上世纪80年代,三星堆出土的大量青铜器、金器、玉石器等文物震惊世界。附着于青铜器上的“灰烬”看似不起眼,在当时也引起研究者注意。有人猜测这是丝绸的残留物,但仅凭目测无法证实。
这段话出自2022年10月16日习近平总书记在中国共产党第二十次全国代表大会上的报告。
TOP9热点:鸡蛋算是肉的还是素的?火影女忍者耐力测试图片
“中华文明始终以开放胸怀同世界其他文明开展交流互鉴。”俄罗斯科学院中国与现代亚洲研究所中国文化研究中心研究员安娜·东琴科表示,无论过去、现在还是未来,开放包容始终是中华文明薪火相传的关键词,和谐共生始终是中华文明发扬光大的金钥匙。
目前已发售的项目中,体操还有余票,没抢到票的朋友还有机会,抓紧上车吧!05
TOP10热点:地铁图为什么不按照真实比例和路线画?wwwbeegcom
记者丨赵超逸
火炬传递是大运会的重要官方活动,是传播大运理念、弘扬大运精神的重要载体。作为活跃在大运会舞台上的中国年轻运动员,他们的成长历程,也是一个个具体而微的中国故事,这些故事在火炬传递中激励着一代又一代青年。