WRITE AS 双龙大模型一体机成趋势!模型微调重要性凸显 浪潮信息最新入WRITE AS 双龙局|行业动态
大模型一体机成趋势!模型微调重要性凸显 浪潮信息最新入WRITE AS 双龙局|行业动态
会议强调,促进金融与房地产良性循环,健全房地产企业主体监管制度和资金监管,完善房地产金融宏观审慎管理,一视同仁满足不同所有制房地产企业合理融资需求,因城施策用好政策工具箱,更好支持刚性和改善性住房需求,加快保障性住房等“三大工程”建设,构建房地产发展新模式。
财联社9月30日讯(记者 付静)当前中国10亿参数规模以上大模型数量已超100个,技术虽蓬勃发展而实际落地程度仍待提升。近日于郑州召开的2024中国算力大会上,财联社记者观察到,大模型应用落地仍受到产业链关注,一体机则成为大模型商业化探索过程中一大热门趋势,算力硬件厂商浪潮信息(000977.SZ)亦在此次大会上推出元脑企智EPAI(Enterprise Platform of AI)一体机,提供“算力+平台+服务”的大模型解决方案。浪潮信息产品方案开发部总经理魏健在接受财联社在内媒体采访时表示,“应用现状跟市场趋势存在鸿沟,怎么让企业,特别是传统企业把大模型应用快速落地,基于这样一个背景,我们做了大模型一体机。”此前工信部赛迪研究院数据显示,2023年我国AI企业新增368家,生成式AI的企业采用率已达15%,其中制造业、零售业、电信行业、医疗健康四大行业采用率分别为5%、13%、10%和7%;预计2035年生成式AI有望为全球贡献近90万亿元经济价值,其中我国将突破30万亿元,占比超四成。同时魏健在采访中提及一组数据:AI市场公开招投标的项目中,去年全年、今年上半年硬件方面占比分别约60%、61%,软件方面占比分别约11%、5%,今年上半年服务方面占比从去年的17%升至30%以上。“相当于说是硬件和服务占了项目总金额的90%以上。”魏健称,此次浪潮信息发布的一体机主要面向制造、金融等行业客户、传统ISV和SI三类用户。以SI为例,“多模管理也好、多元算力管理也好,还需要有对大模型专门的调优能力,我们可以把服务集成到一体机产品里。”据悉,元脑企智EPAI一体机基于为大模型应用场景设计的元脑服务器,预置元脑企智EPAI企业大模型开发平台,支持8颗NVIDIA最新Hopper架构GPU全互联在内的多元算力,预置Yuan2.0、Baichuan2、ChatGLM3、Qwen1.5、GLM4、Llama3等7个基础大模型,旨在解决数据处理、模型微调、RAG搭建、模型部署、应用上线和系统运维等问题。财联社记者注意到,元脑企智EPAI一体机涵盖五种产品规格,主要面向推理、训推一体化、整机柜集群化交付等场景。(受访者供图)“推理算力是一个很重要的增长方向,尤其是边缘端推理。无论车路协同、智慧园区还是高速收费站等,边缘领域的推理应用关注不同的产品形态。”魏健向财联社记者表示。“大模型其实从预训练、微调到推理有大概三个阶段,现在业内的关注点已经走到了微调跟推理,并且微调的重要性越来越凸显了。”浪潮信息AI应用架构师Owen ZHU在采访中表示。Owen ZHU称,此次发布的一体机亦集成了部分当下与算力相匹配、在业内较为可用易用的微调技术。他举例称,“一个10B参数的模型可能需要200-300G的显存才能做微调,可能一台机器就已经开始有点‘勉强’了,更何况我们现在用的都是30B、40B的模型,至少需要三四台机器,门槛也有点过高了。现在一些高效微调技术能做到用10G甚至不到10G的显存把10B参数的模型微调跑起来。也就是说,一些新技术的应用能够降低算力门槛。”而站在成本角度,魏健告诉财联社记者,浪潮信息大模型一体机新品单台价格在二三十万到两百万之间,“如果用户有50万左右的硬件设备初期投入,就可以进行至少10亿到300亿参数规模的模型训练,且在单机设备上用到更好的算力。”同时她表示,浪潮信息对用户的报价为一体机整体报价,但“如果把一体机拆开来看,硬件可能占80%,软件占20%。我们是一个产品公司,做这个商业模式,更多还是为了激发整个行业生态的应用。”“一体机的生意逻辑是对的,是否受客户认可比较关键。”一位AI算力从业者告诉财联社记者。财联社记者问及当前用户对于大模型一体机的接受意愿,魏健表示,“我了解到接受意愿还是挺强烈的,(一体机)和一些传统硬件用户的使用习惯还是蛮匹配的。我们在过去三、四个月里做了近百家的POC测试,有意愿去做应用定制开发、让我们整理数据等等的用户其实能占到30%。”值得关注的是,大模型一体机在业内热度较高,智谱AI、商汤科技、中软国际等主流AI大模型厂商、ICT服务商及ISV服务商均已推出一体机相关产品。Owen ZHU称,“大家都在叫一体机,但其实内涵差距是比较大的。可能我们最开始听到一体机的概念时是在讲训推一体,而现在我们在讲的是把硬件跟面向大模型的解决方案整体打包的方案,是一个大模型的开发平台。”“大模型厂商有的实际上跟我们是合作伙伴关系,但是我们的一体机跟他们有差异。大模型厂商在软件、算法能力方面很强,我们更强调算力的调度管理、算法的调度,跟不同模型做适配,包括对模型参数也做了很多研究,其实还是为了更好地发挥硬件性能优势。”魏健告诉财联社记者。koa12jJid0DL9adK+CJ1DK2K393LKASDad
编辑:范长江
TOP1热点:谁懂魏哲鸣跑过去的这一瞬间
具体来看,内蒙古、青海、上海、黑龙江、天津、北京、河北、广东、宁夏、甘肃等10省份涨幅高于全国水平,且均处于“0时代”;江苏、安徽、江西、山东涨幅与全国水平持平;吉林、浙江、云南、辽宁、福建、湖南、陕西、山西、河南、广西、海南、新疆、西藏、湖北、四川、重庆、贵州等17省份涨幅低于全国水平,其中,贵州、河南、山西等3省份物价连续六个月回落,贵州则是唯一降幅超1%的省份。。
中国人民银行货币政策司司长邹澜表示,将健全中国特色现代货币政策框架,加快现代中央银行制度建设,健全货币政策和宏观审慎政策“双支柱”调控框架。
TOP2热点:黑神话悟空主角天命人商标被抢注
会议指出,坚持“引进来”和“走出去”并重,稳步扩大金融领域制度型开放,提升跨境投融资便利化,吸引更多外资金融机构和长期资本来华展业兴业。增强上海国际金融中心的竞争力和影响力,巩固提升香港国际金融中心地位。
嗓子疼、咽痛、咳嗽、发烧、感冒……随着秋冬呼吸道感染性疾病高发季的到来,不少人都出现了呼吸道感染症状,甚至在一些医院儿科已经人满为患。
TOP3热点:二郎神 张翰TOBU16_18
据全国妇联官网介绍,成立于1949年4月3日的中华全国妇女联合会是全国各族各界妇女为争取进一步解放与发展而联合起来的群团组织,是中国共产党领导下的人民团体,是党和政府联系妇女群众的桥梁和纽带,是国家政权的重要社会支柱。
TOP4热点:黑神话悟空 晕3D14may18_XXXXXL56endian49
今年6月以来,习主席会见了美国盖茨基金会联席主席比尔·盖茨、前国务卿基辛格,还接连复信美国友人,亲力亲为推动中美各界交往和地方合作。
TOP5热点:2024中国丰收图景八重神子去内奖励旅行者
商务部部长王文涛在京会见库克时表示,中国将坚定推进高水平开放、持续扩大市场准入,致力于营造市场化、法治化、国际化的营商环境,欢迎包括苹果公司在内的跨国公司共享中国市场红利,实现共赢发展。
TOP6热点:黑神话第二难 着色器编译女生把坤放男生定眼里
据海关总署官方微信公众号“海关发布”20日发布的消息,为进一步优化跨境贸易营商环境,提升贸易便利,海关总署日前发布公告,决定自2023年11月1日起取消出口货物原产地企业备案事项,原产地证书申请人可直接通过国际贸易“单一窗口”、互联网+海关、中国贸促会申报系统等申领原产地证书。
TOP7热点:疑似张昊唯曝金晨男友一面亲一面膜下的免费
“历史和现实反复证明,搞乱一个社会、颠覆一个政权,往往先从意识形态领域打开缺口,先从搞乱人们的思想入手。思想防线一旦被攻破,其他防线就很难守住,政权安全和制度安全也会随之垮塌。”
TOP8热点:中秋节好像没放假又好像放了一杆长枪直入两扇门
冯栢文认为,澳中两国高层接触可以为改善贸易关系铺平道路,并为双方企业打开大门。“我们希望此访将为希望扩大或巩固在中国市场的澳企带来更多机会和明确方向。”
2022年6月的茅台2021年度股东大会上,丁雄军在谈到mini茅台比正品茅台更贵时曾表示:“你懂的嘛,释放了一些信号。”
TOP9热点:华为阿维塔合资17may18_XXXXXL56endian
狂妄自大还让郭庆在项目推进中违规操作,对于不符合规定的项目,郭庆为了加快建设进度,绕过省住建厅,直接安排县住建局将方案送到自己任“一把手”的县城乡规划委员会审阅并通过,最终导致该项目在当地造成不良影响。
今年6月以来,习主席会见了美国盖茨基金会联席主席比尔·盖茨、前国务卿基辛格,还接连复信美国友人,亲力亲为推动中美各界交往和地方合作。
TOP10热点:黑神话悟空 晕3D上边一面亲下边一面膜的作用
根据章程,中华全国妇女联合会的最高领导机构是全国妇女代表大会和它所产生的中华全国妇女联合会执行委员会。全国妇女代表大会每五年举行一次,由中华全国妇女联合会执行委员会召集。中华全国妇女联合会执行委员会全体会议选举主席一人、专兼职副主席若干人、常务委员若干人,组成常务委员会。