202.GGY.钙站大模型一体机成趋势！模型微调重要性凸显 浪潮信息最新入局|行业202.GGY.钙站动态
大模型一体机成趋势！模型微调重要性凸显 浪潮信息最新入局|行业202.GGY.钙站动态
这座城市始建于14世纪。它曾是立陶宛大公国的一部分，1529年成为奥斯曼土耳其帝国的一部分，一直到奥斯曼帝国在俄土战争中失败，1789年它被俄国人攻占，1792年割让给俄国。
财联社9月30日讯（记者 付静）当前中国10亿参数规模以上大模型数量已超100个，技术虽蓬勃发展而实际落地程度仍待提升。近日于郑州召开的2024中国算力大会上，财联社记者观察到，大模型应用落地仍受到产业链关注，一体机则成为大模型商业化探索过程中一大热门趋势，算力硬件厂商浪潮信息（000977.SZ）亦在此次大会上推出元脑企智EPAI（Enterprise Platform of AI）一体机，提供“算力+平台+服务”的大模型解决方案。浪潮信息产品方案开发部总经理魏健在接受财联社在内媒体采访时表示，“应用现状跟市场趋势存在鸿沟，怎么让企业，特别是传统企业把大模型应用快速落地，基于这样一个背景，我们做了大模型一体机。”此前工信部赛迪研究院数据显示，2023年我国AI企业新增368家，生成式AI的企业采用率已达15%，其中制造业、零售业、电信行业、医疗健康四大行业采用率分别为5%、13%、10%和7%；预计2035年生成式AI有望为全球贡献近90万亿元经济价值，其中我国将突破30万亿元，占比超四成。同时魏健在采访中提及一组数据：AI市场公开招投标的项目中，去年全年、今年上半年硬件方面占比分别约60%、61%，软件方面占比分别约11%、5%，今年上半年服务方面占比从去年的17%升至30%以上。“相当于说是硬件和服务占了项目总金额的90%以上。”魏健称，此次浪潮信息发布的一体机主要面向制造、金融等行业客户、传统ISV和SI三类用户。以SI为例，“多模管理也好、多元算力管理也好，还需要有对大模型专门的调优能力，我们可以把服务集成到一体机产品里。”据悉，元脑企智EPAI一体机基于为大模型应用场景设计的元脑服务器，预置元脑企智EPAI企业大模型开发平台，支持8颗NVIDIA最新Hopper架构GPU全互联在内的多元算力，预置Yuan2.0、Baichuan2、ChatGLM3、Qwen1.5、GLM4、Llama3等7个基础大模型，旨在解决数据处理、模型微调、RAG搭建、模型部署、应用上线和系统运维等问题。财联社记者注意到，元脑企智EPAI一体机涵盖五种产品规格，主要面向推理、训推一体化、整机柜集群化交付等场景。（受访者供图）“推理算力是一个很重要的增长方向，尤其是边缘端推理。无论车路协同、智慧园区还是高速收费站等，边缘领域的推理应用关注不同的产品形态。”魏健向财联社记者表示。“大模型其实从预训练、微调到推理有大概三个阶段，现在业内的关注点已经走到了微调跟推理，并且微调的重要性越来越凸显了。”浪潮信息AI应用架构师Owen ZHU在采访中表示。Owen ZHU称，此次发布的一体机亦集成了部分当下与算力相匹配、在业内较为可用易用的微调技术。他举例称，“一个10B参数的模型可能需要200-300G的显存才能做微调，可能一台机器就已经开始有点‘勉强’了，更何况我们现在用的都是30B、40B的模型，至少需要三四台机器，门槛也有点过高了。现在一些高效微调技术能做到用10G甚至不到10G的显存把10B参数的模型微调跑起来。也就是说，一些新技术的应用能够降低算力门槛。”而站在成本角度，魏健告诉财联社记者，浪潮信息大模型一体机新品单台价格在二三十万到两百万之间，“如果用户有50万左右的硬件设备初期投入，就可以进行至少10亿到300亿参数规模的模型训练，且在单机设备上用到更好的算力。”同时她表示，浪潮信息对用户的报价为一体机整体报价，但“如果把一体机拆开来看，硬件可能占80%，软件占20%。我们是一个产品公司，做这个商业模式，更多还是为了激发整个行业生态的应用。”“一体机的生意逻辑是对的，是否受客户认可比较关键。”一位AI算力从业者告诉财联社记者。财联社记者问及当前用户对于大模型一体机的接受意愿，魏健表示，“我了解到接受意愿还是挺强烈的，（一体机）和一些传统硬件用户的使用习惯还是蛮匹配的。我们在过去三、四个月里做了近百家的POC测试，有意愿去做应用定制开发、让我们整理数据等等的用户其实能占到30%。”值得关注的是，大模型一体机在业内热度较高，智谱AI、商汤科技、中软国际等主流AI大模型厂商、ICT服务商及ISV服务商均已推出一体机相关产品。Owen ZHU称，“大家都在叫一体机，但其实内涵差距是比较大的。可能我们最开始听到一体机的概念时是在讲训推一体，而现在我们在讲的是把硬件跟面向大模型的解决方案整体打包的方案，是一个大模型的开发平台。”“大模型厂商有的实际上跟我们是合作伙伴关系，但是我们的一体机跟他们有差异。大模型厂商在软件、算法能力方面很强，我们更强调算力的调度管理、算法的调度，跟不同模型做适配，包括对模型参数也做了很多研究，其实还是为了更好地发挥硬件性能优势。”魏健告诉财联社记者。koa12jJid0DL9adK+CJ1DK2K393LKASDad
编辑:章汉夫
TOP1热点：不管了，我上了。
【环球时报-环球网报道记者陈青青】日本《朝日新闻》7月22日报道称，日本政府将从23日起对先进半导体制造所需的23个品类的半导体设备追加出口管制。此举旨在防止中国生产先进半导体，也是对美国收紧对华限制的响应。在7月24日举行的外交部例行记者会上，有记者就该管制询问中方回应。。
7月21日，中国驻缅甸大使馆工作人员回应媒体表示，近期接到较多求助电话，大使馆已经向缅甸外交部发公函。缅甸外交部会通报公安部门，实施营救。至于何时开展营救，工作人员称尚不清楚。
TOP2热点：诸葛亮：北伐失败怎么不找自己问题
今年7月24日上午，广西本科第一批第二次征集志愿填报截止之后，封面新闻记者拨通了唐尚珺电话，但他婉拒了采访。何汉立告诉记者，唐尚珺对下一步打算仍然迷茫，梦想和现实还在斗争。“心情很低落，想安静”。
TOP3热点：哪吒竟然还有这么多画风？胡桃吃旅行者的坤吧
2013年5月，李春生“空降”广东省出任副省长、省公安厅厅长、党委书记。
TOP4热点：动画师：差点肝没命，所以看谁都像垃圾…国精产品一二三区传媒公司
然而，技术的进步，国家的发展，乃至世界的连接，不是能轻易被截断的草木，而是奔流的江河，截不断更堵不住。
TOP5热点：坐14个小时飞机.落地就把人送进去了天堂草原电视剧在线观看
那么，她是怎么知道老郭和阿珠生活在一起的呢？
7月21日，中国驻缅甸大使馆工作人员回应媒体表示，近期接到较多求助电话，大使馆已经向缅甸外交部发公函。缅甸外交部会通报公安部门，实施营救。至于何时开展营救，工作人员称尚不清楚。
TOP6热点：【原神】雷神同人短片-「梦璃御舆抄」国精产品自线六区
从《刑法》上讲，要判断高空抛物者是一个什么样的行为，定什么罪名，应当根据行为人在行为时候的作案次数、作案时间、作案地点、他所抛物品的重量种类、他当时抱着一个什么样的主观心态、动机和目的以及造成什么样的后果来进行综合评价。
之所以能坚持半个世纪之久，更在于习近平主席所说的第二个“不会忘记”——不会忘记你为推动中美关系发展、增进中美两国人民友谊作出的历史性贡献。
TOP7热点：“这感觉 谁懂！！”may18_XXXXXL56endian
20日中午，中方为基辛格准备了午宴，宴会桌中央是鲜花铺成的中国卷轴，寓意福寿如山，友谊绵长；
TOP8热点：研究二次元的专家三亚久爱传媒有限公司股东
齐齐哈尔市第三十四中学的一名在校生向南都记者介绍，坍塌的体育馆平时只向女排训练开放，其他学生基本不让进。体育馆的外部墙体比较破旧。
7月21日，中国驻缅甸大使馆工作人员回应媒体表示，近期接到较多求助电话，大使馆已经向缅甸外交部发公函。缅甸外交部会通报公安部门，实施营救。至于何时开展营救，工作人员称尚不清楚。
TOP9热点：动画师：差点肝没命，所以看谁都像垃圾…老婆出轨时给老公打电话
此外，通报还指出李春生“接受私营企业主为其提供的私人会所”。
TOP10热点：“后羿为什么不射工作日”俄罗斯severodvinsk
这种“战略眼光”是什么？中方前一天会见基辛格时，提到一句话，“美国的对华政策需要基辛格式的外交智慧，需要尼克松式的政治勇气”。
齐齐哈尔市民李晨（化名）是当地一家工程公司的负责人。7月24日，李晨告诉澎湃新闻，23日约16时许，他接到通知，然后带着30多名工人前往齐齐哈尔市第三十四中学参与救援工作。