国精产品一区一区三区2GB 内存就能跑 ChatGPT！这个国精产品一区一区三区国产「小钢炮」，要让华为 OV 们的 AI 体验突破瓶颈_ZAKER新闻
2GB 内存就能跑 ChatGPT！这个国精产品一区一区三区国产「小钢炮」，要让华为 OV 们的 AI 体验突破瓶颈_ZAKER新闻
在最新草案中，欧洲议会扩大了“不可接受的风险”清单，防止人工智能系统出现侵入性和歧视性。全面禁止公共空间生物识别、情感识别、预测性警务（基于侧写、地点或过去的犯罪行为），以及从网络随意抓取面部图像等六类人工智能系统。
在这波 AI 浪潮中，面壁智能是国内少有选择 All In 端侧模型的头部大模型厂商。自从面壁智能 2 月份发布性能小钢炮 1.0 后，接连几月陆续迭代升级，其中后续推出的开源模型 MiniCPM-Llama3-V 2.5 更是因为强悍的实力遭到了斯坦福 AI 团队的抄袭。四月份，面壁智能 CTO 曾国洋还曾预言，GPT-3.5 级别的模型将在一两年内就能在移动设备上运行。好消息是，不用再等一到两年了，因为今天发布的 MiniCPM 3.0 实现了初代小钢炮发布时立下的 Flag：今年内让 GPT-3.5 水平的模型在端侧跑起来。仅 4B 参数，以小博大，性能超越 GPT-3.5，MiniCPM 3.0 也标志着「端侧 ChatGPT」时刻的到来。简单来说就是，MiniCPM 3.0 的面世意味着用户未来能体验到快速、安全、且功能丰富的本地 AI 服务，无需依赖云端处理，以及获得更流畅、更私密的智能交互体验。从官方分享的基准测试来看，MiniCPM 3.0 在 CMMLU、CEVAL 等考究中文能力的基准测试中一骑绝尘，轻松碾压 Phi-3.5、以及 GPT-3.5 等模型。而即便是对上了 8B、9B 等国内优秀的大模型，MiniCPM 3.0 的表现同样相当出众。简单总结一下 MiniCPM 3.0 的特点：无限长文本，榜单性能超越 Kimi端侧最强 Function call，性能比肩 GPT-4o超强的 RAG 外挂三件套，中文检索、中英跨语言第一 无限长文本，性能超越 Kimi小而强、小而全，或许是 MiniCPM 3.0 最贴切的形容词。上下文长度是衡量大模型基础能力的一项重要特性，更长的上下文长度意味着模型能够存储和回忆更多的信息，从而有助于模型更准确地理解和生成语言。举例来说，更长的上下文长度能够让一个 AI 写作工具根据用户之前写的内容提供更相关的建议，或者根据更多的背景信息创作出更复杂、更引人入胜的故事。为此，面壁提出了 LLMxMapReduce 长本文分帧处理技术。这是一种通过将长上下文切分为多个片段，让模型并行处理，并从不同片段中提取关键信息，汇总最终答案，实现无限长文本。据悉，这一技术普遍增强了模型处理长文本的能力，且在文本不断加长的情况，仍保持稳定性能、减少长文本随加长掉分情况。▲ LLMxMapReduce 技术框架图从 32K 到 512K，MiniCPM 3.0 能够打破大模型记忆的限制，将上下文长度无限稳定拓展，用面壁官方的话来说就是「想多长就多长」。从大模型长文本的基准测试 InfiniteBench 结果来看，随着文本长度的增加，4B 参数的 MiniCPM 3.0 的性能优势反而愈发明显。InfiniteBench Zh.QA 评测结果显示，4B 参数的 MiniCPM 3.0 整体性能优于 Kimi，在更长的文本上显示出相对更强的稳定性。 端侧最强 Function call，性能比肩 GPT-4o在接受 APPSO 等媒体的采访时，曾国洋也表示，MiniCPM 3.0 针对用户关注的一些能力进行了提升，比如加入了完整的 system prompt Function Calling 和 code interpreter 等能力。其中 Function Calling（函数调用）能够将用户模糊化的输入语义转换为机器可以精确理解执行的结构化指令，并让大模型连接外部工具和系统。具体来说，通过语音在手机上调用日历、天气、邮件、浏览器等 APP 或相册、文件等本地数据库，从而打开终端设备 Agent 应用的无限可能，也让人机交互更加自然和方便。据介绍，MiniCPM 3.0 宣称拥有端侧最强 Function Calling 性能 ，在 Berkeley Function-Calling Leaderboard 榜单上，其性能接近 GPT-4o，并超越 Llama 3.1-8B、Qwen-2-7B、GLM-4-9B 等众多模型。曾国洋表示，现有的开源模型在这些能力上的覆盖并不全面，通常只有一些云端的大型模型能够完全覆盖这些能力。现在，MiniCPM 3.0 也实现了一些相应的功能。以 RAG（检索增强生成）为例，这是一种结合了信息检索（IR）和自然语言生成（NLG）的技术。它通过从大规模文档库中检索相关信息来指导文本的生成过程，能够提升模型在回答问题、生成文本等任务中的准确性和可靠性，减少大模型的幻觉问题。对于法律、医疗等依赖专业知识库、对大模型幻觉容忍度极低的垂直行业来说，大模型 +RAG 在行业中尤其实用。MiniCPM 3.0 一口气上线了 RAG 三件套：检索模型，重排序模型和面向 RAG 场景的 LoRA 插件。MiniCPM-Embedding（检索模型）中英跨语言检索取得 SOTA 性能，在评估模型文本嵌入能力的 MTEB 的检索榜单上中文第一、英文第十三。MiniCPM-Reranker（重排序模型）在中文、英文、中英跨语言测试上取得 SOTA 性能。经过针对 RAG 场景的 LoRA 训练后，MiniCPM 3.0-RAG-LoRA 在开放域问答（NQ、TQA、MARCO）、多跳问答（HotpotQA）、对话（WoW）、事实核查（FEVER）和信息填充（T-REx）等多项任务上的性能表现，超越 Llama3-8B 和 Baichuan2-13B 等业内优秀模型。 模型应用落地，先跑起来再说在接受 APPSO 等媒体的采访时，面壁智能 CEO 李大海提到，能跑起来和真正流畅地去做应用是两个不同的概念。而经过优化后的 MiniCPM 3.0 对端侧设备的资源需求很低，量化后仅需 2.2 G 内存，iPad 端侧推理也能达到 18-20 tokens/s。对于 iPad 这样的移动设备来说，每秒能够处理 18-20 个 token 的速度已经意味着模型能够实时处理自然语言输入。比如在语音识别或实时翻译应用中，用户基本不会感受到明显的延迟，享受到相对流畅的交互体验。另外，相较于云端模型，作为端侧模型的面壁小钢炮 MiniCPM 系列模型还天然具有弱网、断网可用、超低时延、数据隐私安全等本地优势。在贡嘎雪山附近游玩时，想知道欣赏「日照金山」的最佳姿势，网络不佳的你可以向 MiniCPM 3.0 发出提问。又或者，如果你是「赶海」的新人，站在波涛汹涌的海岸边，却想要满载而归，那不妨可以遵循 MiniCPM 3.0 给出的建议。当你抬头仰望夜空时，萌生了捕捉星轨的念头，MiniCPM 3.0 也能给你将拍摄的细节娓娓道来。MiniCPM 小钢炮系列飞速进步的背后是一以贯之的高效大模型第一性原理。面壁智能首席科学家刘知远曾提出一个大模型时代的「摩尔定律」，即大模型的知识密度平均每 8 个月将提升一倍。知识密度 = 模型能力 / 参与计算的模型参数具体来说，随着模型知识密度的持续增强，2020 年 GPT-3 175B 能力到 2024 年 MiniCPM 2.4B 模型即可达到，2022 年底 ChatGPT 首次亮相内置的 GPT-3.5 到 2024 年 MiniCPM 3.0 模型即可达到。基于此，如果说 MiniCPM 追求的是极致端侧性能表现，那么 MiniCPM-V 追求的是极致多模态创新表现，面壁小钢炮的进步不是单方面的进步，而是端侧双旗舰的齐头并进。经过一两年的技术摸索，AI 大模型正逐步进入落地应用的深水区。李大海认为，大模型具有两个大方向的价值，一个方向的价值叫做升级旧世界，第二个方向的价值则是发现新大陆。比如苹果整合 ChatGPT 服务到 Apple Intelligence 中便是一个典型的例证。端侧模型也是如此，通过在手机、汽车还有 PC 这样的场景里面，更适合做的事情是去服务好终端的厂商，然后让终端厂商因为有了端侧模型，整个系统层级的体验也变得更好。只不过，在技术到产品的惊险一跃中，厂商也需要投入大量时间来融合用户需求与技术。正如李大海所言，尽管移动互联网自 iPhone 问世以来就已经存在，但真正大规模增长和被验证的应用确实是数年后才开始涌现。实际上，面壁智能也一直在探索落地应用的场景。此前，面壁小钢炮 MiniCPM 端侧模型已经在 PC、平板、手机等领域上实际运行。前不久，面壁智能也在 WAIC 上联手加速进化机器人，打造出完整「具身智能」的先驱方案，这也是业界首个高效端侧模型运行在人形机器人的演示，理解、推理、并与物理世界互动的智能系统。李大海也向 APPSO 等媒体剧透，预计在年底前将会有配备面壁智能端侧模型的产品上市。简言之，面壁智能不断将高效高性能大模型放到离用户最近的地方，让大模型的能力像电力一样被随意调用、无处不在、普适且安全。在这个过程，更多的人也能尽快地享受到大模型的价值和作用。MiniCPM 3.0 开源地址：GitHub: https://github.com/OpenBMB/MiniCPMHuggingFace: https://huggingface.co/openbmb/MiniCPM3-4Bkoa12jJid0DL9adK+CJ1DK2K393LKASDad
编辑:王德茂
TOP1热点：�
而从市场份额来看，小型车的份额占比开始萎缩，中大型车的占比从2022年的32%提升到2023年1-4月的35%。其中，2023年1-4月B 级车（中级车）份额较2022年增加2%至29%；C级车份额较2022年增加1%至6%。。
也正是这次调整，导致中国女篮进攻断电，经历了长达7分钟的得分荒，日本女篮借此机会逆转比分，半场35-26领先中国女篮。上半场中国女篮出现10次失误，而日本队只有5次失误，同时有6次抢断。
TOP2热点：当我用曼波变声器给队友唱歌
为加强对人力资源服务机构的监督管理，规定进一步规范了日常检查、信用管理、社会监督等管理手段，首次对确定管辖权、撤销注销许可、加强部门协同等方面作出明确规定，构建了事前审批与事后监管有机结合、部门联动与各方协同凝聚合力的综合管理体系。
TOP3热点：【雷军】今年第一次放烟花，给大家拜个早年Base掀起OnchainSummer热潮
也正是这次调整，导致中国女篮进攻断电，经历了长达7分钟的得分荒，日本女篮借此机会逆转比分，半场35-26领先中国女篮。上半场中国女篮出现10次失误，而日本队只有5次失误，同时有6次抢断。
早年间，潘功胜在浙江冶金经济专科学校求学、任教，1987年后进入中国人民大学攻读劳动人事学院硕士研究生、经济学系博士研究生。
TOP4热点：美为丑加冕！2025淘宝丑东西颁奖盛典来了班长哭了能不能再抠游戏里面的钱
当年插队时，知青们体力劳动之余都很无聊，骆玉明同样被一种空虚所压迫着。但如果能找到书读，能够从书里想一些事情，不管能不能想明白，生活就不至于那么乏味。
TOP5热点：【IGN】Switch 2公布预告XXXXXL196_2222
此外，不同于增量时代的投钱建设，存量时代需要建成的物业持续产生现金流。小区和社区公共空间很多，既包括商铺、房屋出租、停车场、广告牌、会所、体育设施等，必须要有盘活经营、出让经营权的思路。当下，老旧小区改造如火如荼，可以挖掘出很多可以盈利的空间。
近年来，我国生猪养殖规模化程度在逐渐提高。数据显示，2021年国内排名前十的规模养殖企业出栏量在市场中的占比，由2016年的4.94%提升至17.02%。
TOP6热点：【MyGO/素世】坏心思的神明，给我带来了禮物。刺激打扑克摇床又全程不盖被子
在乘联会统计的5月中级车销量排行前十中，除了比亚迪汉与艾瑞泽8两款自主品牌车型外，其他均为外资品牌车型。尽管多款车辆销量出现同比下滑态势，但短时间内，合资品牌的地位优势依然难以撼动。
6月30日，人力资源社会保障部发布《人力资源服务机构管理规定》，这是我国首部系统规范人力资源服务机构及相关活动的规章，将自2023年8月1日起施行。
TOP7热点：正是因为他的死磕精神，不断咬牙坚持，才让我们拥有了隐形的铠甲！麻花传媒MV与其它传媒公司比较
处在金字塔底部的是有限风险、风险很小或没有风险的人工智能系统。前者具有特定透明度义务，需要告知用户正在与AI系统互动，后者无强制性规定，基本上不受监管，如垃圾邮件过滤器等应用。
念完研究生，原本有工作的人回原单位，没有单位的就留在复旦。“初中没毕业，读了研究生，留校任教，就是这么奇特的年代和经历。”
TOP8热点：必须打动观众商务旅行中绿子女老板帽02经典
数据显示，2023年5月，16家上市生猪养殖企业合计销量达1242.81万头。其中，牧原股份销量超过570万头，温氏股份、新希望的销量分别为209.36万头、144.28万头。同比增速方面，多数企业实现正增长，唐人神、罗牛山等企业的增速更是超过90%。
TOP9热点：【无畏契约】新春脱口秀 // 付航的打瓦必胜法则无忧传媒的短视频制作技巧
2022年，鹰潭市应急管理局对乾泰新材料进行了行政处罚。原因是去年10月26日该局行政执法人员在对该公司进行监督检查时，发现该公司动火作业，现场无安全管理。
美国AI立法进展甚微，已招致许多不满。不少人批评，在数字经济的规则制定方面，美国已落后欧盟和中国。不过，或许是看到欧盟《人工智能法案》即将走过最后“关卡”，美国国会近期出现了立法加速迹象。
TOP10热点：蛋仔派对：盘点蛋仔2025年寒假里必玩的乐园地图，蛋仔工匠模拟器太好玩了！国内国精产品一二三区传媒
不过，5月折扣率已经有收窄迹象。乘联会数据显示，5月中旬乘用车总体折扣率约16.9%，与4月持平。当下价格战或已告一段落，终端价格或趋于稳定。
美国AI立法进展甚微，已招致许多不满。不少人批评，在数字经济的规则制定方面，美国已落后欧盟和中国。不过，或许是看到欧盟《人工智能法案》即将走过最后“关卡”，美国国会近期出现了立法加速迹象。