2023.GGY.钙站清华系出手！全球第一款端侧全模态理解模型开源2023.GGY.钙站_ZAKER新闻
清华系出手！全球第一款端侧全模态理解模型开源2023.GGY.钙站_ZAKER新闻
中非关系源远流长，自近代以来，出于反殖民、反种族主义的共同立场，双方密切合作，关系融洽。中国曾帮助许多非洲民族、国家实现了独立宏愿，非洲国家也在中国国际空间最艰难的阶段雪中送炭，并为中国重返联合国舞台提供了有力的帮助。
编辑 | Panken智东西 12 月 16 日报道，今日，清华系 AI Infra 创企无问芯穹正式开源端侧解决方案中的全模态理解小模型 Megrez-3B-Omni，并同步开源其纯语言模型版本 Megrez-3B-Instruct。Megrez-3B-Omni 为端侧而生，选择了最适合手机、平板等端侧设备的 30 亿参数黄金尺寸，结构规整，单模态版本的推理速度最大领先同精度模型300%。该模型同时具备图片、音频、文本三种模态数据的处理能力，并在三个模态的多种测评基准中取得了同尺寸下最优性能。其多模态能力可灵活切换，响应非常迅速。比如先随手拍张单据照片发给它，问 "6 个人 AA 人均多少钱 "，再语音输入让它写个诙谐文案催大家交钱，它能立即按要求出稿。▲ Megrez-3B-Omni 可实现在语音、图像、文本多个模态之间自由切换和同样三模态的 VITA（based on Mixtral 8×7B）、Baichuan-Omni-7B ，双模态的 MiniCPM-V 2.6（based on Qwen2-7B）、Qwen2-VL-7B、Qwen2-Audio-7B，以及单一模态的 Qwen、Baichuan 等模型相比，Megrez-3B-Omni 在主流基准测试集上的表现都不逊色。Megrez-3B-Instruct 还提供了WebSearch 功能，支持调用外部工具进行网页搜索。无问芯穹成立于 2023 年 5 月，由清华大学电子工程系教授、系主任汪玉教授发起，汪玉的第一任博士毕业生夏立雪担任联合创始人兼 CEO。其技术团队源起于清华大学电子工程系 NICS-EFC 实验室，在模型压缩、推理加速及硬件能耗优化等领域拥有深入的学术研究和深厚的工程实践经验，擅长模型轻量化、软硬件协同优化。该公司以 " 释放无穹算力，让 AGI 触手可及 " 为使命，致力于成为大模型时代首选的 "算力运营商"。百度、智谱 AI、联想、小米、软通高科等知名企业均是无问芯穹的投资方。今年 9 月，无问芯穹 CEO 夏立雪、无问芯穹战略运营 SVP 王梦菲在与智东西等媒体交流时透露，该公司今年已有一些规模化收入，主要来自销售算力，明年会进一步扩大市场份额。其端侧大模型推理处理器 LPU 将以 IP 形式，与合作伙伴做联合的芯片发布，计划明年有一些落地尝试。经其内部测算，无问芯穹预计将在3 到 5 年内实现盈利。作为无问芯穹" 端模型 + 端软件 + 端 IP" 端上智能一体化解决方案的重要构成，无问芯穹认为要实现端侧 AGI，像 Megrez-3B-Omni 这样的全模态理解模型是必不可少的一环。无问芯穹称 Megrez-3B-Omni 是一个能力预览，接下来将持续迭代 Megrez 系列，提升自动化水平至 "edge device use" 效果，让用户只需要给出简单的语音指令，就可完成端设备的设置或应用操作，并将它作为" 端模型 + 端软件 + 端 IP" 端上智能一体化解决方案的重要构成推向市场。无问芯穹 Github、HuggingFace 主页以及 Modelers 魔乐、ModelScope 魔搭等社区均可获取 Megrez-3B-Omni 及其大语言模型版本。无问芯穹 Infini-AI 异构云平台上可获取大语言模型版本的 API 或直接在线体验。Github 地址：https://github.com/infinigence/Infini-MegrezHuggingFace 地址：https://huggingface.co/Infinigence/Megrez-3B-OmniInfini-AI 异构云地址：https://cloud.infini-ai.com/genstudio/model/mo-c73owqiotql7lozr 一、图片理解：3B 体量对标 34B 模型表现，轻松识别模糊印刷体、复杂手写字在图像理解方面，Megrez-3B-Omni 参数规模仅为 3B，其综合性能表现却可以全面超过 34B 模型，包括 LLaVA-NeXT-Yi-34B 等模型，是目前 OpenCompass、MME、MMMU、OCRBench 等多个主流测试集上精度最高的图像理解模型之一。▲图源：https://internvl.github.io/blog/2024-12-05-InternVL-2.5/同时，Megrez-3B-Omni 在场景理解、OCR 等任务上也表现出色，能够准确洞察和分析图像中的场景内容，高效地从中提取文本信息。比如发一张模糊截图，哪怕图片里的像素低清，该模型也能秒速识别。▲ Megrez-3B-Omni 屏幕识别随手拍一张复杂的手写字照片，它也能快速提取里面的关键信息。▲ Megrez-3B-Omni 手写字体识别 二、文本理解：超越上一代 14B 最佳模型，读完课堂笔记秒出考题在文本理解方面，作为全模态理解模型，Megrez-3B-Omni 没有牺牲模型的文本处理能力，将上一代 14B 大模型的优秀能力压缩至 3B 规模，以更少的资源消耗，实现了更高的性能输出，显著降低了计算成本、提升了计算效率。该模型在 C-EVAL、MMLU/MMLU Pro、AlignBench 等多个权威测试集上更是取得端上模型最优精度，在文本理解方面取得全球领先地位。这为端侧设备的智能化提供了全新可能。在理解长文本时，该模型能做到准确意图识别和极速推理。它可以适用于教育等很多文字工作应用场景。比如让它参考课堂笔记，出一套包含 3 个问题的课后习题。▲ Megrez-3B-Omni 文本理解或者让它帮忙给代码捉虫。▲ Megrez-3B-Omni 代码理解 三、音频理解：输入语音轻松提问，能听音、问图、解文在语音理解方面，Megrez-3B-Omni 的效果比肩行业主流方案，不仅支持中文和英文的语音输入，还能够处理复杂的多轮对话场景，更能支持对输入图片或文字的语音提问，实现不同模态间的自由切换。用户可以就任意模态内容发出语音指令，Megrez-3B-Omni 能根据语音指令直接响应文本，从一长段语音中快速提炼重点。▲ Megrez-3B-Omni 语音理解 四、多场景灵活应用：支持网页搜索Megrez-3B-Instruct 还特别提供了WebSearch 功能，使得模型能够智能地判断何时需要调用外部工具进行网页搜索，辅助回答用户的问题。▲ WebSearch 支持这样用户就能构建属于自己 AI 搜索，通过网络获取最新信息，克服小模型的幻觉问题和知识储备不足的局限。模型有时候自身储备已经足够独立解决问题，这时过多的搜索调用反而可能降低推理速度和效果。Megrez-3B-Instruct 通过在搜索和对话之间智能切换，避免了过度依赖搜索或完全不调用搜索的问题。除了可以自动决策工具调用时机之外，Megrez-3B-Instruct 还具备上下文理解性能优异、可提供带参考信息的结构化输出等优势。这些能力都已集成于 Megrez-3B-Instruct 模型中，用户可通过 System Prompt 自由切换。 结语：一体化设计，推动端侧智能相较于云端大模型，端侧模型需要在资源有限的设备上快速部署、高效运行，对降低模型计算和存储需求提出更高要求。模型小，不一定就意味着速度快。在将推理速度大幅提升背后，凭借对硬件特性的深入理解与利用，Megrez-3B-Omni 通过软硬件协同优化策略，确保了各参数与主流硬件高度适配，以实现硬件性能的利用最大化。此前在提供端上智能一体化解决方案方面，无问芯穹秉持软硬协同理念已与多家知名智能设备和终端芯片厂商展开合作。除端侧全模态理解模型外，该公司有端上推理软件和 IP 设计方案，不仅支持 CPU、GPU、NPU 的同时推理，还能通过跨越软硬件层次的系统优化，额外带来最高可达70%的性能提升，最大化端侧硬件性能的利用，适应电脑、平板、手机乃至眼镜等轻量的端侧移动设备。通过软硬件联合优化，在端上智能一体化解决方案内，无问芯穹还将推出与之相适配的端侧推理软件与 LPU IP 等，通过 " 端模型 + 端软件 + 端 IP" 一体化设计，为端侧设备提供更完整、对硬件利用更高效的智能方案，促进大模型在端侧设备上实现更高推理速度与更低能耗。koa12jJid0DL9adK+CJ1DK2K393LKASDad
编辑:彭万里
TOP1热点：程潇吴宣仪避雷狮子男
石景山区还建立了三级专项联系机制，18位区领导点对点联系指导全区各中学，教育两委4名处级领导包片包点下沉18所中学进行指导，区教育、卫健、疾控部门向各中学派驻18名联络员。专班每日会商机制，研究解决学校开学工作中存在的问题。应急处置机制，明确区教育、卫健、疾控、交通等部门责任和应急处置程序。。
历史名园应合理利用历史文物开展陈展、文化宣传。宜借助地理信息系统、虚拟现实和多媒体等技术，展示公园历史景观风貌、区域原始自然风貌、历史变迁等内容，提升游园体验。
TOP2热点：卞相壹称柯洁被罚自己专注力被破坏
市场机构表示，由于5月合约即将到期，不再是交易最为活跃的合约，因此负油价并不能准确反映当前油价。这只能算是短暂的价格异常，对目前国内成品油定价来说也不会受到负油价的影响。
吴珺介绍，第三届进博会共设医疗器械及医药保健展区等六大展区，截至目前，医疗器械及医药保健展区签约展览面积达到规划面积的90%，已有180家企业签约，其中包括近60家医药领域世界500强和龙头企业。
TOP3热点：华流说唱舞台龙燃炸了男生把坤坤放女生定眼里
动物园面积宜大于20平方公顷，其中专类动物园面积宜大于5平方公顷。园内应有适合动物生活的环境，保障动物福利，动物生长状况良好。同时，应定期对动物园防疫和消毒。
TOP4热点：蛇是怎么成为十二生肖的中国XXXXXL196_MAY18_
市场机构表示，由于5月合约即将到期，不再是交易最为活跃的合约，因此负油价并不能准确反映当前油价。这只能算是短暂的价格异常，对目前国内成品油定价来说也不会受到负油价的影响。
2019年1月，彭开宏在单位提醒要求严格按照规定操办儿子婚宴后，仍宴请48名本单位干部职工和管理服务对象，并违规收受礼金共计16600元，造成不良社会影响。彭开宏受到党内警告处分，礼金予以退还。
TOP5热点：旅美大熊猫宝力青宝正式亮相ZOOM与人马性ZOOM的区别
未来，北京社区防控力度要持续深化。陈蓓介绍，将持续落实小区村封闭式管理，全天候值守，出入证实名制管理，抵京人员和访客要实名登记，查验健康码等措施。
TOP6热点：王俊凯周杰伦秀场同框1819岁MACBOOK日本
但是在疫情形势不减弱的背景下，全球隔离模式短期难以解除、世界各国经济活动仍然停摆，减产利好几乎未能对新冠病毒造成的需求骤降产生积极影响。
历史名园应合理利用历史文物开展陈展、文化宣传。宜借助地理信息系统、虚拟现实和多媒体等技术，展示公园历史景观风貌、区域原始自然风貌、历史变迁等内容，提升游园体验。
TOP7热点：蛟龙行动超前点映开启仙踪林国精产品视频
瑞穗期货主管Bob Yawger对美油期货市场点评称：“WTI原油期货跌至负值，这是历史性的一天。表明已没有空间储存原油，基本要随水冲走，原油一文不值。现在的状况是输油管道和库存都满载，但是很奇怪的一点是，国际能源署数据并没有显示当前库存原油达到最大储能。暴跌的原因还有做多5月合约的交易者急于平仓。”
TOP8热点：国色芳华被子国产DB624色谱柱88690
中非关系源远流长，自近代以来，出于反殖民、反种族主义的共同立场，双方密切合作，关系融洽。中国曾帮助许多非洲民族、国家实现了独立宏愿，非洲国家也在中国国际空间最艰难的阶段雪中送炭，并为中国重返联合国舞台提供了有力的帮助。
事实上，不仅“77国集团和中国”，最近，法国、德国、英国、加拿大、日本等国，以及联合国、欧盟等国际组织和机构也都分别表态，明确支持世卫组织在应对新冠疫情、加强全球公共卫生体系建设方面继续发挥重要作用。
TOP9热点：卞相壹称柯洁被罚自己专注力被破坏国精产品9AA
无独有偶，在4月13日，一则所谓“中国驻尼日利亚大使向尼方鞠躬道歉”的消息广为传播。但随后“谜底”揭晓，这只是个谣言。事实是4月10日，中国驻尼日利亚大使周平剑应约会见尼日利亚众议长巴贾比亚米拉时，观看对方提供的所谓“尼公民在中国广州遭不当对待”手机视频并即明确指出，视频里中方防疫人员行为正当，并无不妥。但这一幕却被摄入镜头并冠以“鞠躬道歉”标题到处发布、转发，引发了不小的风波。
TOP10热点：MOBA传奇冠军齐聚决胜巅峰之夜国精产品999永久中国有限
美国自恃世卫组织最大出资国，认为世卫组织应该听其指挥，这是典型的霸权心态。世卫组织坚持客观公正，对美方不予迎合，美方就停止捐资，这是典型的威胁和讹诈。