男人简谱腾讯混元开源两大新模型：3890 亿参数最大 MoE，3D 大模型生成资产仅需 10 秒_ZAKE男人简谱R新闻

腾讯混元开源两大新模型：3890 亿参数最大 MoE，3D 大模型生成资产仅需 10 秒_ZAKE男人简谱R新闻

2014年春天，该树回到汉旺镇青龙区，并于3月26日社进行了移栽。为方便管护，将古树移栽到汉旺镇青龙村一组的农房集中点。同年8月，经四川省楠山司法鉴定中心专家鉴定，该古树树龄为921年（正负27年），价值近百万元。据悉，树木存活100年以上就算古树，可进行挂牌保护；若是存活上500年，就属于一级保护对象。这棵紫薇树树龄已超过900年，南宋时就“出生”了，系绵竹市人民政府挂牌保护的一级古树名木。

关于大模型开源还是闭源，业界争议已久。有认为同样参数规模下，开源模型能力不如闭源的，坚定看好闭源路线的，也有认为只有开源才能在推动了技术的发展，促进产业整体繁荣的。腾讯则又一次选择了开源。在 5 月开源混元文生图大模型后，11 月 5 日，腾讯又开源了两款大模型，分别是最新的 MoE 模型 " 混元 Large" 以及混元 3D 生成大模型 " Hunyuan3D-1.0"，支持企业及开发者精调、部署等不同场景的使用需求，可在 HuggingFace、Github 等技术社区直接下载，免费可商用。腾讯机器学习技术总监，混元算法负责人康战辉认为，不同的业务需求决定了是否采用开源或闭源策略。对于一些超级复杂的业务，闭源模型更能提供高效的解决方案，因为它能在成本和用户能力的提升上做到更优。相比之下，开源模型则面向不同类型的开发者，尤其是中小企业和个人开发者，降低了他们的技术门槛，并且能够通过广泛的社区合作来推动技术的不断发展。他强调，腾讯的战略是基于长期主义，不急功近利。尽管大模型的开源在市场上如火如荼，但腾讯并不认为开源有 " 早晚之分 "。此次开源也是在经过一年多的探索，在闭源模式下，将产品和技术积累到一定程度后，才选择了开源。他们的目标是深耕 AI 时代的基础设施建设，将大模型打磨成熟后开放给开发者，并通过不断完善与优化来增强社区的信任和认可。 开源 Hunyuan-Large：最大参数的 MoE 架构模型腾讯 Hunyuan-Large（混元 Large）模型总参数量 389B，激活参数量 52B ，上下文长度高达 256K，公开测评结果显示，在 CMMLU、MMLU、CEval、MATH 等多学科综合评测集以及中英文 NLP 任务、代码和数学等 9 大维度上，腾讯混元 Large 全面领先，超过 Llama3.1、Mixtral 等一流的开源大模型。此外，混元 Large 模型，与腾讯混元 Pro、混元 Turbo 等不同尺寸的模型共享基础架构，源自腾讯同一技术体系。混元 Large 在各类测试集上得分领先现有主流开源模型｜图片来源：腾讯混元 Large 在模型结构和训练策略上进行了全面的技术突破。首先，在结构创新上，混元 Large 深入探索了 MoE（混合专家）Scaling Law，推出了共享专家路由和回收路由等优化策略，并采用专家特化的学习率调整策略，显著提升了不同专家的利用效率和模型的稳定性，从而带来了效果上的提升。MoE 模型的优势在于它通过专家路由机制，只激活部分专家进行计算，因此能够以较低的计算成本处理更大规模的任务。与 Dense 模型相比，MoE 在训练和推理时的计算效率更高，同时可以通过增加专家数量，扩展模型的容量和智能水平。虽然 MoE 有很多优势，但它在业界应用不多，主要是因为实现起来很难。MoE 也有一些挑战，比如 MoE 的训练稳定性较差，涉及多个专家时容易出现负载不均衡，训练起来非常复杂。其次，由于专家之间的负载差异，某些专家可能训练不足，导致模型收敛困难，最终影响预测准确性。在模型后期训练（Post-Train）中，混元 Large 也做了大量优化。它通过分类提升了数学、逻辑推理、代码等方面的能力，应对了 SFT（监督微调）领域多样、数学和代码高质量数据难获取等挑战，并在一阶段离线 DPO（离线偏好优化）基础上，增设了二阶段的在线强化策略，进一步优化了模型的表现。数据方面，腾讯混元 Large 建立了涵盖数十个类目、具备高质量和多样性的中英文数据集，使模型在多方面的效果有明显提升，尤其在数学和代码处理方面，性能提高超过 10%。为应对长文阅读理解和多文档总结等领域的测评难题，腾讯还基于公开数据开发了企鹅卷轴（PenguinScrolls）数据集，计划对外开放，以支持长文方向的技术研究。这些长文处理能力已应用到腾讯 AI 助手腾讯元宝中，支持最多 256K 长度的上下文处理，相当于整本《三国演义》的文字量。用户可以一次上传 10 个文档，或解析多个微信公众号链接与网址，让元宝具备深度解析的独特能力。在工程平台方面，腾讯自研的 Angel 机器学习平台为混元 Large 提供了强大的训练和推理支持。针对 MoE 模型的通信效率问题，AngelPTM 框架进行了多项优化，使训练速度达到了主流框架 DeepSpeed 的 2.6 倍。推理方面，腾讯还推出了 AngelHCF-vLLM 框架，在保证精度的前提下节省了 50% 以上的显存，相较于 BF16 主流框架提升了 1 倍以上的吞吐量。目前，混元 Large 模型已上架腾讯云的 TI 平台。TI 平台不仅配备了大模型精调工具链，支持灵活的数据标注，还提供 Angel 加速能力，让用户可以便捷地启动混元 Large 的精调，帮助企业快速训练出符合业务需求的专属大模型，显著提升研发效率。同时，腾讯还开放了混元大模型 PaaS 平台，支持十余种 API 服务，涵盖了文字生成、图像生成、角色扮演、FunctionCall、代码等多种需求，满足不同场景下的模型应用。经过在腾讯内部广泛应用和验证，混元大模型的能力已嵌入到包括腾讯元宝、微信公众号、小程序、微信读书、腾讯广告、腾讯游戏、腾讯会议等近 700 个内部业务和场景中。 混元 3D-1.0 模型：3D 生成开源先锋腾讯这次开源的混元 3D 生成大模型则是业界首个同时支持文字、图像生成 3D 的开源大模型，可以帮助 3D 创作者和艺术家实现 3D 资产的自动化生成。此前，Stability AI 先后与 VAST 合作开源了快速 3D 物体重建模型 TripoSR、与 Tripo AI 联合开源了 Stable Fast 3D 模型，但整体而言，业界 3D 生成大模型的开源依旧较为稀缺，这主要是因为 3D 生成技术在计算资源、技术门槛和数据获取方面的要求远高于 2D 模型。混元 3D-1.0 模型生成的 3D 资产｜图片来源：腾讯3D 生成大模型的开发对计算资源要求高，且技术和成本门槛远超 2D 模型；同时，3D 数据获取难度大、数据稀缺，进一步限制了开源的可行性。此外，由于 3D 生成模型应用市场较窄，企业倾向于保留技术优势，腾讯此次开源 Hunyuan3D，成为了推动行业进步的一个重要突破。此次首批开源模型包含轻量版和标准版，轻量版仅需 10s 即可生成高质量 3D 资产，现已在技术社区公开，包含模型权重、推理代码、模型算法等完整模型，可供开发者、研究者等各类用户免费使用。此外，Hunyuan3D-1.0 也已登陆腾讯云 HAI 平台，利用其高性价比的 GPU 算力和一键部署功能，降低了模型的使用和部署门槛。通过 HAI 的可视化 WebUI 界面，用户能够更轻松地使用该模型，为 3D 资产创作提供了更多可能。Hunyuan3D-1.0 解决了现有 3D 生成模型在生成速度和泛化能力上的不足，能够帮助 3D 创作者和艺术家自动化生产 3D 资产。该模型不仅具备强大的泛化能力和可控性，还能重建各种尺度的物体，从建筑到小型工具或花草都能轻松处理。根据定性和定量的多维度评估，Hunyuan3D-1.0 的生成质量已达到开源模型中的领先水平。在两个公开的 3D 数据集—— GSO 和 OmniObject3D 上，Hunyuan3D-1.0 的表现优于主流开源模型，整体能力属于国际领先水平。从细节层面看，该模型在几何、纹理、纹理 - 几何一致性、3D 合理性和指令遵循等方面的表现都非常出色。在应用方面，3D 生成技术已经开始在腾讯的多个业务中落地。例如，腾讯地图基于混元 3D 大模型发布了自定义 3D 导航车标功能，用户可以创作个性化的 3D 车标，相比传统方案，生成速度提高了 91%。此外，腾讯元宝 APP 也上线了 "3D 角色梦工厂 " 功能，支持个性化的 UGC 3D 人物生成。之所以在这个时间点选择开源 3D 生成大模型，腾讯混元 3D 模型负责人郭春超谈到，一方面是因为腾讯业务非常丰富，从公司自身业务出发做 3D 生成是极其有必要的，毕竟动漫、游戏、影视这种偏娱乐类的项目都离不开 3D 资产，另一方面则是因为 3D 生成还处于前半程发展阶段，它要进一步发展，需要社区一起努力，需要有更好的模型、更强的生成能力释放出来，所以这次开源也是为了推动这一领域的进一步发展。随着腾讯在自研大模型技术上的不断进步和应用经验的积累，开源已成为混元大模型的战略之一。可以看出，腾讯开源战略的核心是从公司自身的业务需求出发，逐步开放具有核心竞争力的模型。开源的大模型首先要考虑的是腾讯的内部技术积累和业务需求，确保技术的可用性和商业价值。在确保核心模型得到充分应用后，会再逐步推出一些更为小型的模型，以适应多样化的市场需求，并为更广泛的开发者提供支持。另外，此次大模型开源的是参数权重，并不涉及到数据和代码，但是接下来混元会往前走一步，会把训练的代码开源出来，同时会把评估期开源出来， 康战辉称，「希望向业界展示更多的诚意」。

koa12jJid0DL9adK+CJ1DK2K393LKASDad

编辑:高大山

TOP1热点：王楚钦夺冠后即时积分反超林诗栋

2011年，央行行长易纲曾撰写《“十一五”时期人民银行的对外交往与合作》一文。。

24日凌晨2时许，上游新闻记者在现场看到，当地下着大雨，警方仍在现场维持秩序。校内救援仍在继续，现场不断有消防救援人员进出。道路两旁停满了车辆，渣土车、推土车在现场待命。学校门前，聚集着多名家属及市民，都在等待救援消息。

TOP2热点：阚清子黄晓明爆瘦果蔬汁

有媒体指出，排雷工作不仅进度缓慢且成本高昂。有专家估计，在当前情况下，若派出500个排雷小组，也需要耗时757年才能完成乌克兰全境的排雷工作。此外，美国已承诺就乌克兰的排雷问题投入超过9500万美元。不过根据世界银行预测数据显示，乌克兰的排雷成本为每平方米2至8美元。未来十年，用于该国排雷行动上的花销可能高达374亿美元。

但是阿兵一直在她面前劝她离婚，

TOP3热点：莫文蔚被袁娅维腾空抱起y系列车

在19世纪，敖德萨的发展非常迅速，尤其是在1866年铁路开通之后。敖德萨当时是俄国第二大重要港口，仅次于圣彼得堡，粮食是它的主要出口产品。敖德萨也是当时俄国第四大城市，仅次于莫斯科、圣彼得堡和华沙。

为了让章军同意帮助自己，

TOP4热点：郑恺跑男断掉全勤是因为陪产美国海盗电影有哪些

他不得不把自己的遭遇告诉女朋友。

上世纪20年代，宝安县（现深圳市）平湖地区的一名客家中年男子李崇新为了生计，将妻子和儿子李玉楼留在国内，带着弟弟汤姆（中文姓名不详）去海外淘金，登上了前往牙买加的轮船。

TOP5热点：当地回应省考多名考生因事故被堵高速葵花宝典十八岁立刻离开萱草花

公开信息显示，坍塌体育馆建成于1997年，投资230万元，建筑面积约1200平方米，墙体为网架结构，顶棚为混凝土板。馆内拥有300多个座位的观众席，1间健身房、1间淋浴室、1个洗手间、2间办公室，还拥有篮球场、排球场、羽毛球场、乒乓球场地。

日媒指出，日本对华半导体制造设备出口额几乎是美国对华出口额的两倍。

TOP6热点：郑恺跑男断掉全勤是因为陪产姐姐直播3.6.1

小王告诉记者，在公寓的入户门处有对于高空抛物的提示，但并不明显，来往的人很难注意到。小王表示，医院和派出所离事发地的距离很近，因此他们很快就到达现场进行处理。但娄女士说，在送往医院的路上，她妹妹就没有了生命体征。

去年8月底，中介带着奉江转给他的30万元前往缅甸实施营救。9月初，奉江得知，哥哥已经出了“电诈园区”。一家人终于看到了希望。

TOP7热点：花海诠释何为队长电影聊斋3在线观看

2011年，央行行长易纲曾撰写《“十一五”时期人民银行的对外交往与合作》一文。

杨姐说自己租客退房的时候留下了许多垃圾，她打算把这些垃圾带到大桥上去处理一下。

TOP8热点：阚清子黄晓明爆瘦果蔬汁欢迎来到精灵森林ova第一集

2022年7月26日，王卫东到云南省肿瘤医院复查，经CT/磁共振、心肺功能检查、血液化验等检查，再被诊断为“直肠恶性肿瘤”。

西安市教育局表示，将认真听取家长关于教育工作的意见和建议，严格执行上级教育部门考试招生政策，更好地体现教育的公平公正。衷心感谢广大市民朋友对西安教育工作的关注和理解。

TOP9热点：IU演技2023钙Ggy为啥没有了

他不得不把自己的遭遇告诉女朋友。

参加“护身军刀2023”演习实弹射击课目的美军“海马斯”火箭炮

TOP10热点：tbz直播剃头船开得猛的双男主剧

她没想过要杀死老郭，毕竟老郭还是很爱她的，他们同居了6年了。

之后，她又给王超打电话，王超竟然不接，她只能冒充自己是表姐了。