八重神子被旅行者爆炒腾讯混元开源两大新模型八重神子被旅行者爆炒：3890 亿参数最大 MoE，3D 大模型生成资产仅需 10 秒_ZAKER新闻
腾讯混元开源两大新模型八重神子被旅行者爆炒：3890 亿参数最大 MoE，3D 大模型生成资产仅需 10 秒_ZAKER新闻
按照安排，中部六省省长一同接受访谈，围绕落实中部地区崛起战略谈举措、作交流，并分别推介各省特色产业链，进一步加深境内外企业对中部地区的认识和了解。
关于大模型开源还是闭源，业界争议已久。有认为同样参数规模下，开源模型能力不如闭源的，坚定看好闭源路线的，也有认为只有开源才能在推动了技术的发展，促进产业整体繁荣的。腾讯则又一次选择了开源。在 5 月开源混元文生图大模型后，11 月 5 日，腾讯又开源了两款大模型，分别是最新的 MoE 模型 " 混元 Large" 以及混元 3D 生成大模型 " Hunyuan3D-1.0"，支持企业及开发者精调、部署等不同场景的使用需求，可在 HuggingFace、Github 等技术社区直接下载，免费可商用。腾讯机器学习技术总监，混元算法负责人康战辉认为，不同的业务需求决定了是否采用开源或闭源策略。对于一些超级复杂的业务，闭源模型更能提供高效的解决方案，因为它能在成本和用户能力的提升上做到更优。相比之下，开源模型则面向不同类型的开发者，尤其是中小企业和个人开发者，降低了他们的技术门槛，并且能够通过广泛的社区合作来推动技术的不断发展。他强调，腾讯的战略是基于长期主义，不急功近利。尽管大模型的开源在市场上如火如荼，但腾讯并不认为开源有 " 早晚之分 "。此次开源也是在经过一年多的探索，在闭源模式下，将产品和技术积累到一定程度后，才选择了开源。他们的目标是深耕 AI 时代的基础设施建设，将大模型打磨成熟后开放给开发者，并通过不断完善与优化来增强社区的信任和认可。 开源 Hunyuan-Large：最大参数的 MoE 架构模型腾讯 Hunyuan-Large（混元 Large）模型总参数量 389B，激活参数量 52B ，上下文长度高达 256K，公开测评结果显示，在 CMMLU、MMLU、CEval、MATH 等多学科综合评测集以及中英文 NLP 任务、代码和数学等 9 大维度上，腾讯混元 Large 全面领先，超过 Llama3.1、Mixtral 等一流的开源大模型。此外，混元 Large 模型，与腾讯混元 Pro、混元 Turbo 等不同尺寸的模型共享基础架构，源自腾讯同一技术体系。混元 Large 在各类测试集上得分领先现有主流开源模型｜图片来源：腾讯混元 Large 在模型结构和训练策略上进行了全面的技术突破。首先，在结构创新上，混元 Large 深入探索了 MoE（混合专家）Scaling Law，推出了共享专家路由和回收路由等优化策略，并采用专家特化的学习率调整策略，显著提升了不同专家的利用效率和模型的稳定性，从而带来了效果上的提升。MoE 模型的优势在于它通过专家路由机制，只激活部分专家进行计算，因此能够以较低的计算成本处理更大规模的任务。与 Dense 模型相比，MoE 在训练和推理时的计算效率更高，同时可以通过增加专家数量，扩展模型的容量和智能水平。虽然 MoE 有很多优势，但它在业界应用不多，主要是因为实现起来很难。MoE 也有一些挑战，比如 MoE 的训练稳定性较差，涉及多个专家时容易出现负载不均衡，训练起来非常复杂。其次，由于专家之间的负载差异，某些专家可能训练不足，导致模型收敛困难，最终影响预测准确性。在模型后期训练（Post-Train）中，混元 Large 也做了大量优化。它通过分类提升了数学、逻辑推理、代码等方面的能力，应对了 SFT（监督微调）领域多样、数学和代码高质量数据难获取等挑战，并在一阶段离线 DPO（离线偏好优化）基础上，增设了二阶段的在线强化策略，进一步优化了模型的表现。数据方面，腾讯混元 Large 建立了涵盖数十个类目、具备高质量和多样性的中英文数据集，使模型在多方面的效果有明显提升，尤其在数学和代码处理方面，性能提高超过 10%。为应对长文阅读理解和多文档总结等领域的测评难题，腾讯还基于公开数据开发了企鹅卷轴（PenguinScrolls）数据集，计划对外开放，以支持长文方向的技术研究。这些长文处理能力已应用到腾讯 AI 助手腾讯元宝中，支持最多 256K 长度的上下文处理，相当于整本《三国演义》的文字量。用户可以一次上传 10 个文档，或解析多个微信公众号链接与网址，让元宝具备深度解析的独特能力。在工程平台方面，腾讯自研的 Angel 机器学习平台为混元 Large 提供了强大的训练和推理支持。针对 MoE 模型的通信效率问题，AngelPTM 框架进行了多项优化，使训练速度达到了主流框架 DeepSpeed 的 2.6 倍。推理方面，腾讯还推出了 AngelHCF-vLLM 框架，在保证精度的前提下节省了 50% 以上的显存，相较于 BF16 主流框架提升了 1 倍以上的吞吐量。目前，混元 Large 模型已上架腾讯云的 TI 平台。TI 平台不仅配备了大模型精调工具链，支持灵活的数据标注，还提供 Angel 加速能力，让用户可以便捷地启动混元 Large 的精调，帮助企业快速训练出符合业务需求的专属大模型，显著提升研发效率。同时，腾讯还开放了混元大模型 PaaS 平台，支持十余种 API 服务，涵盖了文字生成、图像生成、角色扮演、FunctionCall、代码等多种需求，满足不同场景下的模型应用。经过在腾讯内部广泛应用和验证，混元大模型的能力已嵌入到包括腾讯元宝、微信公众号、小程序、微信读书、腾讯广告、腾讯游戏、腾讯会议等近 700 个内部业务和场景中。 混元 3D-1.0 模型：3D 生成开源先锋腾讯这次开源的混元 3D 生成大模型则是业界首个同时支持文字、图像生成 3D 的开源大模型，可以帮助 3D 创作者和艺术家实现 3D 资产的自动化生成。此前，Stability AI 先后与 VAST 合作开源了快速 3D 物体重建模型 TripoSR、与 Tripo AI 联合开源了 Stable Fast 3D 模型，但整体而言，业界 3D 生成大模型的开源依旧较为稀缺，这主要是因为 3D 生成技术在计算资源、技术门槛和数据获取方面的要求远高于 2D 模型。混元 3D-1.0 模型生成的 3D 资产｜图片来源：腾讯3D 生成大模型的开发对计算资源要求高，且技术和成本门槛远超 2D 模型；同时，3D 数据获取难度大、数据稀缺，进一步限制了开源的可行性。此外，由于 3D 生成模型应用市场较窄，企业倾向于保留技术优势，腾讯此次开源 Hunyuan3D，成为了推动行业进步的一个重要突破。此次首批开源模型包含轻量版和标准版，轻量版仅需 10s 即可生成高质量 3D 资产，现已在技术社区公开，包含模型权重、推理代码、模型算法等完整模型，可供开发者、研究者等各类用户免费使用。此外，Hunyuan3D-1.0 也已登陆腾讯云 HAI 平台，利用其高性价比的 GPU 算力和一键部署功能，降低了模型的使用和部署门槛。通过 HAI 的可视化 WebUI 界面，用户能够更轻松地使用该模型，为 3D 资产创作提供了更多可能。Hunyuan3D-1.0 解决了现有 3D 生成模型在生成速度和泛化能力上的不足，能够帮助 3D 创作者和艺术家自动化生产 3D 资产。该模型不仅具备强大的泛化能力和可控性，还能重建各种尺度的物体，从建筑到小型工具或花草都能轻松处理。根据定性和定量的多维度评估，Hunyuan3D-1.0 的生成质量已达到开源模型中的领先水平。在两个公开的 3D 数据集—— GSO 和 OmniObject3D 上，Hunyuan3D-1.0 的表现优于主流开源模型，整体能力属于国际领先水平。从细节层面看，该模型在几何、纹理、纹理 - 几何一致性、3D 合理性和指令遵循等方面的表现都非常出色。在应用方面，3D 生成技术已经开始在腾讯的多个业务中落地。例如，腾讯地图基于混元 3D 大模型发布了自定义 3D 导航车标功能，用户可以创作个性化的 3D 车标，相比传统方案，生成速度提高了 91%。此外，腾讯元宝 APP 也上线了 "3D 角色梦工厂 " 功能，支持个性化的 UGC 3D 人物生成。之所以在这个时间点选择开源 3D 生成大模型，腾讯混元 3D 模型负责人郭春超谈到，一方面是因为腾讯业务非常丰富，从公司自身业务出发做 3D 生成是极其有必要的，毕竟动漫、游戏、影视这种偏娱乐类的项目都离不开 3D 资产，另一方面则是因为 3D 生成还处于前半程发展阶段，它要进一步发展，需要社区一起努力，需要有更好的模型、更强的生成能力释放出来，所以这次开源也是为了推动这一领域的进一步发展。随着腾讯在自研大模型技术上的不断进步和应用经验的积累，开源已成为混元大模型的战略之一。可以看出，腾讯开源战略的核心是从公司自身的业务需求出发，逐步开放具有核心竞争力的模型。开源的大模型首先要考虑的是腾讯的内部技术积累和业务需求，确保技术的可用性和商业价值。在确保核心模型得到充分应用后，会再逐步推出一些更为小型的模型，以适应多样化的市场需求，并为更广泛的开发者提供支持。另外，此次大模型开源的是参数权重，并不涉及到数据和代码，但是接下来混元会往前走一步，会把训练的代码开源出来，同时会把评估期开源出来， 康战辉称，「希望向业界展示更多的诚意」。koa12jJid0DL9adK+CJ1DK2K393LKASDad
编辑:节振国
TOP1热点：征服者威廉作为一个领地远小于英格兰的公爵是如何组织起一支能征服英格兰的军队的？
今年5月1日施行的《基础设施和公用事业特许经营管理办法》为当前的规定带来了转圜余地。与此前特许经营权期限“最长不得超过30年”的规定相比，新规延长了对基础设施和公用事业特许经营权的时间限制，给出了“最长期限不得超过40年”的方案。。
TOP2热点：如果地球上出现一条由铀 -235 组成的山脉，会有哪些现象？
叶建春强调，南昌市生活污水直排、管网建设滞后等问题，是中央生态环境保护督察反馈、长江经济带生态环境警示片披露的“老大难”问题。按时完成南昌市雨污分流改造工作是一道难题，也是必须完成的硬任务。在这个问题上，没有讨论余地，必须改造到位。
记者在浦东新区“永泰三里城”售楼处样板房里看到，有位大叔正拿着卷尺在人来人往的样板房里丈量着房间尺寸。他表示，自己是温州人，孩子已经在上海工作了十几年，这次和孩子一起来看房，准备买套房子定居。
TOP3热点：为什么西方用 Lunar New Year 取代 Chinese New Year?xaxwas1777777777
深高速（600548.SH）的内部人士对经济观察报表示，该文件只是一个框架性的文件，并没有明确指定某个行业。“对于高速公路收费方面，新的文件并没有出来，我们还是按照现行的标准执行。”
证监会最近发布对恒大造假的处罚之后，同时也表示，“正在推进对相关中介机构的调查”。除了普华永道之外，恒大的中介机构还包括中信建投、中诚信国际、以及金杜律师事务所等等。
TOP4热点：如何评价番剧《BanG Dream: Ave mujica》第六集？鞠婧祎免费造梦在线观看
1—4月份，工业品物流总额较上年增长5.8%，比一季度提高0.2个百分点。4月份工业品物流总额同比增长6.3%，增速比3月份加快1.8个百分点。
TOP5热点：作为心理咨询师，我最大的希望是帮助更多的人走出痛苦，所以有时说话可能让人难理解，我这样是对的吗？日本人文艺术欣赏ppt图片下载
埃及总统塞西说，埃方对中国在巴勒斯坦问题上的立场予以高度评价。中方一直坚定支持立即在加沙实现停火，支持巴勒斯坦人民独立建国的权利。
TOP6热点：为什么读博很痛苦却有那么多人选择读博？唐三爆比比东不亦乐乎MBA
由于房地产开发周期很长，市场具有很大的不确定性，提前将预售收入确认为实际收入，风险在于，将来有很多收入可能无法真正实现。比如恒大，当年很多提前确认的收入，随着现在大量烂尾楼的出现，最终根本无法兑现。
TOP7热点：无数人都有一个共同祖先。有没有可能大多数人其实有显性遗传病？XXXG-01SRGundam
今天0-3输给意大利女排之后，中国女排被扣掉9.3分，最新积分为327.57分，被日本反超2.05分，目前排在第7位。（tyx）
TOP8热点：薛家和林黛玉既无亲戚关系也无利益关系，为什么林黛玉认为宫花应该先送她?解锁狂野
国务院台办发言人陈斌华5月31日表示，国务院关税税则委员会发布公告，决定自2024年6月15日起，对原产于台湾地区的134个税目进口产品，中止适用《海峡两岸经济合作框架协议》（ECFA）协定税率。长期以来，台当局单方面对2500多项大陆产品出口采取歧视性贸易限制，违反了ECFA关于“逐步减少或取消双方之间实质多数货物贸易的关税和非关税壁垒”的规定，损害了两岸企业利益和两岸同胞福祉。2023年12月21日大陆宣布中止ECFA项下丙烯等12个税目产品关税减让后，民进党当局不仅未采取任何措施取消对大陆的贸易限制，还不断变本加厉，阻挠破坏两岸经济正常交流合作。鉴此，我们支持相关主管部门采取进一步中止ECFA部分产品关税减让的措施。
TOP9热点：广州一男子安装流动摄像头，一年举报交通违法 1945 例，被指责「多管闲事」，如何看待这种行为？央视怒批男孩子坤坤立了
北京时间2024年5月29日16时12分，我国太原卫星发射中心在山东附近海域成功发射谷神星一号海射型遥二运载火箭，搭载发射的天启星座25星~28星顺利进入预定轨道，飞行试验任务获得圆满成功。
TOP10热点：Faker 在 S15 就要 29 岁了，大家觉得 LPL 可以在今年击败 Faker 吗？老镖客城中村扫街83939
中国航天科技集团黄昊：在15分钟之内，需要将探测器由相对月球1.6公里每秒这样一个速度，迅速降到0（公里每秒）的状态，就需要消耗大量的推进剂，基本上探测器的重量的一半，都要消耗在整个动力下降过程当中。
大会发言，当然是公开、当众亮明中国的态度。在既往的香会上，中国代表团曾多次通过演讲、发言，让世界听到中国的声音。这一点来说，香会确实提供了一个不错的舞台。