腾讯混元团队回应参数路线:计划训练更大模型
腾讯首席AI科学家、混元大模型负责人姚顺雨与团队成员在Reddit进行120分钟AMA,回应参数量与模型能力问题,称Hy3和Hy4表明扎实小模型可超过更大模型,同时表示Hy4仍有改进空间,计划训练更大规模模型。
驱动中国11月21日消息,腾讯首席AI科学家、混元大模型负责人姚顺雨与团队成员在Reddit进行一场持续120分钟的AMA,围绕混元模型参数规模与后续规划作出回应。团队称,Hy3和Hy4显示扎实的小模型也能超过更大模型,但Hy4仍有很大改进空间,腾讯计划训练更大规模模型。
在问答环节,有开发者提出,字节跳动、Kimi等似乎正在向3万亿、甚至5万亿参数的超大模型推进,而混元仍处于7000亿参数规模,询问团队如何看待参数量对模型能力的实际影响,以及相关计划。
混元团队回应称,Hy3和Hy4已经表明,做得扎实的小模型也能超过更大的模型;小模型成本更低,且在这一过程中团队能学到更多、收获更多。
团队同时表示,Hy4仍有很大的改进空间,尤其是后训练环节。当前正投入大量精力进行大规模强化学习,同时继续改善用户体验和模型安全,并计划训练更大规模的模型。
针对是否可能推出240亿到310亿参数的稠密模型,该团队回应称有可能,正在考虑。对于是否会发布对标Qwen 27B稠密模型的小模型,以及是否会发布100B以下、专门做编程的模型,团队表示前者有可能,后者大概不会。
姚顺雨本科毕业于清华大学姚班,获普林斯顿大学计算机科学博士学位。2024年,他加入OpenAI,参与智能体产品operator与deep research开发。其研究聚焦语言智能体与现实世界交互,提出ReAct方法,首创“推理—行动”结合的智能体范式,被学术界与工业界广泛采纳。
2025年12月,腾讯升级大模型研发架构,新成立AI Infra部、AI Data部、数据计算平台部,全面强化大模型研发体系与核心能力。姚顺雨出任“CEO / 总裁办公室”首席AI科学家,向腾讯总裁刘炽平汇报;同时兼任AI Infra部、大语言模型部负责人,向技术工程事业群总裁卢山汇报。
今年7月,腾讯宣布混元多模态模型部门与大语言模型部门合并,成立基础模型部,统一由姚顺雨管理,以进一步提升模型研发和协同效率,探索全模态模型的智能上限。