腾讯混元团队回应参数路线:计划训练更大模型

AI 驱动中国 时雨 607次阅读
分享 微 Q 信
AI摘要
由 AI 生成 · 仅供参考

腾讯首席AI科学家、混元大模型负责人姚顺雨与团队成员在Reddit进行120分钟AMA,回应参数量与模型能力问题,称Hy3和Hy4表明扎实小模型可超过更大模型,同时表示Hy4仍有改进空间,计划训练更大规模模型。

驱动中国11月21日消息,腾讯首席AI科学家、混元大模型负责人姚顺雨与团队成员在Reddit进行一场持续120分钟的AMA,围绕混元模型参数规模与后续规划作出回应。团队称,Hy3和Hy4显示扎实的小模型也能超过更大模型,但Hy4仍有很大改进空间,腾讯计划训练更大规模模型。

在问答环节,有开发者提出,字节跳动、Kimi等似乎正在向3万亿、甚至5万亿参数的超大模型推进,而混元仍处于7000亿参数规模,询问团队如何看待参数量对模型能力的实际影响,以及相关计划。

混元团队回应称,Hy3和Hy4已经表明,做得扎实的小模型也能超过更大的模型;小模型成本更低,且在这一过程中团队能学到更多、收获更多。

团队同时表示,Hy4仍有很大的改进空间,尤其是后训练环节。当前正投入大量精力进行大规模强化学习,同时继续改善用户体验和模型安全,并计划训练更大规模的模型。

针对是否可能推出240亿到310亿参数的稠密模型,该团队回应称有可能,正在考虑。对于是否会发布对标Qwen 27B稠密模型的小模型,以及是否会发布100B以下、专门做编程的模型,团队表示前者有可能,后者大概不会。

姚顺雨本科毕业于清华大学姚班,获普林斯顿大学计算机科学博士学位。2024年,他加入OpenAI,参与智能体产品operator与deep research开发。其研究聚焦语言智能体与现实世界交互,提出ReAct方法,首创“推理—行动”结合的智能体范式,被学术界与工业界广泛采纳。

2025年12月,腾讯升级大模型研发架构,新成立AI Infra部、AI Data部、数据计算平台部,全面强化大模型研发体系与核心能力。姚顺雨出任“CEO / 总裁办公室”首席AI科学家,向腾讯总裁刘炽平汇报;同时兼任AI Infra部、大语言模型部负责人,向技术工程事业群总裁卢山汇报。

今年7月,腾讯宣布混元多模态模型部门与大语言模型部门合并,成立基础模型部,统一由姚顺雨管理,以进一步提升模型研发和协同效率,探索全模态模型的智能上限。

版权声明:本文由驱动中国整理发布,转载需注明出处与原文链接。如有疑问请联系 editor@qudong.com。
来源:驱动中国 · 原文链接:https://www.qudong.com/article/530353.html
本文价值 ★★★★★ 4 1 人已评
登录后为本文打分
网友评论0 条评论
正在回复 的评论取消
评论加载中…
🔐

登录后参与互动

评论、点赞均可赚积分
连续签到、邀请好友也有奖励 🎁

电脑端: 微信扫码登录 微信内: 一键登录

微信扫一扫

打开微信「扫一扫」,分享本文到朋友圈或好友