高通携手阶跃适配300亿参数端侧AI模型

AI 驱动中国 白鹭 303次阅读
分享 Q
AI摘要
由 AI 生成 · 仅供参考

高通在2026骁龙峰会上宣布与阶跃、无量火及江波龙合作,基于第六代骁龙8超级至尊版移动平台,完成阶跃StepEdge-Omni 30B-MoE模型的端侧适配与推理优化。该方案通过混合专家架构及存储优化,使模型运行内存需求降低超50%,预填充吞吐超330 Token/s,支持在智能手机上稳定运行并无需调用云端服务。

驱动中国9月23日消息,在夏威夷时间9月22日9点(北京时间9月23日3点)召开的2026骁龙峰会上,高通宣布与阶跃、无量火及江波龙达成合作,基于第六代骁龙8超级至尊版移动平台,完成了阶跃StepEdge-Omni 30B-MoE模型的端侧适配与推理优化,并在现场演示了相关智能体助手。

该模型拥有300亿参数规模,采用混合专家架构。其核心机制在于仅根据具体任务需求激活部分专家模块,从而有效降低计算量与内存带宽需求。

通过推理引擎、异构调度及存储方案的联合优化,合作方成功使模型运行时的内存需求较行业常规方案降低超过50%,并支持该模型在智能手机上稳定运行。

高通方面表示,该技术方案无需调用云端服务,即可在本地完成邮件理解、行程规划、日历同步、航班及酒店推荐、行程分享和邮件草拟等多项任务。

测试数据显示,该模型的预填充吞吐性能超过每秒330个Token,解码吞吐性能超过每秒28个Token。

业内人士分析认为,大参数MoE模型在手机端的部署,有助于推动低时延和隐私保护型智能体应用的发展。不过,其实际规模化应用仍取决于终端成本、功耗、模型可靠性及用户接受度等多重因素。

版权声明:本文由驱动中国整理发布,转载需注明出处与原文链接。如有疑问请联系 editor@qudong.com
本文价值 成为第一个评分的人
登录后为本文打分
网友评论0 条评论
正在回复 的评论取消
评论加载中…
🔐

登录后参与互动

评论、点赞均可赚积分
连续签到、邀请好友也有奖励 🎁

电脑端: 微信扫码登录 微信内: 一键登录
我要投稿有独家观点或行业线索?向驱动中国投稿,审核采用后署名发布并获积分奖励。 去投稿 ›

微信扫一扫

打开微信「扫一扫」,分享本文到朋友圈或好友