阿里Qwen4-Max上线 2.4万亿参数成本降超六成

AI 驱动中国 韩序 941次阅读
分享 微 Q 信
AI摘要
由 AI 生成 · 仅供参考

阿里通义千问团队11月16日宣布Qwen4-Max正式上线,模型采用2.4万亿参数稀疏MoE架构,原生支持视觉理解并提供100万Token上下文,官方称复杂任务处理与成本效率较前代改善。

驱动中国11月16日消息,阿里通义千问团队宣布推出新一代旗舰模型Qwen4-Max。该模型采用全新MoE混合专家架构,主干参数规模达到2.4万亿,原生支持视觉理解,并提供100万Token上下文窗口。此次发布标志着Qwen4-Max以正式版本接入千问AI平台,开发者可通过Token Plan或API调用。

与此前11月11日先行开放的预览版不同,Qwen4-Max正式版本面向开发者开放调用。该模型采用稀疏MoE架构,并围绕Attention、Residual和Embedding三个层面进行系统性调整。每四层中,三层使用Gated DeltaNet将历史信息压缩为固定状态,剩余一层使用Qwen Sparse Attention按block粒度选择相关上下文,以降低长序列注意力计算开销。

在残差连接方面,Gated Residual将残差流扩展为四条并行分支,用于增强跨层信息传递。在Embedding层面,N-gram Embedding在第二层以查表方式提供局部token模式表示,以较低额外算力扩展模型容量。官方称,新模型在提升复杂工作任务处理能力的同时,可减少Token消耗并降低任务成本。

Qwen官方博客介绍,Qwen4-Max面向办公生产力、创意创作、软件开发和科学研究等场景,重点提升专业工具使用能力、长周期任务执行能力以及最终交付质量。模型可处理3D建模、游戏开发、工业制造、金融、法律、医疗和前沿科学研究等任务。

在基准测试方面,Qwen4-Max在Work360行业基准取得52.69分,前代Qwen3.8-Max为47.74分。官方称,在同等性能条件下,Xhigh和High两档推理强度的Token消耗分别比前代减少约24%和35%;在Terminal-Bench 4.0上,Token消耗降幅分别约为48%和49%。

此次发布同时披露,Qwen4-Max任务成本降低超过60%,API定价同步下调,其中缓存命中价格大幅降低。后续将开源小尺寸模型。

版权声明:本文由驱动中国整理发布,转载需注明出处与原文链接。如有疑问请联系 editor@qudong.com。
来源:驱动中国 · 原文链接:https://www.qudong.com/article/529720.html
本文价值 ★★★★★ 3.5 2 人已评
登录后为本文打分
网友评论0 条评论
评论已关闭
作者已关闭本文评论区,欢迎继续阅读
评论加载中…
🔐

登录后参与互动

评论、点赞均可赚积分
连续签到、邀请好友也有奖励 🎁

电脑端: 微信扫码登录 微信内: 一键登录

微信扫一扫

打开微信「扫一扫」,分享本文到朋友圈或好友