寒武纪完成商汤SenseNova Loop-9B适配

AI 驱动中国 林晚 130次阅读
分享 微 Q 信
AI摘要
由 AI 生成 · 仅供参考

寒武纪完成商汤日日新SenseNova Loop-9B模型Day0适配,基于vllm_mlu打通MLU平台推理链路,围绕Loop结构、算子适配与mHC路由展开,覆盖复杂推理、代码、工具调用和多模态任务。

驱动中国11月18日消息,寒武纪已完成对商汤科技新发布的日日新 SenseNova Loop-9B 模型的 Day 0 适配,并基于 vllm_mlu 打通该模型在 MLU 平台上的推理链路。

商汤科技于11月17日晚间正式发布 SenseNova Loop-9B 模型。寒武纪官方宣布完成对该模型的 Day 0 适配。该模型通过 Loop 结构复用模型层参数,并结合流形约束超连接 mHC,在有限参数规模下扩展计算深度,面向复杂推理、代码、工具调用和多模态任务,优化模型在 Agent、代码与数据分析任务中的表现,探索循环计算能力边界。

寒武纪表示,针对 SenseNova Loop-9B 的架构特点,本次适配围绕 Loop 循环结构、MLU 算子适配和 mHC 路由优化三个方向展开。

在 Loop 循环层展开方面,SenseNova Loop-9B 使用约 9B 模型参数,通过循环执行共享中间层,将 32 个物理解码层扩展为 56 次层计算。寒武纪采用静态展开方案,将循环计算转换为 56 个顺序执行层,使模型复用 vLLM 标准调度和 KV cache 机制。不同执行槽位的循环层共享同一份权重存储,显存占用与 32 层模型相同。

该模型官方 4bit 量化后权重约 4.9GB,部署显存需求低至 10GB 内,能够显著拓宽可部署硬件范围,降低本地与私有化部署门槛。

在 MLU 算子适配方面,寒武纪将模型中的 Attention、Linear Attention 和 MLP 等核心计算模块替换为 vllm_mlu 中已有的 Qwen3-Next 系列 MLU 算子实现,复用现有算子能力完成模型适配。多模态部分复用 Qwen3.5-VL 的 MLUQwen3_Visio。

版权声明:本文由驱动中国整理发布,转载需注明出处与原文链接。如有疑问请联系 editor@qudong.com。
来源:驱动中国 · 原文链接:https://www.qudong.com/article/529954.html
本文价值 ★★★★★ — 成为第一个评分的人
登录后为本文打分
网友评论0 条评论
正在回复 的评论取消
评论加载中…
🔐

登录后参与互动

评论、点赞均可赚积分
连续签到、邀请好友也有奖励 🎁

电脑端: 微信扫码登录 微信内: 一键登录

微信扫一扫

打开微信「扫一扫」,分享本文到朋友圈或好友