寒武纪完成商汤SenseNova Loop-9B适配
寒武纪完成商汤日日新SenseNova Loop-9B模型Day0适配,基于vllm_mlu打通MLU平台推理链路,围绕Loop结构、算子适配与mHC路由展开,覆盖复杂推理、代码、工具调用和多模态任务。
驱动中国11月18日消息,寒武纪已完成对商汤科技新发布的日日新 SenseNova Loop-9B 模型的 Day 0 适配,并基于 vllm_mlu 打通该模型在 MLU 平台上的推理链路。
商汤科技于11月17日晚间正式发布 SenseNova Loop-9B 模型。寒武纪官方宣布完成对该模型的 Day 0 适配。该模型通过 Loop 结构复用模型层参数,并结合流形约束超连接 mHC,在有限参数规模下扩展计算深度,面向复杂推理、代码、工具调用和多模态任务,优化模型在 Agent、代码与数据分析任务中的表现,探索循环计算能力边界。
寒武纪表示,针对 SenseNova Loop-9B 的架构特点,本次适配围绕 Loop 循环结构、MLU 算子适配和 mHC 路由优化三个方向展开。
在 Loop 循环层展开方面,SenseNova Loop-9B 使用约 9B 模型参数,通过循环执行共享中间层,将 32 个物理解码层扩展为 56 次层计算。寒武纪采用静态展开方案,将循环计算转换为 56 个顺序执行层,使模型复用 vLLM 标准调度和 KV cache 机制。不同执行槽位的循环层共享同一份权重存储,显存占用与 32 层模型相同。
该模型官方 4bit 量化后权重约 4.9GB,部署显存需求低至 10GB 内,能够显著拓宽可部署硬件范围,降低本地与私有化部署门槛。
在 MLU 算子适配方面,寒武纪将模型中的 Attention、Linear Attention 和 MLP 等核心计算模块替换为 vllm_mlu 中已有的 Qwen3-Next 系列 MLU 算子实现,复用现有算子能力完成模型适配。多模态部分复用 Qwen3.5-VL 的 MLUQwen3_Visio。