商汤发布Loop-9B模型 显存需求低至10GB内
商汤科技11月17日晚间发布SenseNova Loop-9B模型,该模型以约9B参数规模面向复杂推理、代码、工具调用和多模态任务,官方称4bit量化后权重约4.9GB,部署显存需求可低至10GB内,并已开放权重与相关代码。
驱动中国11月17日消息,商汤科技17日晚间发布SenseNova Loop-9B模型。该模型延续Preview版本对参数效率的探索,通过Loop结构复用模型层参数,并结合流形约束超连接mHC,在约9B参数规模下扩展计算深度,面向复杂推理、代码、工具调用和多模态任务。
官方表示,SenseNova Loop-9B总参数量约为9B。模型通过两次执行共享中间层,将32个物理解码层扩展为56次层计算。该模型支持文本、图像输入和文本输出,上下文长度最高可达512K tokens。
在部署方面,官方称该模型采用4bit量化后权重约4.9GB,部署显存需求可低至10GB内,有助于拓宽可部署硬件范围,使低显存芯片获得前沿27B级别模型性能成为可能。
官方还提到,采用4bit权重量化与8bit KV缓存时,256K长上下文推理显存需求约为15 GiB,可降低本地与私有化部署门槛。
技术细节上,共享循环模块将第4至27层组成共享权重循环模块,并执行两次,使模型在一次前向传播中完成56次解码器层计算。双流mHC通过可学习映射,对循环模块中两条残差流进行信息路由与融合。混合注意力以四层为一组,采用三层线性注意力与一层全注意力结合的配置。长上下文多模态训练方案覆盖文本、图像、代码和工具调用轨迹,上下文长度最高扩展至512K tokens。
官方表示,在Agent与数据分析评测中,SenseNova Loop-9B展现出与Qwen3.8-27B相当的竞争力:NL2Repo得分为41.36,接近后者的44.60;AIDABench得分为65.31,高于后者的65.01。围绕通用Agent、代码和数据分析等任务,正式版在多个榜单上的表现较Preview版本有明显提升。
此外,商汤科技在模型发布首日同步提供官方AWQ 4bit量化版本,并已开放SenseNova Loop-9B模型权重与相关代码,供开发者和研究者下载、部署与探索。