MiniMax开源M3.1Flash模型权重,总参数428B
MiniMax稀宇科技宣布开源MiniMax M3.1 Flash模型权重,总参数428B、激活参数23B,该模型于10月19日上线,72小时内真实用户处理超过100万亿Token,并联合多家芯片厂商、云服务平台和开源社区推进接入与生态拓展。
驱动中国10月23日消息,MiniMax稀宇科技宣布开源MiniMax M3.1 Flash模型权重。该模型总参数为428B,激活参数为23B,于10月19日上线。MiniMax表示,相较于上一代M3模型,M3.1 Flash的模型能力实现全面提升。
在推理效率方面,MiniMax称M3.1 Flash通过全模型稀疏注意力、量化感知训练和Power-aware scheduling等优化工作进一步提升效率。其中,全模型稀疏注意力将前三个全注意力层替换为稀疏注意力。
量化感知训练方面,路由MoE专家迁移到W4A4,共享专家除外;稀疏注意力索引器和主分支从Q8KV8迁移到Q8KV4。Power-aware scheduling通过对计算卡功耗进行精细分配,使计算卡持续维持较高算力水平,以提升硬件效率。
上线数据方面,MiniMax披露,M3.1 Flash于10月19日上线后,72小时内真实用户处理超过100万亿Token。
生态合作方面,MiniMax宣布携手华为昇腾、平头哥、昆仑芯、摩尔线程、壁仞、海光、沐曦、天数、英伟达、AMD等海内外芯片厂商,以及Together AI、Fireworks、Nebius、Baseten、Modal、DigitalOcean等推理和云服务平台,共同推进M3.1 Flash的开源首日接入。
此外,vLLM、SGLang、智源FlagOS以及Hugging Face、魔搭等推理框架与开源社区,将与MiniMax共同推动模型在不同芯片、云平台和开发环境中的应用,持续拓展全球AI开源生态。
模型权重可在Hugging Face和魔搭社区获取,对应页面名称分别为MiniMaxAI/MiniMax-M3.1-Flash和MiniMax/MiniMax-M3.1-Flash。