DeepSeek全面开源推理框架DeepInfer
DeepSeek宣布将内部推理框架DeepInfer全面开源，同步开源deepseek-recipe编解码组件，支持分布式推理、推测解码等能力，兼容英伟达与华为昇腾平台，帮助开发者优化大规模模型服务吞吐与延迟，降低算力成本和能耗。
驱动中国10月20日消息，DeepSeek宣布将内部推理框架DeepInfer全面开源，并同步开源deepseek-recipe编解码组件。此前，DeepSeek已开源一系列大模型、TileLang编译工具及推理算子库，此次开源范围进一步扩展至推理框架层。
DeepSeek官方表示，大模型能力边界由模型本身划定，但如何以合理成本提供超大规模模型服务，还取决于推理框架。训练使模型学有所成，推理则让模型为人所用。面对海量用户调用，推理框架负责统筹调度庞大算力集群，其效率直接决定AI服务的算力成本与电力消耗。
官方称，希望通过分享内部部署经验，帮助开发者与企业组织优化大规模推理的吞吐与延迟，从而高效构建私有化及公有云部署，降低算力成本、减少能源消耗，让智能以更低价格触达更广泛人群，实现真正的大模型普惠。
根据公开信息，DeepInfer推理框架集成高性能算子与深度优化推理引擎，支持分布式推理、推测解码、SWA Bounded Replay、结构化输出等能力，并兼容英伟达与华为昇腾平台。deepseek-recipe为生产级Token编解码组件，与DeepSeek官方API处理逻辑完整对齐，确保社区获得与官方部署一致的API体验。
基于DeepInfer，DeepSeek官方已实现DeepSeek V4.1 Flash高吞吐、低延迟的大规模推理服务。未来，DeepSeek新模型的推理代码及后续优化也将在此持续更新。项目开源地址分别位于GitHub的deepseek-ai/DeepInfer与deepseek-ai/deepseek-recipe。