DeepSeek 开源内部推理框架 DeepInfer
DeepSeek 开源了支撑其线上服务的推理框架
DeepInfer。DeepSeek 称,基于DeepInfer运行的DeepSeek V4.1 Flash服务,单一集群每天处理 155 万亿 token,平均每卡每小时收入 38 美元,输入缓存平均命中率 96%。DeepInfer支持英伟达SM100 GPU和华为昇腾950 NPU,后续新模型的推理代码也会在其中持续开源。
DeepSeek 开源内部推理框架 DeepInfer,并同步开源 Token 编解码组件 deepseek-recipe。DeepSeek 称,其 DeepSeek V4.1 Flash 线上服务基于 DeepInfer 运行,单一集群吞吐为每天 155 万亿 token,按谷价计算每卡每小时收入 38 美元。
DeepInfer 支持分布式推理、DSpark 投机解码、SWA Bounded Replay 和结构化输出。开源版支持英伟达 SM100 GPU 和华为昇腾 950 NPU,采用 Apache 2.0 许可证;DeepSeek 表示,未来新模型的推理代码及后续优化也将在 DeepInfer 中持续开源。
deepseek-recipe 在 Chat Completions、Responses 和 Messages 三种 API 协议与模型 token 之间编解码,与官方 API 处理逻辑完整对齐。




相关链接:


















