要点速览：2026年10月20日晚，DeepSeek 做了一件此前国内大模型公司没做过的事——把支撑自家线上大规模推理服务的核心引擎 DeepInfer 全面开源（Apache 2.0 协议），同步放出生产级 Token 编解码组件 deepseek-recipe（MIT 协议）。正是这套系统，支撑着 V4.1 Flash 单一集群每天 155 万亿 Token 的服务吞吐：平均每个请求输入 77K Token、首字约 400 毫秒、生成速度每秒 230 Token（写代码场景冲到 300）、96% 的输入直接命中缓存。如果说大模型是"词元工厂"的产品，推理框架就是把算力变成 Token 的流水线——这一次，DeepSeek 连车间图纸都公开了，且同时支持英伟达 GPU 与华为昇腾 NPU。本文拆解：推理框架到底干什么活、155 万亿这个数字的含金量、这次开源了什么又暂时留了什么，以及它对整个行业的Token成本意味着什么。

一、10月20日晚，DeepSeek 把"最不该公开的东西"公开了

10月20日傍晚，DeepSeek 在 GitHub 上线了两个新仓库：

• DeepInfer（github.com/deepseek-ai/DeepInfer）：DeepSeek 自研的大规模生产推理框架，Apache 2.0 协议；

• deepseek-recipe（github.com/deepseek-ai/deepseek-recipe）：生产级 Token 编解码组件，MIT 协议。

与此同时，DeepSeek 在知乎发布技术长文，又在 GitHub 放出一份部署问答，把这套系统从架构设计到部署细节一五一十讲了出来。

为什么说这件事分量很重？因为推理服务软件，历来是大模型厂商最核心的商业机密之一。

模型权重开源，外界可以拿去做评测、做微调；但"同一个模型，怎么用一千张卡又快又便宜又稳地对外服务"，属于工程know-how的最深处——它直接决定一家公司每一美元算力能产出多少 Token、每个 Token 卖多少钱还有利润。OpenAI、Anthropic 从不公开这类东西。

而 DeepSeek 不仅公开了框架，还一并公布了自家线上系统的真实运行数据和单位经济账。这种"连毛利都晒出来"的打法，被不少业内人评价为"真正的 OpenAI 来了"。

二、先搞懂：推理框架为什么是"词元工厂的流水线"

要理解 DeepInfer 的价值，先区分两个概念：训练和推理。

• 训练，是让模型"学有所成"——用海量数据一次性把参数练出来，成本高但不直接面向用户；

• 推理，是让模型"为人所用"——用户每发一次请求，模型就要在算力集群上现场算出一个个 Token，逐字吐给你。

我们每次对话、每次让模型写代码、每个 Agent 跑的每一步，背后都是一次推理。而推理框架，就是夹在"模型"和"成千上万张显卡"之间的那层调度系统：请求来了先派给谁、显存怎么分配、重复的前缀要不要缓存、哪些卡并行算、首字怎么压到最快、出字怎么保持连贯——全归它管。

打个工厂的比方：

• 模型权重 = 产品图纸（Token应该长什么样、质量多高）；

• 算力集群 = 厂房和机床（GPU/NPU）；

• 推理框架 = 整条流水线的调度中枢——机床不能空转、半成品不能返工、第一道工序和后面的工序要分开排产。

工厂赚不赚钱，不只看图纸好不好，更看流水线的效率。同一个模型，部署得好与不好，实际服务成本可以相差数倍。这就是推理框架长期不公开的原因：它是 Token 这门生意里"成本曲线"的真正形状。

三、155万亿的含金量：DeepSeek 晒出的四张生产报表

这次最震撼的，不是开源动作本身，而是 DeepSeek 随技术长文公布的线上真实数据（为官方口径，尚未经第三方独立复测）：

指标	官方数据	通俗解释
单集群日吞吐	155 万亿 Token/天	一个集群一天产出的 Token 总量
平均输入长度	77K Token/请求	来的都是长上下文、Agent、代码这类"重活"
首字延迟（TTFT）	约 400 毫秒	你按下回车到看到第一个字的时间
生成速度	230 Token/秒，写代码冲到 300	出字速度，直接决定交互跟不跟手
缓存命中率	平均 96% 的输入命中缓存	96% 的输入不用重新计算
单位收入	每卡每小时约 38 美元（按谷电价计）	一张卡一小时产出的收入

这几个数字要连起来看，才看得出工程含量：

第一，"输入 77K + 首字 400 毫秒"是最难的组合。 用户平均塞进来 7.7 万 Token 的长上下文，系统还要在 0.4 秒内吐出第一个字，意味着 Prefill（处理输入）阶段必须极快，且大量工作已被提前缓存消化。

第二，96% 的缓存命中率，是整张报表里最值钱的一行。 长上下文应用里，同一个会话、同一份代码库、同一套系统提示会被反复发送。96% 的输入命中缓存，意味着绝大多数输入 Token 根本不触发重算——这是把成本压下来的最大功臣，也解释了为什么缓存价可以打到几分钱。

第三，38 美元/卡时是一笔明账。 按谷电价算，一张卡 24 小时满负荷一天收入约 6000 元人民币（智东西据此粗算单卡月收入约 18.6 万元）。当单位算力的"Token 产出/收入"可以被精确计算，模型服务就彻底变成了一门可以精打细算的制造业生意。

这也正是 DeepSeek 在 52 号文章里能把 Flash 价格打到"输入1元、输出4元/百万Token"的底层底气——前台的低价，是靠后台流水线的效率撑起来的。

四、DeepInfer 到底干了什么：让 GPU 不空转、让计算不重来

DeepSeek 官方把这套系统要解决的问题，归纳成三个朴素的追问：GPU 怎么不空转、重复计算怎么不重来、首字和出字怎么分别变快。 对应到技术上，有几个关键设计（也是本次开源的主体内容）：

1. Prefill / Decode 分离部署（PD 分离）。

一次推理分两个性质完全不同的阶段：Prefill 负责"读完输入"（计算密集），Decode 负责"逐字生成"（访存密集）。DeepSeek 用常见的 8 卡机器承担 Prefill，用 64～128 卡的超节点承担 Decode，两类资源独立配置、独立优化，并通过自动扩缩容动态调整两阶段实例比例，避免流量波动造成资源错配。

2. 激进的并行与负载均衡。

针对 V4.1 Flash 的 MoE 架构，框架用注意力数据并行（DP）+ 专家并行（EP）组合调度，并通过 EPLB 等多类负载均衡器，把不同专家、不同卡之间的负载差压到最低（官方公布的负载均衡系数 moe_lb 接近 1，越接近 1 越均衡）。

3. DSpark 推测解码 + SWA Bounded Replay。

前者让系统"先猜后验"、用置信度调度提升每轮验证收益；后者利用模型滑动窗口注意力的先验知识，在不损失质量的前提下大幅削减长上下文 Prefill 的计算量。

4. 异步调度、批次无关推理、确定性采样、结构化输出。

零开销异步调度消除 CPU-GPU 串行等待；确定性采样保证严格可复现；结构化输出支持正则 / JSON Schema / EBNF 约束，直接服务 Agent 工具调用场景。

同步开源的 deepseek-recipe 解决的是另一层问题：把 Messages、Chat Completions 等不同格式的 API 请求转成模型能懂的输入，再把结果转回标准响应，处理逻辑与 DeepSeek 官方 API 完整对齐——第三方部署也能获得与官方一致的 API 体验。

一句话：DeepInfer 负责让模型跑得更快更省，deepseek-recipe 负责让模型接得上、用得顺。

五、开源了什么，也诚实地说"还留了什么"

这次开源的边界非常清晰，值得专门讲清楚——既不夸大，也不含糊。

已经开源的部分：

• 优化后的高性能算子与运行时（FlashMLA、DeepGEMM、DeepEP 等）；

• 注意力 DP / MoE EP+EPLB 并行策略；

• DSpark 推测解码、SWA Bounded Replay、异步调度；

• Batch-invariant 推理、确定性采样、结构化输出；

• 硬件覆盖 NVIDIA SM100 GPU 与华为昇腾 950 NPU；

• 目前支持 DeepSeek V4.1 Flash，默认加载 V4.1-Flash-1017 权重；框架最初主要基于 vLLM 搭建，也参考了 SGLang 和 TensorRT-LLM。

暂时没有开源的部分（README 里明确列出）：

• 完整的 KV 缓存系统；

• VE/Prefill/Decode 分离部署的完整在线引擎功能；

• DP 副本间的负载均衡。

官方解释很坦诚：这几块和内部基础设施耦合太深。因此当前开源版本提供的是离线推理能力——想直接搭一个完整在线服务，还需要自行补齐缓存管理和请求路由，但架构思路和设计细节都写进了技术长文与部署问答。

双硬件支持是另一个关键信号。 华为昇腾 950 NPU 与英伟达 SM100 GPU 同列支持名单，意味着这套"把 Token 成本打下来"的流水线，从第一天起就不是只绑定单一硬件生态。对需要国产化、私有化部署的企业和机构来说，这一点的实际意义，甚至不亚于性能数字本身。

六、为什么说这是"全栈开源"的最后一块拼图

把 DeepSeek 过去一年的动作串起来看，会发现一条非常清晰的开源路线：

开源模型权重 → 开源 TileLang 编译工具 → 开源推理算子库 → 开源推理框架 DeepInfer → 开源 API 编解码组件。

也就是说，从模型本身，到把模型跑起来所需的编译、算子、框架、接口，整条技术栈今天已经全部摊开。一个有算力的团队，理论上可以照着这套公开资料，复现出接近官方水平的大规模推理服务。

DeepSeek 在技术长文里把动机说得很直白：分享内部部署经验，帮助开发者和企业优化大规模推理的吞吐与延迟，降低算力成本、减少能源消耗，让智能以更低价格触达更广泛人群。并且承诺：后续新模型的推理代码和性能优化，都会在 DeepInfer 里持续开源。

落到行业层面，这件事的影响有三层：

• 对算力买方（企业/开发者）：推理侧的工程门槛被显著拉低，私有化、公有云部署的单位 Token 成本有了可参照的"优等生作业"，议价能力变强；

• 对国产硬件：昇腾与英伟达同框出现在顶级推理框架的一等支持名单里，国产算力的软件生态多了一个重量级样板；

• 对整个市场：当"怎么把 Token 做便宜"不再是秘密，竞争就会持续往"效率更高、价格更低"的方向卷——这与我们在 52 号看到的 Flash 价格战，其实是同一件事的表里两面。

需要提醒的是，官方吞吐与单位收入数据目前来自 DeepSeek 自家线上统计，尚未有第三方独立复测；开源版本也是离线推理，距离"开箱即用的在线服务"还差缓存与路由两块拼图。但这不影响一个判断：词元工厂最核心的车间图纸，第一次被如此完整地公开了。

收束：Token 的"工业革命"，正在从车间开始

过去两年，行业的聚光灯大多打在模型身上——谁的跑分更高、谁更聪明。但 DeepInfer 提醒我们：决定智能能不能普惠的，除了模型的智商，还有车间的效率。

单日 155 万亿 Token、96% 缓存命中、400 毫秒首字、38 美元/卡时——这些数字背后，是一整套把昂贵算力"榨干用尽"的工程体系。当这套体系以 Apache 2.0 开源、同时跑在英伟达和昇腾上，"智能的价格"被继续打下来，就只是时间问题。

对每一个正在接入大模型的人来说，这意味着同一句话：你用上的每一个 Token，正在变得更快、更便宜，也更可靠。

相关资源

当头部厂商开始公开"词元工厂"的车间图纸，一个现实问题也摆在所有用模型的团队面前：车间（模型与算力供给）越来越多、效率越来越高，但企业自己面对的，是几十上百种模型、峰谷悬殊的价格和时刻变化的负载——谁来当这个工厂的"总调度"，把对的任务送进对的车间、让每一分算力预算都花在刀刃上？

点点词元是面向开发者的多模型统一调度平台，已纳管近 100 种主流大模型（含 DeepSeek、MiniMax、GLM、Qwen、Kimi 等），OpenAI 兼容协议、零迁移接入，通过运营商正规渠道提供模型访问，并支持缓存、弹性调度与成本可观测——无论底层车间的流水线怎么迭代，你只需要对接一个统一入口，就能让每一个 Token 又快又省地流动起来。想低成本验证多模型调度与组合方案的个人或团队，可查看官方活动页了解新客体验额度。

相关资源：

• 模型广场：近 100 种主流大模型统一接入

• 官方活动与使用说明：activity.ldzktoken.com/activity/index.html

• 本文及配套源码：github.com/fangzehui/llm-tech-articles

本文涉及的 DeepInfer、deepseek-recipe 开源信息及线上运行数据，截至 2026 年 10 月 22 日，综合自 DeepSeek 官方 GitHub 与技术长文、新智元、36氪、华尔街见闻、智东西及 MarkTechPost 等公开报道；其中吞吐量、延迟与单位收入为 DeepSeek 官方口径，未经第三方独立复测；开源版本当前为离线推理，完整在线服务所需的 KV 缓存、PD 分离与负载均衡能力需自行补齐。具体功能、协议与硬件支持以官方仓库最新说明为准。