2026 年 10 月中旬这一周，AI 行业最不起眼的一个软件层，突然成了各方下注的焦点。10 月 18 日 vLLM 发布 v0.32.0，814 个提交、363 位贡献者；10 月 20 日 DeepSeek 把支撑自家线上服务的生产推理框架 DeepInfer 开源；同一天前后，Google 联合 Meta 开源 TorchTPU，让 TPU 变成 PyTorch 的原生设备。

三件事指向同一个信号：模型质量在趋同，谁能把推理做得更便宜、更快、更能跨硬件跑，谁就握着下一阶段的定价权。推理引擎这个过去被当成「管道工」的层，正在变成主战场。

一个「生产同款」内核，怎么同时喂给英伟达和昇腾

DeepInfer 的 README 写得坦率：这套框架最初主要基于 vLLM 构建，同时借鉴了 SGLang 和 TensorRT-LLM。Python 层保留 vLLM 的接口形态，调度器和块管理在 csrc/engine/ 下用 C++ 重写，再收拢 FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect 一批自研算子。

真正让它出圈的是硬件姿态：英伟达 SM100 和华为昇腾 950 被列为平级构建目标，靠一个 DEEPINFER_ACCELERATOR 环境变量切换。这是第一家把「实际线上运行的生产级推理框架」完整开源的头部大模型公司。过去从英伟达迁到昇腾要重写算子和调度，现在有了一份经大流量验证的参考实现。

上图：DeepInfer 以 vLLM 为基座，用自研算子与投机解码，把同一个内核同时落到英伟达与昇腾两套硬件上。

但要打折看。DeepSeek 交出的只是离线推理内核，只注册 V4.1-Flash 一个模型，没有 KV cache 系统，没有 prefill/decode 跨机分离，没有负载均衡，也不支持 Hopper 一代的 H100、H200、H20。再看那些数字，155 万亿 token 日吞吐、96% 缓存命中率、约 400ms 首字延迟，全是官方口径，没有第三方复现。

开源一周，vLLM 和 SGLang 就把差距追回来了

开源之后一周发生的事，比 DeepInfer 本身更说明问题。据量子位观察，vLLM 把 DeepSeek 的算子内核吃进去之后，性能差距收窄到 6%，预填充吞吐提升 35.6% 到 43.9%；SGLang 集成 Mega 内核和 SWA 有界回放之后，部分配置的吞吐反而反超 DeepInfer 约 4%。

这暴露了推理引擎竞赛的真实形状：没有一家能靠闭源内核长期领先。开源引擎之间的技术流动太快，连原创者都成了被追赶的对象。vLLM 官方已经致谢 DeepSeek，并计划吸收它针对 V4.1-Flash 的优化。

Google 和 Meta 想用 TorchTPU 撬动 CUDA

TorchTPU 是 Google 和 Meta 的 PyTorch 团队合作开源的，Apache 2.0。它让 TPU 变成 PyTorch 的原生 device，开发者把 model.to(“tpu”) 一行改完就能跑，不必走老旧的 PyTorch/XLA 桥，也不必切到 JAX。官方测了约 5000 个 Hugging Face 模型，98% 的一级模型无崩溃通过。

关键在它带出的两个推理引擎后端：vLLM-TorchTPU 和 SGLang-TorchTPU，分别和 Inferact、RadixArk 合作开发。Meta 已经确认 SGLang-TorchTPU 在自己的数据中心生产环境运行。

上图：推理引擎的势力版图正在按「硬件 + 软件」重新划分，Google 用 TorchTPU 正面挑战 CUDA 生态。

TorchTPU 开源公告的原图如下：

上图：Google Cloud 官网博客 TorchTPU 开源公告原图，2026-10-20，来源：cloud.google.com

CUDA 的护城河不在芯片，而在几十万开发者的软件惯性。TorchTPU 要做的，是让这些开发者不改代码就能把负载搬到 TPU 上。用开源软件换迁移成本，比用硬件性能硬碰硬划算。

年初那笔 1.5 亿美元，年底变成了 TPU 的桥头堡

推理引擎的商业化其实更早。2026 年 1 月，vLLM 维护者团队把项目公司化成 Inferact，拿了 1.5 亿美元种子轮，估值 8 亿美元，a16z 和 Lightspeed 联合领投。SGLang 拆成了 RadixArk，据报道估值 4 亿美元、Accel 领投。

到 10 月 TorchTPU 发布时，这两家又各自成了 Google 在 TPU 侧的落地伙伴。年初那两笔钱，买的是「开源引擎背后的商业实体」，年底它们变成了撬动 CUDA 的桥头堡。

上图：推理引擎从 2023 年的实验室项目，走到 2026 年的开源、商业化和跨硬件三条线同时爆发。

体量上也说得通。vLLM 支持 500 多种模型架构、200 种加速器类型、2000 多个贡献者，Amazon、Meta、Google、Character AI 都在生产环境用它。SGLang 的客户包括 xAI 的 Grok 3、微软 Azure、LinkedIn、Cursor，合计约 40 万张 GPU。

推理引擎成了 AI 成本曲线的定价者

把几条线并在一起，能看出一个更清晰的图景。英伟达用 CUDA 加 TensorRT-LLM 守，Google 用 TorchTPU 攻，DeepSeek 用 DeepInfer 把昇腾扶进牌桌，三方打的其实是同一件事：让自家硬件在同一个软件接口上被最多人顺手用起来。

上图：推理引擎正在成为模型与异构硬件之间的唯一抽象层，谁掌握这一层，谁就掌握跨硬件的迁移成本。

这里有个被低估的转变。云天励飞董事长陈宁在钛媒体的采访里点破了它：训练对 CUDA 的依赖，和推理对 CUDA 的依赖，不在一个量级上。推理时代的关键变成了成本、效率和系统能力，所有人都站在同一条新的起跑线上。

我判断，未来 12 个月会收敛成「双寡头 + 平台化」的结构：vLLM 和 SGLang 当开源引擎的两极，背后站着 Inferact 和 RadixArk 两家商业公司；TensorRT-LLM 和 TorchTPU 是英伟达、Google 各自的平台武器；DeepInfer 走第三条路，给「生产同款、双平台」立一个可参照的标杆。

我预判 DeepInfer 的跨平台设计会被更多团队抄走。它证明了一件事：把调度和算子抽象好，同一个内核能同时喂给英伟达和昇腾。这比任何「国产替代」的檄文都更有杀伤力，因为它解决的是迁移成本这个最实际的问题。

真正值得盯的，不是哪家引擎吞吐高几个点，而是 DeepInfer 的昇腾侧能力什么时候补齐 KV cache 系统、什么时候有第三方独立评测。那一天到了，推理引擎才会真正从幕后工种，变成 AI 成本曲线的定价者。

---

参考来源

1. DeepSeek DeepInfer 官方仓库（Apache 2.0）
2. Google Cloud Blog：TorchTPU is now open source（官网）
3. Google Developers Blog：Announcing New vLLM and SGLang Inference Engines on TPU
4. vLLM v0.32.0 Release Notes（官方）
5. TechCrunch：Inference startup Inferact lands $150M to commercialize vLLM（2026-01-22）
6. 钛媒体：DeepSeek 推理框架对等支持华为、英伟达芯片，意味着什么？
7. 量子位：DeepSeek 开源后 vLLM/SGLang 连夜性能反超
8. TheNextWeb：Sharing our production stack, DeepSeek open-sources DeepInfer

每日更新。