华为昇腾 CANN Insight 系列技术直播 | 演讲人：杰克（CANN Runtime Maintainer）、车骏（CANN Runtime Committer） | 主题：DeepSeek推理性能跃迁4.5倍，ACL Graph技术解密

核心洞察：在大模型自回归解码（Decode）阶段，推理性能的最大死穴并非 NPU 计算峰值不足，而是遭遇了严重的 Host-bound（主机下发瓶颈）。以 DeepSeek-V3 为例，模型深达 61 层，每层包含 20+ 个细碎算子；在传统的 Eager 模式下，CPU 逐个 launch 算子的速度跟不上 NPU 的执行速度，导致芯片间充斥着巨大的“调度空泡（Bubble）”。华为昇腾 CANN 运行时团队推出的 ACL Graph（计算图运行时加速技术），通过“一次捕获（Capture）、整图重放（Replay）”、算子内联融合与动静态分桶调度，彻底切断了 Host-Device 交互开销，在 Atlas A2 平台上实现了 DeepSeek-V3.1 推理耗时从 185.6ms 降至 41.2ms（加速 4.5 倍）、Qwen3-30B 加速 7.4 倍的系统级性能飞跃。

01 推理瓶颈新痛点：小算子陷阱与 Host-bound 调度空泡危机

在华为昇腾 CANN Insight 技术直播中，CANN 运行时核心维护者杰克与车骏首先拆解了大模型推理场景下的核心性能矛盾。过去业界常常认为，算力加速的核心在于优化单个 GEMM 或 Attention 算子的峰值性能；然而在实际工程部署中，开发者却普遍遭遇了“单算子很快、整网吞吐极低”的怪圈。

这一现象的根源在于大模型的两阶段执行特征：

• Prefill 首字填充阶段：输入提示词长，单次矩阵乘规模巨大，属于典型的 Compute-bound（计算密集型）。算子单次执行耗时长，Host 下发开销占比几乎可以忽略不计。
• Decode 自回归解码阶段：每次仅生成 1 个 Token，矩阵退化为细碎的 GEMV 和逐元素算子。单算子在 NPU 上执行仅耗时数微秒，计算极快，却面临极致的 Memory/Host-bound。
• 层层累加的调度空泡：DeepSeek-V3 拥有 61 层，每层由 20+ 个小算子构成。CPU 边下发边执行的 Eager 模式导致 NPU 不断陷入等待，实际算力利用率甚至不足 20%。

在 Atlas A2 实测基准下，Eager 模式下 Qwen3-30B 单步 Decode 耗时高达 150.33ms，DeepSeek-V3.1 耗时高达 185.6ms。消灭 CPU 调度延迟，成为释放昇腾硬件算力潜能的终极胜负手。

02 ACL Graph 架构解密：从 Stream Capture 到纳秒级硬件 Replay

针对 Host-bound 痛点，CANN 运行时团队推出了原生支持的 ACL Graph 计算图加速框架。其核心设计哲学在于**“化零为整、设备自治”**：

捕获阶段（Capture）：在单算子流的下发过程中插入 aclmdlRICaptureBegin 与 aclmdlRICaptureEnd，借助影子流（Shadow Stream）将两个标记之间所有下发的 Task 及其拓扑依赖录制为静态的 ACL Graph 对象，并在 Device 内存中完成预先编排。
重放阶段（Replay）：在后续前向推理中，Host 侧彻底摒弃繁琐的逐算子 Launch API，仅需调用一次 aclmdlRIExecuteAsync 发送整图重放指令。NPU 在硬件微控制器协同下自主顺序执行所有算子内核，消除了全部 Host-Device 往返上下文切换。
Prefill / Decode 动静分离策略：针对大模型动态 Shape 特性，Prefill 阶段保持灵活的 Eager 模式；而在进入 Decode 循环时，通过 exe_mode 动态无缝切换为 ACL Graph 模式，兼顾灵活性与极致性能。

03 核心技术进阶：Task 融合更新与动态图参数打破“死图”壁垒

很多开发者此前对计算图技术存有疑虑：大模型推理中包含动态 KV Cache 偏移、MoE 动态路由选择等变化，一旦被打包为静态图，如何支持动态传参？CANN 团队在直播中详细解密了运行时框架的两项硬核创新：

• Task 内联融合 (Task Fusion)：在 Kernel 内部的调度路径远短于 NPU 调度。对于连续的 AI Core 算子（如连续 Add+Mul+RMSNorm），运行时直接将其融合为一个大算子内部调度，单此一项调度收益即超 15%。
• 动态参数原地更新：通过提供 aclmdlRITaskSetParams 与 aclmdlRITaskDisable 接口，开发者可在不重编译、不重捕获的前提下，原地修改指定 Task 的内存指针与输入参数，完美支持 MoE 路由跳过。
• 跨流依赖与事件同步：原生支持多流并发捕获（Multi-Stream Capture）。通过在捕获期记录流间 Event 依赖图，在 Replay 阶段精准还原计算与通信（HCCL）重叠掩盖，杜绝并发死锁。

核心心智模型：静态图解决的是“确定性执行的效率”，动态参数更新解决的是“业务逻辑的自适应”。ACL Graph 并非僵化的单次静态快照，而是构建了一个具备微秒级热修补能力的“动态执行图引擎”。

04 极致生态落地：vLLM-Ascend 深度集成与 CANN Runtime 全面开源

为了让昇腾开发者零感知地享受到 ACL Graph 的性能红利，华为 CANN 团队已将该项技术深度融合至主流大模型推理服务框架中：

vLLM-Ascend 官方原生支持：在 vllm_ascend.compilation.acl_graph 模块中，ACLGraphWrapper 作为平台专属编译封装器，自动接管了 KV Cache 显存预分配、批次分桶（Bucketing）与 Padding 填充，实现开箱即用。
TorchAir 图模式无缝沉淀：结合 PyTorch 官方 Dynamo 与 TorchAir 编译器，开发者仅需在配置中声明 reduce-overhead，即可一键下沉至 ACL Graph 运行态。
CANN Runtime 源码全面开源：华为已在 GitCode 平台正式全量开源 cann/runtime 核心代码（包含完整 docs 文档与 sample 示例），诚邀全球算力开发者共同参与共建。

总结与展望：从 Eager 模式下的调度空泡，到 ACL Graph 驱动下的 4.5 倍性能跃迁，昇腾 CANN 运行时团队展示了世界顶级 AI 软件栈在底层工程层面的极限榨取能力。随着大模型架构持续演进，以 ACL Graph 为代表的图编译与运行时融合技术，必将成为释放国产智算芯片潜能、加速万亿级 AI 商业闭环的核心基石。