年前，我帮一个团队部署 DeepSeek V2 模型到昇腾 NPU 上。
他们之前没接触过昇腾生态，一听说要装算子库、加速库、图引擎、运行时……光环境配置就让人头大，甚至有人开始怀疑“这平台是不是太复杂了”。

我告诉他们：“别自己折腾底层了，直接用 cann-recipes-infer。”
结果呢？他们克隆仓库、改个配置文件、跑个脚本，模型就在昇腾上跑起来了。后面的性能优化也按照配方里的建议微调了一下，推理速度从每秒 5 token 直接飙到了 25 token。

这就是 cann-recipes-infer（推理配方）的价值——把“怎么在昇腾上跑模型”这件极其复杂的事，变成 “Clone 下来，Run 一下” 这么简单。

---

一、cann-recipes-infer 是什么？

cann-recipes-infer 是昇腾 CANN 生态中的推理配方仓库，全称 CANN Recipes for Inference。

它不是某个具体的算法，也不是单一的优化库，而是一整套**“开箱即用”的推理优化方案集**。你可以把它想象成一本《昇腾大模型推理烹饪指南》，里面不仅有现成的“菜谱”（代码），还标注了火候（参数）、食材（依赖）和调味技巧（优化策略）。

• 仓库地址：https://atomgit.com/cann/cann-recipes-infer
• 核心目标：开发者不需要懂昇腾底层细节（GE、ATB、HCCL等），只要会用 PyTorch，就能把自己的模型高效跑在昇腾上。

支持的热门模型

目前仓库已覆盖主流大模型，且针对昇腾硬件做了深度适配：

模型	类型	优化重点	状态
DeepSeek-V2/V4	MoE 大模型	算子融合 + Prefix Caching + MoE路由优化	✅ 支持
Qwen (通义千问)	Dense+MoE	8-bit/4-bit 量化 + 图模式编译	✅ 支持
GLM-Edge	聊天模型	PagedAttention + KV Cache 分页管理	✅ 支持
LLaMA 3	开源基座	融合算子 + 动态 Batch 处理	✅ 支持
HunyuanVideo	视频生成	多帧处理 + 流水线并行	✅ 支持
Kimi-K2	长思考模型	超长上下文 + Prefix Caching	✅ 支持

注：随着 DeepSeek V4 宣布全面迁移至华为昇腾950PR平台，该仓库已成为国产算力适配的首选参考实现。

---

二、配方仓库解决什么痛点？

昇腾的推理软件栈非常完整，但也因此学习曲线陡峭：

模型 (PyTorch) 
  ↓
ATB (加速库) / ops-transformer (算子库) / GE (图引擎) 
  ↓
Runtime (运行时) / HCCL (通信库)
  ↓
昇腾硬件 (NPU)

问题在于：

1. 组件太多：刚接触昇腾的开发者，搞不清 ATB 和 GE 分别干嘛的，怎么配环境变量，怎么调优。
2. 配置繁琐：FlashAttention 怎么开？KV Cache 怎么分配？量化精度选 FP16 还是 INT8？
3. 坑点密集：显存溢出、算子不支持、通信死锁……新手很容易踩雷。

cann-recipes-infer 的做法：
把这些都封装好了。你只需要做两件事：

1. Clone 配方仓库
2. 运行脚本

剩下的：环境检查、依赖安装、模型转换、性能优化配置、服务启动，全部由配方自动搞定。

---

三、快速开始：以 DeepSeek-V2 为例

这是目前最热门的案例，详细步骤如下：

1. 克隆仓库

git clone https://atomgit.com/cann/cann-recipes-infer.git
cd cann-recipes-infer

2. 选择模型目录

ls examples/
# 输出示例：
# deepseek/
# qwen/
# glm/
# llama/
# ...

cd examples/deepseek
ls
# 输出示例：
# README.md          # 详细说明
# run_infer.sh       # 一键运行脚本
# infer.py           # 推理核心代码
# config.yaml        # 配置文件

3. 检查环境

确保已安装 CANN Toolkit 和 Python 依赖：

# 检查 CANN
ascendc -v

# 安装依赖
pip install -r requirements.txt

4. 修改配置

编辑 config.yaml，只需关注几个关键参数：

model:
  name: "DeepSeek-V2"           # 模型名称
  path: "/path/to/model.ckpt"   # 本地模型权重路径
  precision: "fp16"             # 精度：fp16/bf16/int8/int4

infer:
  batch_size: 1                 # 批处理大小
  max_length: 4096               # 最大生成长度
  stream: true                   # 是否流式输出

# 性能优化配置（根据硬件调整）
optimization:
  use_flash_attn: true          # 启用 FlashAttention
  use_kv_cache: true             # 启用 KV Cache
  use_quant: int8               # 量化：int8/int4/fp16 (默认fp16)
  use_fusion: true              # 开启算子融合

5. 运行推理

# 一键运行
bash run_infer.sh

# 或者手动运行
python infer.py \
    --model-path /path/to/model.ckpt \
    --batch-size 1 \
    --max-length 4096

6. 测试效果

运行后你会看到类似这样的输出：

Prompt: "介绍一下昇腾CANN生态"
Output: "昇腾CANN是华为推出..."
Tokens/sec: 25.3
Latency: 39.5ms/token

恭喜你，模型已经在昇腾上跑起来了！

---

四、配方里做了什么优化？

为什么配方跑起来比原生 PyTorch 快这么多？因为它在底层做了一系列“组合拳”：

1. 算子层面 (Operator Level)

• FlashAttention：替换普通 Attention，显存占用从 $O(n^2)$ 降至 $O(n)$，速度提升显著。
• MoE 专用算子：调用 ops-transformer 中的 MoEComputeExpertTokens，高效处理稀疏专家路由。
• MC2 通算融合：将通信（Communication）与计算（Computation）重叠，减少等待时间。
• 这些都在底层由 ATB 和 ops-transformer 处理，配方只是帮你自动启用它们。

2. 图层面 (Graph Level)

• 算子融合：利用 GE 的三阶段流水线，将多个小算子（如 LN + Linear + Act）融合成大算子，减少 Kernel Launch 次数。
• 内存复用：整图分析中间张量生命周期，复用显存，降低峰值占用。
• 图优化：自动进行常量折叠、死边消除等 GE 标准优化。

3. 框架层面 (Framework Level)

• PagedAttention：引入分页管理机制，彻底解决 KV Cache 碎片化问题，支持超长序列。
• Prefix Caching：多轮对话时，缓存公共前缀的 KV Cache，避免重复计算。
• 动态 Batch：自动聚合不同长度的请求，提升吞吐率。

4. 量化支持 (Quantization)

配方支持多种精度，用户可根据需求切换：

精度	显存占用	性能损失	适用场景
FP32	100%	0%	精度优先，调试用
FP16/BF16	~50%	<1%	通用推荐，速度与精度平衡
INT8	~25%	1-3%	高吞吐推理，对精度要求不高
INT4	~15%	3-5%	极致压缩，边缘端部署

---

五、实战案例：从 5 token/s 到 25 token/s

回到开头那个团队的故事。

• 初始状态：使用原生 PyTorch + 单算子调用，未开启任何优化。
  • 吞吐量：5 tokens/s
  • 延迟：~200ms/token
  • 显存：严重碎片化，频繁 OOM。
• 使用配方后：
  1. 开启 FlashAttention：显存访问大幅减少。
  2. 开启 算子融合：Kernel Launch 次数减少 80%。
  3. 开启 KV Cache 复用：显存占用稳定。
  4. 切换到 BF16 精度：利用昇腾 910B 的 Cube Unit 优势。
• 最终状态：
  • 吞吐量：25 tokens/s (提升 5倍)
  • 延迟：~40ms/token
  • 显存：稳定在 40GB 以内。

结论：对于大模型推理，“用什么工具”比“怎么写代码”更重要。配方提供了经过验证的最佳实践，避免了开发者走弯路。

---

六、进阶：如何自定义优化？

如果你有更特殊的需求，配方也留出了扩展接口：

1. 修改融合策略：在 config.yaml 中调整 fusion_policy，指定特定的算子链进行融合。
2. 注入插件：基于 ATB 的 Plugin 机制，在推理流程中插入自定义预处理或后处理逻辑。
3. 调整调度：通过环境变量 HCCL_ALGORITHM 等，微调分布式通信策略。

---

七、总结：昇腾推理的“最后一公里”

cann-recipes-infer 的存在，标志着昇腾生态已经走过了“能用”的阶段，进入了“好用”的时代。

• 对新手：它是入门教材，让你无需阅读几十篇文档就能跑通第一个模型。
• 对老手：它是性能基线，提供了经过工业界验证的最优配置，可作为进一步优化的起点。
• 对企业：它是落地加速器，大幅缩短从模型研发到生产部署的周期。

在这个算力自主可控的时代，拥有一套成熟、高效、易用的推理工具链至关重要。cann-recipes-infer 就是这套工具链的“集大成者”。

下一步行动：

1. 去 GitHub/AtomGit 克隆仓库。
2. 挑一个你感兴趣的模型（比如 LLaMA 或 Qwen）。
3. 跑起来，看看昇腾的速度到底有多快。

配方在手，推理无忧。