# 以开发者为中心 · 主题分享纪要昇腾算子开发体验全面升级
以开发者为中心 · 主题分享纪要昇腾算子开发体验全面升级
分享:李守平 · 昇腾计算业务基础软件业务总经理
主持:张宏俊 · 智源 FlagOS 算子库负责人
分享从 950 系列的硬件创新,讲到 CANN 架构、开源社区与 Agent 编程,主线只有一条:让开发者更容易把昇腾的算力用好。/
来源
https://r.qq.com/wetype/voicerecorder?share_token=shr-exdW6MU4Gk3Vqo0tqUQeJcGOSqkJQqHGHsxGpfIKKfv1SJHpfFFCsrPOPQebWo7Q
https://www.bilibili.com/video/BV1Xfnc65Ee9?spm_id_from=333.788.videopod.sections&vd_source=7d3841cb81fdca8b20a31fa9ee5ec8ef
PART 1
硬件底座:950 为编程而变
一年一代:从 950 到 970
去年
805 峰会
发布一年一代路标
今年
昇腾 950
已发布 · 本次重点
明年
960
持续改善编程体验
后年
970
持续改善编程体验
950 在芯片代际上的硬件创新,直接服务于开发者的编程体验。
CMD 与 CMT 混合编程
950 新增 CMD 与 CMT 两种方式,可在同一个 Kernel 内混用:常规的高并发数据走 CMD,离散访存场景走 CMT。
同一个 Kernel 内
CMD
连续数据空间——传统调度方式,经 reg space 直接 load / store 高速读写,算完回写内存
不同指令交叉执行 · VF 融合
CMT
索引 / 非连续访存——用索引编程处理非连续存取,与前段数据直接共享
开发者按数据形态选择范式即可,表达更灵活、开发难度更低。
Vector 与 Cube:配比与通路
两类计算单元的算力配比从 1:16 调整为 1:8,数据通路由“经近存”改为两者直连。
过去
Vector : Cube = 1 : 16
Vector ×1
Cube ×16
Vector
↔ 经近存 ↔
Cube
→
950 起
Vector : Cube = 1 : 8
Vector ×1
Cube ×8
Vector
↔ 直连通路 ↔
Cube
调整动因:通算融合场景下,越来越大的融合算子需要存储单元与两类计算单元高效协同、实现数据局部闭环。
访存对齐与低比特格式
访存
Cube 访存对齐从 512 bit 降到 128 bit——访存效率决定计算数据供给,上层开发者由此更容易打满带宽。
数据格式
新增 F8、FP4 与自研 HF8,面向 token 工厂(Agent 编程)时代对低比特数据格式的需求。
PART 2
CANN 与编程体系
CANN 水平分层架构
架构从垂直改为水平:开发者与模型都可以在每一层上做优化。
各类库
编译器与编程语言
运行时
驱动
除编译器外,大几百个接口全部开放
源码全部开源
开源实践作为语料,供开发者与 Agent 借鉴
拆包后:34 个包、70+ 个仓,均可独立升级与编译;编译与构建时长也已优化。
场景模板库:逐层封装
把 token 工厂与通算融合两大类场景的实践封装为模板库,两条链路逻辑一致、自底向上逐层封装。
场景一 · token 工厂
自底向上 ↑
单条指令
load 3D / 2D
数据块切分
矩阵 block 后处理
kernel 编写
最上层
场景二 · 通算融合
自底向上 ↑
单条指令
硬件指令
单核
分布式
跨节点远程拷贝
最上层
分层符合开发者既有习惯,也为编译器自动调优(参数空间寻优、算力—带宽平衡)留出空间。
三种通信编程方式
负载在高吞吐与低时延之间各有侧重,昇腾提供三种通信编程方式按场景选择。
高吞吐
AI Core 驱动
适配训练、推理 Prefill 等高吞吐负载
调度下发直接经 AI Core 完成,不额外占用计算核资源
低时延
Vector 驱动
适配解码(Decode)等时延敏感场景
不出核,在同一通道内完成算子与调度的融合下发
柜内超节点
CCU950 新增
大量复用片上内存:过去 N 条指令的读写,现在 1 条指令完成共享与下发
天然零拷贝;配合确定性计算的算法创新,通信效率显著提升
PART 3
开放生态与标准化
Triton 与 FlagIR 联创
与智源 FlagOS 联创中间层:上层原样复用原生社区,下层经 Ascend NPU IR 对接昇腾硬件。
原生社区表达 · 原样复用
Triton、FlagOS 的上层定义与调优参数
FlagIR · 承上启下
北向 · 开发者 ↑
南向 · 芯片 ↓
40+ IR 定义
20+ Pass
Ascend NPU IR 接口
面向昇腾硬件的标准化接口层
FlagIR 承担两件事:让上层表达良好映射到硬件缓存;定义 IR 算子并实现编译 Pass。
规模验证——1000+ 算子不改一行代码,一次编译通过、精度正确。
开箱调优——autotune 增加昇腾亲和的局部配置,配几个参数即可,无需重写。
性能表现——不少场景下优于传统算子实现;相关能力已贡献回 FlagOS 与 Triton 社区。
虚拟指令集:跨代无感
封装 120+ 条虚拟指令并开源,接口已相对稳定,用来吸收芯片的代际变化。
上层算子开发(Triton、TileLang 等)
120+ 条虚拟指令 · 已开源、接口稳定
转换为物理指令 · 对接集成编译器
昇腾芯片:950 → 960 → 970
上层开发者不感知指令的代际变化。
与 TileLang 社区的全流程已打通:DeepSeek 社区上的许多 TileLang 算子,可直接经该层接入。
社区规模:九个月的成绩单
去年底完成开源开放,九个多月发展至今,已成为国内最活跃的 AI 基础设施社区之一。
460万+
昇腾社区注册用户
5000+
CANN 月活跃用户
80+
开源仓
6000万+
累计下载次数
注:以上为分享中披露的数据口径。
生态联动与行业算子库
主流社区
与 PyTorch、vLLM、SGLang、FlagOS 等 90+ 社区联合互动,底层能力主动对接,开发者使用“丝滑”。
基座模型
DeepSeek、Kimi 等 80+ 基座模型提供开源算子深度优化的参考实践,开箱性能好。
调优实践
上层开放 40+ 开源仓,沉淀模型变体、切分策略与算子融合的调优方法。
行业共建
50+ 头部企业与高校以 SIG 形式入驻,围绕电力、交通、能源等场景,贡献 26 个行业算子库,下载量大几万次。
PART 4
Agent 编程与开发体验
Agent 编程:把经验 skill 化
把编程经验整理为 200+ 条 skills,让 Agent 自主寻优、自主找优化方向;全流程开发环境也由此简化了初始算子编程。
大量算子的初始性能
理论规格 = 100%
≈ 60–70%
每条 skill 按原生方式生成算子,功能与精度已验证 OK;口径为相对理论规格的推算区间,性能仍在持续优化。
全链路体验与算力支持
一键下载软件包
→
一键编译(源码可得)
→
发布上线
→
三方社区对接
围绕开发体验做了全链路优化。
案例资料——上万个场景化案例沉淀在社区,学习知识体系完成更新。
算力资源——在既有资源之外,云社区提供 1 万多卡算力,一键申请后软件包可直接进入环境编码。
经费支持——今年投入 2000 多万元基地费用,支持社区任务中的开发者创新。
三点贯穿的思路
硬件为可编程性设计——配比、通路、对齐的调整,都以“开发者容易用满算力与带宽”为出发点。
上层复用,底层深耕——Triton、PyTorch 等上层生态原样兼容,差异化收敛在 IR、虚拟指令与通信等底层。
为 Agent 协同预置——开源实践既给人参考,也作为语料与 skills,让 Agent 能自主寻优。
结尾,李守平邀请开发者持续关注 CANN 与昇腾社区,获取实践干货,参与贡献与交流。
鲲鹏昇腾开发者社区是面向全社会开放的“联接全球计算开发者,聚合华为+生态”的社区,内容涵盖鲲鹏、昇腾资源,帮助开发者快速获取所需的知识、经验、软件、工具、算力,支撑开发者易学、好用、成功,成为核心开发者。
更多推荐
所有评论(0)