国产芯片玩转推荐模型:RecSDK 昇腾推荐生态
作者:昇腾实战派
知识地图:https://blog.csdn.net/Lumos_Lovegood/article/details/161455142
一、背景
推荐系统作为互联网公司的核心业务引擎,广泛应用于电商商品推荐、短视频 Feed 流以及搜索个性化排序等场景。在大规模分布式训练集群中,推荐系统的算力消耗占比超过 30%,是算力消耗最大的场景之一。
与传统 CV/NLP 模型不同,推荐模型(尤其是 CTR 预估模型)的参数量主要集中在 Embedding 层,用于存储物品 ID、用户 ID 等海量稀疏特征。其 Embedding 表的规模往往远超大语言模型(LLM)的 Token 数量,这带来了两大核心技术挑战:
- 性能挑战:超大规模 Embedding 表的查询与更新效率问题。
- 存储挑战:超大规模 Embedding 参数表的存储与管理问题。
在国产化替代的大趋势下,简单的代码移植并不能直接解决上述问题,推荐场景需要一套从底层算子库到上层框架完整适配的生态体系。本文将以开发者视角,深入解析 RecSDK 生态,展示如何基于昇腾 NPU 从零搭建一个完整、高效的推荐系统训练流水线。
二、RecSDK 生态架构解析
如下图所示,推荐大模型应用生态基于昇腾硬件和 CANN 基础软件的底座构建。其核心主要包含算子层、框架层和模型层。算子层主要解决性能问题,包含稀疏/稠密矩阵的高性能计算算子、推荐领域自定义算子、以及处理大规模稀疏矩阵的增删改查和存储功能的算子。框架层主要面向 Torch 和 TensorFlow 两个框架进行适配,并分别实现了全下沉和非全下沉两套方案,其中 Torch 路线适配了业界开源推荐框架 TorchRec。模型层则包含了推荐领域常用的几十个模型的实现,用户可以基于其运行说明直接在昇腾设备上跑起来。

图2-1:RecSDK推荐生态关系图
备注:此架构为作者基于某时间节点自行总结,实际情况可能随着项目演进有所变化,以具体开源代码为准。

图2-2:RecSDK生态核心组件拆解
关键词说明:
稀疏 vs 稠密:推荐领域所讲的稀疏部分通常是指用来表示物品ID或用户ID的特征的稀疏嵌入向量;对应稠密部分通常是指模型的Attention以及MLP部分的参数计算及反向更新。
全下沉 vs 非全下沉:表示计算部分是否全部下沉到NPU上进行。以Torch框架为例,torch_rec_v1 是非全下沉模式,CPU 负责部分稀疏侧逻辑(Hash映射、分桶、去重、AllToAll分发),NPU主要负责做稠密计算(Embedding查表、MLP、Attention)。torch_rec_v2 则是全下沉模式,稀疏和稠密全部在 NPU 上跑,依赖 HierarchicalKV(HKV)做大规模稀疏表存储。全下沉的好处是省掉 H2D 拷贝开销,但需要重新用 AscendC 实现 Hash 映射、分桶、去重、准入淘汰等逻辑。**
流水线并行:用多级流水线方式,让 CPU 和 NPU 同时忙,通过参数 pipe_n_batch 控制流水线深度,通过 Awaitable + Future 实现异步提交,NPU 运行批次 N 的 forward/backward 时,CPU 已经在处理批次 N+1 的 input_dist 了,完美隐藏了 H2D 延迟。
三、模型迁移实战:从GPU到NPU
了解完 RecSDK 框架的大致情况后,一个推荐模型从 GPU 到 NPU 到底需要改些什么呢?本文以 Torch 框架为例,分场景阐述迁移策略。
3.1 PyTorch 适配
对于纯 PyTorch 实现的推荐模型,借助 torch_npu 的适配能力,迁移成本极低。模型主体逻辑通常无需修改,仅需进行少量的设备相关代码替换。

图3-1:Pytorch模型适配样例1如下表列举几个常规修改对照表可供参考:
| 代码适配修改点 | 迁移前代码->昇腾NPU代码 |
|---|---|
| 设备字符串替换 | torch.device(“cuda:0”) -> torch.device(“npu:0”) |
| 张量/模型拷贝 | tensor.cuda() -> tensor.npu() |
| 设备检测 | torch.cuda.is_available() -> torch.npu.is_available() |
| 设备绑定 | torch.cuda.set_device(rank) -> torch.npu.set_device(rank) |
| 通信后端 | torch.distributed.init_process_group(backend=‘nccl’)torch.distributed.init_process_group(backend=‘hccl’) |
当然,以上举例并未包含全部修改点,昇腾生态提供了分析迁移工具(MindStudio 的 msTransplant 迁移工具)支持 PyTorch 训练脚本一键式迁移至昇腾 NPU 的功能,开发者可做到少量代码修改或零代码完成迁移。该工具提供 PyTorch Analyse 功能,帮助用户分析 PyTorch 训练脚本的 API、第三方库 API、亲和 API 以及动态 shape 的支持情况。同时提供了自动迁移和 PyTorch GPU2Ascend 工具两种迁移方式,将基于 GPU 的脚本迁移为基于 NPU 的脚本,这种自动化方法节省了人工手动进行脚本迁移的学习成本,大幅提升了迁移效率(参考链接[12])。
3.2 使用TorchRec 框架
TorchRec 是 Meta(Facebook AI)开源的专门用于大规模推荐系统的 PyTorch 扩展库。其上层主要提供一些简单易用封装好的 API,用户可以很轻松地利用这些 API 来配置不同的 embedding,去做 sharding(分表),在 training 当中做流水线的工作,其底层调用 FBGEMM 算子,是高性能计算库,NPU 侧由 fbgemm_ascend 承接。其大致结构如下所示:

图3-2:TorchRec架构图
当前主流的模型如 Meta(Facebook AI)开源的经典 CTR 模型DLRM(参考链接[9])、业界开源的生成式推荐(GR)模型(参考链接[10])均使用了 TorchRec 框架。
如上所述,RecSDK 昇腾推荐生态提供了 TorchRec 的 NPU 适配版,并支持非全下沉和全下沉两种解决方案。如果用户模型需要使用 TorchRec 框架特有功能,并在非全下沉模式下使用流水并行的方式加速模型训练,那么用户只需要导入 Torchrec 的 NPU 版本,并导入 Hybrid_torchrec 的相关接口。

框架接口导入样例如下所示:

图3-3:TorchRec 的 NPU版接口导入样例
RecSDK 开源仓库提供了完整的快速入门样例,用户参考链接**[4]**即可复现验证。
3.3 调用Fbgemm 算子
FBGEMM(Facebook GEneralMatrix Multiplication)是 Meta 开源的高性能稀疏/稠密算子库,是 TorchRec 的底层依赖。RecSDK 生态提供了 fbgemm-ascend(仓库 gitcode.com/Ascend/fbgemm-ascend),用 AscendC 重写了 fbgemm_gpu 中推荐场景的关键算子,并且接口完全对齐 torch.ops.fbgemm.* 命名空间,因此 Fbgemm 算子的迁移要点极其简单:原生态算子由通用 GPU 计算生态实现,NPU 上安装fbgemm_ascend 后自动切到 AscendC 实现,只需要导入包,业务代码一行不改!
分两种情况,一是通过 TorchRec 间接用 fbgemm(底层调 torch.ops.fbgemm.*)例如 Meta 开源的 DLRM,在迁移适配过程中只需要适配 TorchRec 框架接口即可,底层调用无感知,因为 hybrid_torchrec 框架适配过程中已经替用户做了这件事。

图3-4:TorchRec调用fbgemm_ascend算子适配样例
还有一种更直接的情况:模型本身不用 TorchRec 的稀疏表抽象,但自己在业务代码里直接调用 torch.ops.fbgemm.* 的算子。例如 Meta 开源的 GR 模型(参考链接[11])就是典型的代表,如下示例所示,只需要导入适配包,业务代码完全复用即可。

图3-5:单独调用fbgemm_ascend算子样例
3.4 使用自定义算子
在模型适配过程中,PyTorch 原生的算子和 FBGEMM 算子并不能覆盖所有推荐业务模型场景,往往还需要使用自定义算子。迁移工作量主要在用 AscendC 重写核心算子——这部分由 ops-rec 仓库(https://gitcode.com/Ascend/ops-rec)完成。模型侧只需要写一个适配类或方法,将原版代码中 CUDA kernel 调用换成自定义算子接口。
例如,HSTU(Hierarchical SequentialTransduction Units)是 Meta 在 2024 年提出的推荐场景序列建模模块,用于替代传统的 DIN/DIEN 等基于 attention 的序列编码器,是 GR 模型的核心创新模块。原版 HSTU 基于通用 GPU 算子库(如 Cutlass)实现,NPU 上没有现成的 PyTorch 算子可用,必须用 RecSDK 的自定义算子机制重写。如下图所示,NPU 侧用 ops-rec 仓库实现的自定义 HSTU 算子替代了源码中的算子计算,从而达成模型迁移并提升性能的目的。

图3-6:调用HSTU自定义算子样例
当前 ops-rec 仓库已经实现了各类常规的推荐模型自定义算子,模型适配过程中可以参考算子列表并使用;如果该算子还没有实现,用户可以按照"算子贡献指南"自行完成算子的自定义开发,也可以通过 issue 的方式向社区提出需求,详细步骤请参考 ops-rec 仓库说明。
3.5 其他框架或接口
如果模型迁移中使用了其他训练框架或接口,请参考"昇腾社区"和"昇腾Ascend开源软件仓库",在此不做展开详述。
四、性能调优
模型迁移跑通通常只是第一步,模型跑得快才是关键。昇腾生态提供了完善的性能调优工具链,形成了"采集—分析—优化"的完整闭环。
4.1 性能采集分析
Ascend PyTorch Profiler 是昇腾提供的性能分析工具,你只需要在训练脚本中添加几行代码即可开始采集。如下所示为一个简单的性能采集样例,采集产生的数据文件较多,分析方法也比较灵活,下文介绍几个重要文件及分析方法。详细的性能采集及分析方法可以参考[8]。

图4-1:性能数据采集代码样例
通过 trace_view.json 文件从整体角度查看 AI 任务运行的时序信息,进而分析出可能存在的瓶颈点。trace_view.json 支持使用 MindStudio Insight 工具、chrome://tracing 打开。

图4-2:性能数据可视化图
区域1:上层应用数据,包含上层应用算子的耗时信息。
区域2:CANN层数据,主要包含AscendCL、GE和Runtime组件的耗时数据。
区域3:底层NPU数据,主要包含Task Scheduler组件耗时数据和迭代轨迹数据以及其他昇腾AI处理器系统数据。
区域4:展示trace中各算子、接口的详细信息。单击各个trace事件即可查看。
通过 overlap analysis 查看计算、通信、空闲时间占比,分析出计算卡利用率及掩盖效率,从而分析出瓶颈点。

图4-3:性能数据通算掩盖可视化图
通过 op_statistic_.csv 文件分析各类算子的调用总时间、总次数等,排查某类算子总耗时是否较长,进而分析这类算子是否有优化空间。

通过 op_summary_.csv 文件分析具体某个算子的信息和耗时情况,从而找出高耗时算子,进而分析该算子是否有优化空间。Task Duration 字段为算子耗时信息,可以按照 Task Duration 排序,找出高耗时算子;也可以按照 Task Type 排序,查看不同核(AI Core 和 AI CPU)上运行的高耗时算子。

4.2 性能优化样例
- 优先使用融合算子
例如,自定义融合算子 ln_mul 把 LayerNorm + Mul 融合成一次核函数调用,提升了算子性能。

图4-4:融合算子替代单算子代码样例
当然还有更复杂的例子如以上介绍的 HSTU 算子就是将 QK^T 矩阵乘、加偏置、SiLU + 缩放、掩码、PV 矩阵乘等步骤融合成一个算子实现。
- Embedding 查表走 fbgemm-ascend
当需要管理和查询多张表,且做大规模查表时,推荐使用 fbgemm-ascend 提供的高性能实现。

图4-5:使用torchrec框架的查表算子替代原生查表算子代码样例
- 流水并行深度调优
如上文 overlap analysis 分析所示,利用率不高且通信掩盖不明显,可以通过流水并行的方式优化。

图4-6:使用流水并行代码样例
五、生态共建:为昇腾推荐生态贡献代码
整个昇腾推荐生态的代码都在 gitcode.com/Ascend/ 下完全开源开放,欢迎到社区贡献!
未来值得关注的方向:
更多算子覆盖——持续用 AscendC 重写业界开源生态中已有的算子。
更多模型覆盖——迁移适配更多推荐模型,让生态更易用。
训练/推理一体化——训练后的模型直接在昇腾推理框架上部署。
一句话总结:当前的昇腾推荐生态,已经让"国产 NPU 跑推荐模型"这件事从"困难重重"变成了"开箱即用"。如果你有推荐模型的 NPU 迁移需求,试试 RecSDK;如果你发现缺少某个算子,写个 AscendC 实现提个 PR,就是在为整个生态做贡献!
参考文档:
- 昇腾社区开发者文档:https://www.hiascend.com/developer
- 昇腾Ascend开源软件仓库:https://gitcode.com/Ascend
- RecSDK开源软件仓库:https://gitcode.com/Ascend/RecSDK
- RecSDK 快速入门样例:https://gitcode.com/Ascend/RecSDK/blob/develop/docs/zh/torch/torch_rec_v1/03_quick_start/quick_start.md
- RecSDK 已适配模型样例:https://gitcode.com/Ascend/RecSDK/tree/develop_torch_benchmark/benchmark
- fbgemm-ascend开源软件仓库:https://gitcode.com/Ascend/fbgemm-ascend
- HierarchicalKV-ascend开源软件仓库:https://gitcode.com/Ascend/HierarchicalKV-ascend
- ops-rec开源软件仓库:https://gitcode.com/Ascend/ops-rec
- DLRM 开源模型仓库:https://github.com/facebookresearch/dlrm/tree/main/torchrec_dlrm
- 开源GR模型仓库:https://github.com/NVIDIA/recsys-examples/blob/main/README.md
- META开源GR模型:https://github.com/meta-recsys/generative-recommenders
- 模型分析迁移工具:https://www.hiascend.com/document/detail/zh/CANNCommunityEdition/latest/devaids/migrationtools/msfmktransplt/README.md
- 性能调优工具:https://www.hiascend.com/document/detail/zh/canncommercial/latest/devaids/Profiling/atlasprofiling_16_0059.html
- 昇腾社区协作指南:https://gitcode.com/Ascend/community/blob/master/docs/role-guidance.md
cial/latest/devaids/Profiling/atlasprofiling_16_0059.html) - 昇腾社区协作指南:https://gitcode.com/Ascend/community/blob/master/docs/role-guidance.md
鲲鹏昇腾开发者社区是面向全社会开放的“联接全球计算开发者,聚合华为+生态”的社区,内容涵盖鲲鹏、昇腾资源,帮助开发者快速获取所需的知识、经验、软件、工具、算力,支撑开发者易学、好用、成功,成为核心开发者。
更多推荐
所有评论(0)