前言

前两天，我一个朋友跳槽去了华为诺亚方舟实验室。

这哥们儿之前在外企干了五年，天天写PyTorch代码，调调ResNet、YOLO什么的，日子过得也算滋润。结果一入职华为，第一周就被扔了一个任务：“给我们写一个自定义算子，要求在昇腾NPU上跑，比PyTorch原生快30%。”

他当时就懵了——“啥？自定义算子？我连CUDA都没写过啊！”

后来他才知道，有个仓库叫catlass，专门解决这类问题。

---

一、catlass是什么？

catlass，全称"CAttLass"，是昇腾算子模板库。

这个名字很有意思——“CAttLass"里的"CAtt"是"Custom Attention”（自定义注意力）的缩写，“Lass"在英文里是"女孩/少女"的意思。但中文社区一般直接叫它"catlass”（猫+拉斯）。

说人话：catlass不是算子，是制作算子的"炼器诀"。

你可能用过ops-nn里的MatMul、Softmax，也见过ops-transformer里的FlashAttention。但如果你想自己写一个全新的算子（比如一个新的激活函数、一个新的融合算子）呢？

这就是catlass干的事——它提供了一套完整的"算子开发模板"，告诉你怎么在昇腾CANN上高效地实现自定义算子。

仓库地址：https://atomgit.com/cann/catlass

---

二、catlass和CUTLASS的关系

等等，"catlass"这个名字听起来很耳熟？

对，你没猜错——它和NVIDIA的CUTLASS（CUDA Templates for Linear Algebra Subroutines）有血缘关系。

CUTLASS是NVIDIA开源的CUDA算子模板库，提供了GEMM、Convolution等核心算子的模板实现。开发者可以在CUTLASS模板基础上，定制自己的高性能算子。

catlass就是昇腾版的CUTLASS。

它把CUTLASS的核心思想移植到了昇腾NPU上：

• 同样的模板化设计（通用框架 + 具体实现）
• 同样的分块策略（Tile/SMT/Warp/Thread分层）
• 针对昇腾达芬奇架构专门优化

但是，catlass不是简单的"翻译"——它针对昇腾NPU的硬件特性做了大量适配：

• NPU的Cube Unit和Vector Unit的协同
• 昇腾特有的内存层次结构（HBM → L2 Cache → L0 Cache → Register）
• HCCL集合通信的融合

所以catlass是一个"站在CUTLASS肩膀上，但独立发展"的昇腾专属算子模板库。

---

三、catlass的核心设计理念

1. 分离关注点：Composer、Mpipier、Tiler

catlass的设计哲学是"分离关注点"。

一个高性能算子的实现，要考虑很多维度：

• 数据分块（Tile）：大矩阵怎么切成小快，适配缓存
• 线程调度（Schedule）：每个线程干什么，怎么协作
• 指令发射（Instruction）：具体用什么指令计算

catlass把这三个维度解耦了：

• Composer：定义"计算逻辑"（Compose）
• Mpipier：定义"指令映射"（Map to instructions）
• Tiler：定义"分块策略"（Tile strategy）

这个设计的好处是：你可以自由组合不同的Composer/Mpipier/Tiler，就像搭积木一样。

用修仙小说来比喻：

• Composer = 心法：告诉你"要练什么内力"
• Mpipier = 招式：告诉你"怎么出剑"
• Tiler = 步法：告诉你"走位怎么配合"

三者合一，才能发挥最大威力。

2. 融合策略：算子融合的模板支持

catlass另一个核心能力是算子融合。

算子融合（Kernel Fusion）是性能优化的王牌技术——把多个算子合并成一个，减少内存访问。

但手动写融合算子很难：

• 边界条件处理复杂
• 共享中间结果的存储分配
• 寄存器压力和 occupancy 的平衡

catlass提供了融合模板：

• 你只需要声明"我要融合A和B"
• 模板帮你生成融合后的代码框架
• 你再填入具体的计算逻辑

支持的融合模式：

• MatMul + BiasAdd + Activation
• MatMul + Softmax + MatMul（Attention融合）
• Conv + BatchNorm + Activation
• LayerNorm + GELU

3. 自动调优：找到最优配置

即使有了模板，具体的参数（比如Tile大小、Block大小）还是要根据具体硬件来调。

catlass集成了自动调优工具：

• 内置的参数搜索空间（Tile sizes、Block sizes等）
• 烧录到硬件上实际运行
• 根据实际性能选择最优配置

这个过程叫"Profiling"，是算子开发的必经之路。catlass把整个流程模板化了，你不需要从头写Profiling代码。

---

四、catlass的典型使用场景

场景1：自定义融合算子

假设你要实现一个自定义的融合算子：MatMul + GELU + Add

用catlass，写起来是这样的：

// 1. 定义算子
class MatmulGeluAddFusion : public catlass::Composer {
    // 定义输入输出
    Input<A> a;      // [M, K]
    Input<B> b;      // [K, N]
    Input<Add> add;  // [M, N]
    Output<C> c;     // [M, N]

    // 2. 定义计算逻辑（Composer）
    void Compute() override {
        // 分块计算
        for (int m_tile = 0; m_tile < M; m_tile += MTile) {
            for (int n_tile = 0; n_tile < N; n_tile += NTile) {
                // MatMul tile
                auto tile_result = GemmTile(a[m_tile], b[n_tile]);

                // GELU activation（融合在这里）
                auto activated = Gelu(tile_result);

                // Add
                auto final_result = Add(activated, add[m_tile]);

                // 写回
                c[m_tile][n_tile] = final_result;
            }
        }
    }

    // 3. 配置Tiler（分块策略）
    TilerConfig GetTiler() override {
        return {
            .mtile = 128,
            .ntile = 256,
            .ktile = 64
        };
    }
};

// 4. 编译并注册算子
CATLASS_REGISTER_KERNEL(MatmulGeluAddFusion);

对比PyTorch原生实现：

# PyTorch实现（三个独立算子）
result = torch.nn.functional.gelu(torch.matmul(input, weight) + bias)

catlass的优势：融合后只需一次kernel launch，省掉中间结果的显存读写。

场景2：Attention融合优化

Attention计算的标准实现是：

Q = input @ W_q
K = input @ W_k
V = input @ W_v
scores = Q @ K.T / sqrt(d_k)
weights = softmax(scores)
output = weights @ V

这中间有3个MatMul、1个Softmax、以及各种reshape和scale。

用catlass可以把这整个流程融合成一个算子：

class AttentionFusion : public catlass::Composer {
    void Compute() override {
        // 1. QKV融合计算
        auto [q, k, v] = QKVSplit(input);

        // 2. 计算Attention分数（融合了scale和softmax）
        auto scores = ComputeAttention(q, k);

        // 3. 计算输出
        auto output = Softmax(scores) @ v;

        output.Save();
    }
};

融合后的性能收益：

• 显存占用减少50%（不需要存中间Q、K、V）
• 访存带宽减少40%
• 端到端延迟降低30-50%（取决于序列长度）

---

五、catlass vs 其他仓库

catlass vs ops-nn

维度	ops-nn	catlass
定位	基础算子库	算子模板库
内容	现成的MatMul/Softmax/LayerNorm	开发新算子的模板
用户	只想用算子的人	想自定义算子的人
关系	catlass可以生成ops-nn里的算子	是ops-nn的"上游"

catlass vs CUTLASS

维度	CUTLASS	catlass
硬件	NVIDIA GPU	昇腾NPU
模板思想	相同	相同
分块策略	针对GPU内存层次	针对NPU内存层次
融合支持	有限	丰富的融合模板

catlass vs ATB

维度	ATB	catlass
定位	Transformer加速库	算子模板库
粒度	完整的Transformer组件	底层算子实现
用户	用PyTorch跑大模型的人	专门写算子的人
关系	ATB底层可能用catlass写的算子	是ATB的"上游"

---

六、实战：用catlass开发一个自定义算子

说了这么多，怎么实际用起来？

环境准备

# 克隆仓库
git clone https://atomgit.com/cann/catlass.git
cd catlass

# 安装依赖（需要CANN环境和昇腾编译器）
pip install -r requirements.txt

# 设置环境变量
export ASCEND_TOOLKIT_HOME=/path/to/ascend-toolkit
export PATH=$PATH:$ASCEND_TOOLKIT_HOME/bin

⚠️ 踩坑预警：catlass的编译需要昇腾编译器（Ascend Compiler），不是普通的GCC。如果你没有安装CANN的完整开发包，编译会报错。确保ASCEND_TOOLKIT_HOME指向正确的路径。

开发流程

1. 定义算子：继承Composer类，实现Compute()方法
2. 配置Tiler：设置分块大小
3. 编译烧录：用catlass-cli编译并生成NPU可执行文件
4. 性能调优：用Profiling工具找出最优配置
5. 集成部署：在PyTorch/MindSpore里注册自定义算子

完整流程可以参考cann-learning-hub里的catlass教程。

---

七、那些你可能想问的问题

Q1：我只是想用算子，需要学catlass吗？

A：不需要。catlass是给"写算子的人"用的，不是给"用算子的人"看的。如果你只是想用昇腾NPU跑模型，直接用ops-nn、ATB这些现成的库就够了。

Q2：catlass难学吗？

A：有门槛。需要了解：

• 昇腾NPU的硬件架构（Cube Unit、Vector Unit、内存层次）
• 并行计算的基本概念（Thread、Warp、Block）
• CUDA/OpenCL等并行编程经验会有帮助

但catlass的文档和示例比较全，跟着教程走能入门。要精通的话，还是得深入理解硬件。

Q3：catlass和Ascend C有什么区别？

A：Ascend C是昇腾官方的算子开发语言，类似于CUDA C。catlass是基于Ascend C的模板库，帮你快速生成Ascend C代码。

简单说：Ascend C是"汇编"，catlass是"C++模板"。

Q4：我在用MindSpore/Paddle，能用catlass吗？

A：可以。catlass生成的算子最终是通过AscendCL暴露的，任何能调用AscendCL的框架都能用。

---

结尾

写到最后，想起我那个朋友后来的故事。

他花了两周时间啃catlass的文档，照着示例一个一个跑，终于在第三周写出了第一个自定义算子——一个融合了MatMul、BiasAdd、GELU的优化版全连接层。

"性能测试结果出来那一刻，"他说，“比PyTorch原生快了32%。”

那一刻，他大概体会到了修仙小说里"突破境界"的快感。

catlass就是这样一本书——它不直接给你力量，但它教会你怎么获取力量。

如果你也想在昇腾NPU上开发高性能自定义算子，catlass值得一看。

仓库地址（纯URL）：

https://atomgit.com/cann/catlass