ATC（Ascend Tensor Compiler）昇腾张量编译器是 CANN 架构核心离线模型编译工具，在昇思 MindSpore 大模型链路中承担MindIR 模型解析、算子融合优化、算子调度生成、生成昇腾 om 离线模型的关键角色。针对大模型场景，面临模型体量巨大、动态输入维度复杂、KV‑Cache 算子编译开销高、算子不兼容、编译耗时长等业务痛点，提供大模型算子分片编译、动态维度分档、算子融合控制、并行编译、精度模式控制五大核心能力，可完成 LLM 大模型从 MindSpore 导出 MindIR 到昇腾 om 离线推理模型全链路编译，大模型编译耗时降低 30‑60%，适配大语言模型、多模态大模型离线推理业务。本文从大模型编译业务痛点、ATC 运行原理、实操配置脚本、部署验证四个维度，系统讲解 MindSpore 大模型场景 ATC 工具完整运行流程，帮助开发者掌握昇腾大模型离线编译实践能力。

一、MindSpore 大模型编译痛点与 ATC 优化核心思路

MindSpore 训练 / 量化导出 MindIR 大模型，直接使用 ATC 编译生成 om 离线模型，大模型场景会遇到四类典型痛点：

1. 大模型编译内存与时间开销大：LLM 模型参数量几十 GB，原始全量编译占用极高主机内存，单进程编译时间很长，容易出现 OOM、编译超时失败。

2. 输入维度动态复杂：大模型输入 prompt 长度、KV‑Cache 序列长度不断变化，固定 shape 编译无法满足真实推理业务；动态 shape 配置不合理，会导致推理性能低下。

3. 算子兼容与融合风险：大模型特有 PagedAttention、RotaryPositionEmbedding 等算子，存在算子缺失、过度融合 / 融合冲突，编译成功但推理输出异常、出现 NaN。

4. 精度模式选择困难：FP16/FP32 / 混合精度设置不当，编译后 om 模型出现精度掉点；缺少便捷手段控制部分算子精度。

ATC 大模型编译优化核心思路：MindIR 模型解析→图优化算子融合→算子分片切分→动态维度分档配置→并行算子编译→生成 om 离线模型。针对大模型开启分片编译、并行编译能力，合理配置动态 dims 档位，控制算子融合开关与精度模式，在编译阶段规避内存超限、算子兼容、动态维度不合理等问题，输出适配昇腾推理硬件的 om 模型。

二、ATC 工具大模型场景核心运行技术

1. ATC 完整运行流水线（核心技术）

ATC 处理 MindSpore MindIR 模型分为五个阶段：

1. 模型解析加载：读取 MindIR 图结构、权重参数，做图合法性校验；

2. 计算图优化：算子融合、常量折叠、死代码删除、公共子表达式消除；可通过 fusion_switch 配置关闭部分危险融合；

3. 大模型分片切分：超大模型自动 / 手动分片，把大模型切分成多段子图，降低单段编译内存峰值；

4. 算子编译生成：将上层算子映射昇腾 AI 算子库，生成 AI Core/AICPU 指令，开启多进程并行编译；

5. 生成 om 产物：整合算子二进制、权重、输入输出元信息，输出昇腾 om 离线模型文件。

2. 大模型分片编译能力

针对几十 GB 级别 LLM 模型：

• 支持 weight‑only 分片，权重分段加载编译，显著降低编译阶段主机内存占用；

• 支持模型逻辑分片，把 Transformer 层切分为多个子图编译；

• 分片编译后输出完整 om，推理侧对上层业务透明。

3. 动态维度分档配置（大模型必备）

LLM 推理输入序列长度不固定，ATC 不支持无限制任意动态维度，采用动态分档 dynamic_dims机制：

• 设置多组序列长度档位，编译阶段预生成多档硬件调度；

• 推理运行时选择匹配档位执行，兼顾灵活性与推理性能；

• 档位不宜过多，档位越多编译时间与 om 文件体积越大。

4. 算子融合开关与自定义算子支持

• 通过fusion_switch_config_file_path传入配置文件，关闭部分会造成大模型异常的算子融合规则；

• 支持加载自定义算子插件，解决 PagedAttention 等大模型特有算子缺失问题。

5. 并行编译与精度模式控制

• 环境变量TE_PARALLEL_COMPILER开启算子多进程并行编译，缩短大模型编译耗时；

• 支持precision_mode精度模式：force_fp16、force_fp32、allow_mix_precision，对部分算子单独指定精度，缓解编译后精度掉点。

三、核心配置与代码实践（环境脚本、ATC 命令、融合配置）

环境说明：openEuler 22.03 LTS，CANN 8.0 及以上，MindSpore 导出的 MindIR 大模型。

1. CANN 环境变量加载脚本

#!/bin/bash
#加载CANN ATC环境变量，大模型编译前执行
export ASCEND_TOOLKIT_PATH=/usr/local/Ascend/ascend‑toolkit‑8.0.RC1
export PATH=${ASCEND_TOOLKIT_PATH}/atc/bin:$PATH
export LD_LIBRARY_PATH=${ASCEND_TOOLKIT_PATH}/atc/lib64:$LD_LIBRARY_PATH
export ASCEND_OPP_PATH=${ASCEND_TOOLKIT_PATH}/opp
#开启算子并行编译，取值1‑32，大模型推荐16
export TE_PARALLEL_COMPILER=16
#日志输出到stdout，方便定位编译报错
export ASCEND_SLOG_PRINT_TO_STDOUT=1

2. fusion_switch 融合开关配置 fusion.cfg

#大模型：关闭部分风险较高融合规则，防止推理出现NaN
[FusionSwitch]
enable_graph_fusion:True
#关闭部分大模型容易出问题的融合
fusion_concat_split:False
fusion_transpose_mul:False

3. ATC 编译 MindSpore MindIR 大模型完整命令示例

#!/bin/bash
# MindSpore导出MindIR，ATC编译生成om，LLM大模型示例
atc \
--model=./llama2_7b.mindir \
--framework=1 \
--output=./llama2_7b \
--soc_version=Ascend310P3 \
#大模型输入：input_ids、attention_mask、kv‑cache动态维度
--input_shape="input_ids:‑1,‑1;attention_mask:‑1,‑1" \
--dynamic_dims="1,64;1,128;1,256;1,512;1,1024;1,2048" \
#精度模式，大模型常用force_fp16
--precision_mode=force_fp16 \
#融合控制，关闭部分风险融合
--fusion_switch_config_file_path=./fusion.cfg \
#日志级别
--log=info

4. MindSpore 侧导出 MindIR Python 示例（ATC 输入源）

import mindspore
from mindspore import context

context.set_context(mode=context.GRAPH_MODE, device_target="Ascend")

#加载量化/训练完成的大模型ckpt
net = mindspore.load_checkpoint("./llama2‑7b.ckpt")

#构造虚拟输入，用于导出mindir
input_ids = mindspore.Tensor(np.zeros((1,512)), mindspore.int32)
attention_mask = mindspore.Tensor(np.zeros((1,512)), mindspore.int32)

#导出MindIR，作为ATC输入
mindspore.export(net, input_ids, attention_mask,
                 file_name="./llama2_7b",
                 file_format="MINDIR")
print("MindIR导出完成，供ATC编译使用")

5. ATC 编译结果检查与问题排查脚本

#!/bin/bash
#查看ATC编译日志
cat $HOME/ascend/log/plog/*.log

#解析om模型，查看输入输出元信息
atc --mode=3 --model=./llama2_7b.om --output=./model_check

#查看编译报告
cat ./model_check/check_result.json

日志关键字：ATC run success代表编译成功；weight‑split enable代表开启大模型权重分片；dynamic dims config loaded动态档位配置加载完成。

四、部署步骤与性能验证

1、部署前置条件

1. 硬件：昇腾 AI 推理处理器；

2. 操作系统：openEuler 22.03 LTS；

3. 软件：CANN 8.0+，MindSpore，已经导出合法 MindIR 大模型；

4. 机器内存：大模型编译建议主机内存不小于模型权重 2 倍。

2、完整 ATC 编译调优流程

1. MindSpore 训练或者量化后，导出 MindIR 模型文件；

2. 加载 CANN 环境变量，配置TE_PARALLEL_COMPILER并行编译；

3. 编写 fusion.cfg 融合开关配置，针对大模型关闭风险融合；

4. 编写 ATC 命令，配置dynamic_dims合理序列档位，设置 precision_mode 精度；

5. 执行 atc 编译，观察日志，确认出现ATC run success；

6. 使用--mode=3解析 om，校验输入输出张量名称、维度；

7. 把 om 送入 MindIE 推理服务，做精度、推理时延验证；

8. 若编译 OOM，开启权重分片，减少TE_PARALLEL_COMPILER并行数；若推理出现 NaN，调整 fusion 关闭的融合项与精度模式。

3、性能验证测试对比

测试环境：openEuler22.03‑LTS，CANN8.0，Llama2‑7B 模型，昇腾 310P。

验证要点

1. 终端输出ATC run success，确认 om 模型生成；

2. 解析 om 的 check_result.json，确认动态 dims 档位配置正确；

3. 送入推理服务，输出文本无乱码、NaN，精度符合预期；

4. 不同 prompt 长度档位均可正常推理；

5. 长时间推理，无内存泄漏、算子报错。

五、总结

ATC 昇腾张量编译器是 MindSpore 大模型链路中，把 MindIR 转换为昇腾 om 离线推理模型的核心工具。完整运行流程包含模型解析、图优化融合、分片切分、算子编译、输出 om 模型。针对 LLM 大模型，通过权重分片编译、算子并行编译、动态 dims 分档、融合开关控制、精度模式配置，解决编译内存高、耗时长、动态维度不合理、算子融合异常、精度掉点等痛点。

适用场景：MindSpore 导出 LLM 大模型、多模态大模型，需要生成昇腾 om 离线推理模型；

不适用场景：需要在线动态编译，不适合纯运行时编译场景。