前言

在昇腾AI软件栈中，模型压缩是打通训练与推理之间那条狭窄通道的关键环节。CANN（Compute Architecture for Neural Networks）作为华为昇腾系列AI处理器的全栈软件平台，其推理部署链路从训练框架导出模型开始，经过ATC模型转换工具编译为离线模型，最终由ACL运行时驱动昇腾NPU执行推理。AMCT（Ascend Model Compression Toolkit）嵌入在这条链路的模型导出与转换之间，承担离线量化校准与模型优化的职责，使FP32训练模型在不改变网络结构定义的前提下，通过校准数据集驱动激活值分布统计，生成适配昇腾NPU INT8计算特性的量化模型。

昇腾NPU的达芬奇架构采用3D Cube矩阵计算单元，INT8吞吐量是FP16的二倍、FP32的四倍，但这种理论收益只有在模型权重和激活值都被正确量化到INT8并避开计算陷阱时才能兑现。AMCT的工作就是在这条量化路径上做精确校准，让每一个卷积层、全连接层、矩阵乘法节点都能在INT8表示下维持接近FP32的精度。理解AMCT在CANN栈中的定位，是做好量化部署的前提。它不是一个训练框架插件，不参与梯度更新，不修改反向传播图；它是一个离线工具，读取已经训练好的模型文件，在用户提供的校准数据集上执行前向推理，收集激活值分布统计，并依据选定算法将量化参数写入模型，输出一个经过量化标注的模型文件，供后续ATC转换时使用。

AMCT支持从ONNX、TensorFlow PB、PyTorch TorchScript等多种训练框架格式读取模型。每种框架的适配层负责将原生模型解析为AMCT内部的图表示，统一执行校准和量化参数生成。这意味着用户不需要改动训练代码，不需要重新训练，只需要准备好校准数据集和量化配置文件，就能驱动AMCT生成量化模型。量化与剪枝是模型压缩的两个主要方向，AMCT当前版本聚焦于量化，包括训练后量化（Post-Training Quantization, PTQ）和量化感知训练（Quantization-Aware Training, QAT）的导出支持。剪枝功能不在AMCT的能力边界内，需要借助其他工具或手动修改网络结构实现。明确这个边界，避免在错误的工具上耗费时间。

量化校准的核心原理

量化校准的目标是用有限的比特数表示原本用FP32存储的权重和激活值，同时让量化后的模型输出尽可能接近原始模型的输出。这个过程的核心难题在于激活值的分布往往不是均匀的，存在长尾、偏斜、多峰等复杂形态，简单的线性量化会导致大量有效动态范围被浪费在那些几乎没有概率质量的区间上。AMCT提供两种校准算法供用户选择：KL散度校准和百分位数校准，各自适合不同的激活值分布特征和网络类型。

KL散度校准的思路是将FP32激活值直方图与量化后的激活值直方图做KL散度最小化，找到那个让信息损失最小的量化阈值。这种方法对分布形态比较敏感，在激活值存在明显峰值且尾部逐渐衰减的场景下表现较好，适用于卷积神经网络中常见的激活分布。百分位数校准则直接取激活值分布的某个百分位点作为量化阈值，比如99.9%分位数，把超出该阈值的极少数激活值截断。这种方法计算简单，对异常值鲁棒，适合激活值分布中存在极端离群点的场景。选择哪种校准算法，需要结合具体网络的激活值分布特征和精度要求来决定，没有 universally 最优的选项。

校准数据集的选择直接影响量化质量。校准集不需要是训练集或验证集的完整子集，但必须能够代表模型在实际推理时会遇到的数据分布。通常从训练集中随机抽取100到500个样本作为校准集，确保各个类别都有覆盖，避免校准集偏斜导致某些层的激活值分布统计失真。校准集不需要标签，因为校准过程只执行前向推理，不做损失计算或精度评估。输入数据需要经过与训练阶段相同的预处理流水线，包括归一化参数、裁剪方式、通道顺序等，任何预处理差异都会导致激活值分布偏移，引入额外的量化误差。

激活值分布统计在校准过程中逐层进行。AMCT在校准数据集上执行前向推理，在每一个可量化节点的输出处挂载钩子，记录激活值的张量数据，并计算直方图或直接计算分布统计量。对于权重，因为推理时是固定的，不需要校准数据集，可以直接从模型文件中读取并进行量化参数计算。权重量化通常采用对称量化，激活值量化采用非对称量化，这种组合在昇腾NPU上能够获得较好的计算效率。量化参数包括缩放因子（scale）和零点（zero point），这些参数会被写入量化模型的算子属性中，在后续ATC转换时指导离线模型生成。

达芬奇架构对INT8计算的数据布局有特定要求，权重和激活值的量化参数必须满足硬件约束才能发挥Cube单元的最大吞吐。AMCT在生成量化参数时会自动考虑这些约束，但用户也需要理解量化参数与硬件执行效率之间的关系。量化参数的计算精度、量化窗口的选择、校准数据集的覆盖度，都会最终影响昇腾NPU上INT8计算的效率表现。在量化校准阶段投入精力做精细化调整，能够在部署阶段获得成倍的性能回报。

# calibration data preparation example
import amct_onnx

# load calibration dataset without labels
calib_images = load_calib_data('./calib_set/', num_samples=200)

# create calibration generator
def calib_data_gen(batch_size=1):
    for img in calib_images:
        x = preprocess(img)  # same preprocessing as training
        yield [x]

# configure calibration parameters
config_json = './config.json'

The calibration data generator must yield batched inputs; AMCT calls this generator during calibration to collect activation statistics layer by layer.

量化配置文件详解

AMCT通过JSON格式的配置文件控制量化行为，每一个字段都对应量化流程中的一个具体决策。理解这些字段的含义，是做精细化量化的基础工作。配置文件分为两个层次：Common Config应用于全局的默认量化策略，Layer-wise Config针对特定层做覆盖设置。当一个层同时被Common Config和Layer-wise Config覆盖时，Layer-wise Config的优先级更高。

config.json的顶层结构包含version、common_config、layerwise_config三个字段。version字段标识配置文件格式版本，必须与当前AMCT版本兼容。common_config内部定义全局默认的量化位宽、校准算法、量化节点类型等。量化位宽通常设为8，对应INT8量化。校准算法字段取值为"kl"或"percentile"，分别对应KL散度校准和百分位数校准。量化节点类型字段指定哪些算子类型参与量化，卷积、全连接、矩阵乘法通常都开启，而批归一化、激活函数、逐元素操作通常不参与量化或由框架自动融合。

Layer-wise Config是一个列表，每个元素指定一个层名或层名模式，以及该层的量化覆盖配置。常见的覆盖场景包括：某些层的激活值分布特殊，需要单独指定校准算法或校准参数；某些层对精度极其敏感，需要保持FP16甚至FP32计算；某些层的权重分布范围特殊，需要调整量化策略。层名必须与模型中的节点名精确匹配，支持通配符模式匹配。在ONNX模型中，节点名通常是算子名加序号；在TensorFlow模型中，节点名是计算图中的操作名；在PyTorch模型中，需要先在导出TorchScript时保留节点命名，否则自动生成的节点名难以对应。

配置文件中还有一个重要字段是量化敏感层排除列表。用户可以通过精度分析工具或手动实验，识别出那些量化后精度损失较大的层，将这些层加入排除列表，让这些层保持高精度计算。排除层通常以FP16运行在昇腾NPU上，虽然会损失一部分性能收益，但能够挽救因为量化引入的精度掉点。在配置文件中排除层的方式是在layerwise_config中为这些层设置"quantize_enable": false，或者在单独的exclude_layers字段中列出层名。

量化位宽的设置不仅影响计算效率，还影响量化误差的大小。INT8量化将FP32的32位权重压缩到8位，动态范围从约1e-38到1e38缩小到约-128到127（有符号INT8）或0到255（无符号INT8）。这种动态范围的剧烈收缩是量化误差的根本来源。某些层的权重或激活值分布范围特别大，INT8无法很好地表示，这时可以考虑在layerwise_config中为这些层设置更高的量化位宽（如果AMCT版本支持混合精度量化），或者干脆排除这些层的量化。

// AMCT quantization configuration file example (partial)
{
  "version": "1.0.0",
  "common_config": {
    "quantize_bit": 8,
    "activation_quantize_cfg": {
      "algorithm": "kl",
      "algorithm_param": {"num_bins": 2048}
    },
    "weight_quantize_cfg": {
      "algorithm": "nonlinear_quant",
      "symmetric": true
    }
  },
  "layerwise_config": [
    {
      "layer_name": "conv1",
      "quantize_enable": true,
      "activation_quantize_cfg": {"algorithm": "percentile", "percentile": 99.9}
    },
    {
      "layer_name": "fc_final",
      "quantize_enable": false
    }
  ]
}

部署量化模型的完整流程

从训练好的FP32模型到在昇腾NPU上跑INT8推理，中间经过校准、量化模型生成、ATC转换、精度验证、性能benchmark五个阶段。每个阶段的输出都是下一个阶段的输入，任何一个阶段出错都会导致最终部署失败或精度不达标。

校准阶段读取用户提供的配置文件和校准数据集，在原生FP32模型上执行前向推理，收集激活值分布统计，并依据选定算法计算每一层的量化参数。校准完成后，AMCT不会直接修改原始模型文件，而是生成一个包含量化信息的新的模型文件，或在原始模型文件中注入量化算子属性。这个量化模型的文件格式与输入格式相同，ONNX进则ONNX出，TensorFlow PB进则TensorFlow PB出。量化模型中那些可量化算子的权重已经被伪量化（fake quantization）处理，激活值通道上插入了量化-反量化节点，用来模拟INT8计算时的精度损失。

生成量化模型之后，需要把它交给ATC（Ascend Tensor Compiler）做离线模型转换。ATC读取量化模型，识别其中的量化算子和量化参数，并生成适配昇腾NPU架构的离线模型文件（.om文件）。这个转换过程会将量化计算融合到算子实现中，消除量化-反量化节点的运行时开销，生成真正用INT8计算的最终模型。ATC转换时需要指定昇腾NPU的型号（如Ascend310、Ascend710等），因为不同型号的NPU在计算特性和内存带宽上存在差异，生成的离线模型是型号专用的。

精度验证阶段用验证数据集跑量化后的离线模型，计算精度指标，与FP32基线模型的精度做对比。精度掉点如果在可接受范围内（比如Top-1精度下降不超过0.5个百分点），则可以进入性能benchmark阶段。如果精度掉点超出预期，则需要回到配置文件调整阶段，通过排除敏感层、更换校准算法、调整校准参数等方式做精度修复。这个迭代过程可能需要多轮，取决于模型的量化友好程度和校准数据的代表性。

性能benchmark在昇腾NPU上跑量化离线模型，测量端到端推理延迟、吞吐量、NPU利用率等指标。与FP32基线模型做对比时，不能只看推理延迟的缩减比例，还要看NPU的INT8计算单元利用率是否达到预期，是否存在因为内存带宽瓶颈或数据搬运开销导致INT8收益被抵消的情况。下表从四个维度对比使用AMCT量化前后的模型表现，每一项差异来源都指向量化链路中可优化的具体环节。

对比维度	使用前（FP32）	使用后（INT8量化）	差异来源
推理延迟	基线水平	同等计算量下缩短	INT8计算吞吐优势与量化算子融合效果
模型文件体积	FP32权重占满	缩减至约四分之一	权重从32位精度压缩至8位精度存储
精度指标	训练达到的精度	允许范围内波动	激活值分布校准质量与敏感层量化策略
NPU利用率	受限于计算单元吞吐	INT8单元利用率提升	达芬奇架构Cube单元INT8计算密度优势

量化模型在ATC转换时还会经历图优化阶段，包括算子融合、内存复用、数据布局优化等。这些优化对最终性能有显著影响。卷积层和批归一化层的融合可以减少内存读写次数；矩阵乘法和后续激活函数的融合可以减少内核启动开销；权重数据的重排可以匹配Cube单元的数据访问模式。理解这些优化过程，有助于解释为什么某些模型在量化后获得的性能提升超出预期，而另一些模型的提升则不如预期。

# quantization -> conversion -> validation workflow code snippet
import amct_onnx
import onnxruntime as ort

# step 1: create quantizer and run calibration
calib_dir = './calib_images/'
config_file = './config.json'
quant_model_path = './model_quant.onnx'

amct_onnx.quantize_model(
    model_file='./model_fp32.onnx',
    save_file=quant_model_path,
    config_file=config_file,
    calib_data_dir=calib_dir
)

# step 2: convert quantized model to offline model using ATC (command line)
# atc --model=./model_quant.onnx --framework=5 --output=./model_quant --soc_version=Ascend310

# step 3: accuracy validation
sess = ort.InferenceSession(quant_model_path)
val_images, val_labels = load_validation_set()

Quantized model accuracy validation requires sample-by-sample comparison with the FP32 baseline to locate where accuracy drops occur.

精度损失诊断与调优

量化后精度下降的原因可以归为几个主要类别：校准数据集分布与真实推理数据分布不一致，导致激活值分布统计偏差；校准算法选择的量化阈值不能很好地覆盖激活值的有效动态范围；某些层对量化极其敏感，强制量化到INT8导致不可逆的信息损失；量化算子融合或计算图优化引入额外的数值误差。诊断这些问题需要有系统的方法，而不是盲目调整参数。

逐层精度分析工具是定位量化敏感层的关键手段。AMCT提供精度模拟功能，可以在不真正量化的前提下，模拟每一层量化后的输出误差，并逐层报告误差大小。用户可以从输出层往前回溯，找到那个误差跳变点，那个点对应的层就是量化敏感层。另一种诊断思路是做分层禁用量化实验：先对所有层做量化，逐层或逐组地禁用量化，观察精度恢复情况。禁用某个层后精度明显恢复，说明该层是量化瓶颈层，需要在配置文件中将其排除或单独调优。

# layerwise accuracy analysis tool usage example
from amct_common import accuracy_analyzer

# create accuracy analyzer, load FP32 model and quantized model
analyzer = accuracy_analyzer.AccuracyAnalyzer(
    fp32_model='./model_fp32.onnx',
    quant_model='./model_quant.onnx',
    val_data_dir='./val_set/'
)

# compute quantization error metrics layer by layer
layer_metrics = analyzer.analyze_layerwise()

# output cosine similarity and SNR for each layer
for layer_name, metrics in layer_metrics.items():
    print(f"{layer_name}: cosine_sim={metrics['cosine']:.4f}, snr={metrics['snr']:.2f}")

Layerwise error metrics help locate quantization bottleneck layers and guide layerwise adjustments in the configuration file.

与NVIDIA TensorRT量化的对比

TensorRT是NVIDIA提供的推理优化和加速库，其量化功能与AMCT在目标上相似（都是将FP32模型量化为INT8以加速推理），但在API设计理念、量化流程、校准算法、部署形态上存在明显差异。理解这些差异，有助于在跨平台部署时做技术选型，也有助于理解AMCT在设计上的取舍。

TensorRT的量化采用隐式API设计，用户不需要显式编写量化配置文件，而是通过设置量化标志和校准数据集，由TensorRT在构建引擎时自动完成量化校准和算子融合。这种方式对用户更友好，降低了量化入门门槛，但也限制了精细化控制的能力。AMCT采用显式配置文件的API设计，用户必须编写config.json来指定每一个量化决策，这种设计增加了使用复杂度，但赋予了用户更精细的控制能力，适合对量化流程有深入了解的用户做针对性调优。

在校准算法方面，TensorRT支持熵校准（Entropy Calibration, CalibrationTable）、百分位数校准（Percentile Calibration）、最小均方误差校准（MSE Calibration）等多种算法，并且在不同版本中持续优化校准策略。AMCT当前主要提供KL散度校准和百分位数校准两种选择。TensorRT的校准算法在NVIDIA GPU的INT8 Tensor Core上经过大量实验调优，而AMCT的校准算法针对昇腾NPU的INT8计算特性做了适配，两者的校准阈值优化目标都指向各自硬件的计算效率最大化。

部署形态的差异体现在模型文件的格式和运行时依赖上。TensorRT量化后的模型序列化为.engine文件，包含针对特定GPU型号和优化等级的优化计算图，运行时通过TensorRT Runtime加载执行。AMCT量化后的模型先保持为与输入相同的框架格式（如ONNX），由ATC转换为.om离线模型文件，运行时通过AscendCL API加载执行。TensorRT的量化与优化是一次性完成的（在构建引擎时），AMCT的量化与优化是分阶段完成的（先AMCT量化，后ATC优化），这种分阶段设计使得在量化阶段和转换阶段之间可以插入手工调优或精度诊断的环节。

结尾

AMCT作为CANN栈中的离线模型量化工具，通过校准数据集驱动激活值分布统计，依据KL散度或百分位数算法生成量化参数，输出适配昇腾NPU INT8计算特性的量化模型。配置文件采用Common Config与Layer-wise Config双层结构，允许用户对全局做统一设置并对特定层做覆盖调优。部署流程分为校准、量化模型生成、ATC转换、精度验证、性能benchmark五个阶段，精度掉点诊断依赖逐层精度分析工具定位敏感层。

---

仓库地址：https://atomgit.com/cann/amct