前言

模型太大了，显存不够、推理太慢、部署成本高。量化是最直接的解决方案——把 FP32 压成 INT8，显存省 4 倍，计算量也能下降。

AMCT（Ascend Model Compression Tool）是昇腾的模型量化工具，支持训练后量化（PTQ）和量化感知训练（QAT），把 PyTorch/ONNX 模型转成 INT8 后部署到昇腾 NPU。

---

量化的基本原理

神经网络里的权重和激活值，大部分分布在 -1 到 1 之间，用 FP32 存很浪费。INT8 只需要 256 个离散值，通过映射关系把 FP32 压过去：

FP32 → 量化 → INT8
INT8 → 反量化 → FP32（有精度损失）

量化有两种方式：

方式	说明	精度损失	适用场景
对称量化	零点固定为 0	较大	权重量化
非对称量化	零点可调	较小	激活量化

实际推理时，大部分算子用 INT8 计算，关键算子（LayerNorm、Softmax）保留 FP16/FP32 保精度。

---

AMCT 的量化流程

方案一：训练后量化（PTQ）

不需要重新训练，用少量校准数据跑一遍，统计每层的激活分布，确定量化参数。

原始模型 → 校准数据采样 → 量化参数计算 → INT8 模型

优点：简单快速，不需要重训练
缺点：精度损失比 QAT 大

方案二：量化感知训练（QAT）

在训练过程中模拟量化误差，让模型学会适应低精度。

原始模型 → 插入量化节点 → 微调训练 → INT8 模型

优点：精度损失小
缺点：需要训练资源和时间

---

实战：ResNet50 量化（PTQ）

Step 1：准备校准数据

import torch
from torchvision import datasets, transforms

# 校准数据（100-500 张即可）
calib_dataset = datasets.ImageFolder(
    "calib_data/",
    transform=transforms.Compose([
        transforms.Resize(256),
        transforms.CenterCrop(224),
        transforms.ToTensor(),
        transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
    ])
)

calib_loader = torch.utils.data.DataLoader(
    calib_dataset, batch_size=32, shuffle=False
)

Step 2：加载模型并量化

import amct_pytorch as amct
from torchvision.models import resnet50

# 加载原始模型
model = resnet50(pretrained=True)
model.eval（)

# 创建量化配置
config = amct.create_quant_config(
    model,
    activation_offset=True,  # 非对称量化
    batch_num=32  # 校准 batch 数
)

# 插入量化节点
quant_model = amct.quantize_model(model, config)

# 校准
with torch.no_grad():
    for i, (data, _) in enumerate(calib_loader):
        if i >= config.batch_num:
            break
        quant_model(data)

# 导出量化后的模型
amct.save_model(quant_model, "resnet50_quant.onnx")

Step 3：编译部署

# 编译成 .om
atc --model=resnet50_quant.onnx \
    --framework=5 \
    --output=resnet50_quant \
    --soc_version=Ascend910

---

精度与性能对比

ResNet50（ImageNet 验证集）：

模型	精度	显存	延迟（batch=32）
FP32 原始	76.15%	512MB	12.4ms
INT8 PTQ	75.82%	138MB	6.8ms
INT8 QAT	76.01%	138MB	6.9ms

PTQ 精度损失 0.33%，显存省 4 倍，延迟降 45%。QAT 精度几乎无损，但需要额外的训练时间。

---

进阶：混合精度量化

不是所有层都适合量化。某些敏感层（第一层卷积、最后一层全连接）量化后精度损失大，可以保留 FP16。

# 指定敏感层保留高精度
skip_layers = [
    "conv1",      # 第一层卷积
    "fc"          # 最后一层全连接
]

config = amct.create_quant_config(
    model,
    skip_layers=skip_layers
)

混合精度量化通常能把精度损失控制在 0.1% 以内。

---

量化踩坑指南

1. 校准数据要有代表性

校准数据的分布要接近真实推理数据。如果校准数据全是白天图片，推理时遇到夜间图片，精度会掉。

2. 激活量化比权重量化难

权重是静态的，量化参数算一次就行。激活随输入变化，要用校准数据统计分布。激活量化往往带来更多精度损失。

3. 某些算子不支持量化

AMCT 目前不支持量化的算子：LayerNorm、Softmax、GELU（部分场景）。这些算子会自动保留高精度。

4. 量化后精度掉太多怎么办

先检查是否有异常激活值（max 比均值大几个数量级），有的话做输入预处理。其次尝试混合精度，跳过敏感层。最后考虑 QAT。

---

总结

量化是大模型部署的必修课。AMCT 提供了从 PTQ 到 QAT 的完整工具链，把 PyTorch/ONNX 模型量化成 INT8 后部署到昇腾 NPU，显存省 4 倍，推理延迟降 40-50%。用好量化的关键是：选对校准数据、识别敏感层、在精度和性能间找平衡。