问题描述

使用 MindSpore Lite 的 converter_lite 对 MINDIR 模型做 8bit 权重量化（quant_type=WEIGHT_QUANT，bit_num=8），

转换命令为

./converter_lite --fmk=MINDIR --saveType=MINDIR \ --modelFile=model.mindir --outputFile=model \ --optimize=ascend_oriented

但加 --optimize=ascend_oriented 时量化后模型大小与 FP16 一致、无 int8 量化效果，去掉该选项后模型大小符合预期却推理报错，

请问 ascend_oriented 是否会导致权重量化不生效？

在昇腾平台上做 8bit 权重量化正确的转换配置应如何写？

问题解答

WEIGHT_QUANT（仅权重量化）+ ascend_oriented 这个组合在 Ascend 后端不被有效支持。

把 WEIGHT_QUANT 改成 FULL_QUANT 并加 target_device=ASCEND，准备校准数据集走全量化；或者用 PyTorch/ONNX Runtime 先量化再转。