昇腾 NPU-SMI 工具监控分析：Llama 3.2 1B 与 3B 中文模型性能对比

一、监控工具基础操作

使用昇腾 NPU-SMI 工具监控模型性能的基本流程：

# 查看设备状态
npu-smi info

# 监控指定模型推理（示例）
npu-smi -t model-infer -m <model_path> -d <device_id>

二、关键性能指标对比

通过 NPU-SMI 可监控以下核心指标：

三、性能差异解析

1. 计算瓶颈

   • 1B 模型：计算单元利用率接近饱和
     $$ \text{利用率} = \frac{\text{有效计算周期}}{\text{总周期}} \times 100% \approx 90% $$
   • 3B 模型：存在显存带宽瓶颈
     $$ \text{带宽利用率} \propto \frac{\text{参数量}}{\text{带宽}} $$

2. 内存访问效率

   • 1B 模型：数据局部性更优，缓存命中率高
   • 3B 模型：参数规模导致频繁访问HBM，增加延迟

四、监控建议

1. 实时诊断命令

   # 跟踪显存动态
   npu-smi -t vmstat -i 1 -d 0
   
   # 性能热点分析
   npu-smi --profile -m llama_3b.om
   

2. 优化方向

   • 1B 模型：通过量化压缩进一步提升吞吐
   • 3B 模型：采用梯度累积减少显存峰值

注：实际性能受硬件配置（如昇腾910B/310P）、输入序列长度影响。建议在相同硬件环境下使用npu-smi --metrics all获取完整对比数据。