在这里插入图片描述

使用华为云GPU加速云服务器部署大模型时,有时会遇到一种情况:模型成功加载,显存只占用了60%,但生成速度依然很慢,并发请求增加后,接口延迟甚至明显上升。

这时候直接购买显存更大的实例,未必能解决问题。显存容量决定模型能否装下,而显存带宽、GPU计算能力和推理调度,才是影响推理速度的关键因素。

排查前还要确认硬件类型:NVIDIA GPU与华为昇腾NPU属于不同计算平台,监控命令和软件环境不能混用。

一、显存容量够用,为什么仍然可能卡在显存带宽?

显存容量和显存带宽是两个不同概念:

  • 显存容量(GB): 决定能存放多少模型权重、中间数据和KV Cache。
  • 显存带宽(GB/s): 影响GPU每秒能够读取和写入多少显存数据。
  • GPU计算能力: 影响矩阵运算等计算任务的执行速度。

大语言模型推理通常分为两个阶段:

1. Prefill(输入处理)

处理输入Token,通常包含大量并行矩阵运算,更容易受到计算能力限制。

2. Decode(逐Token生成)

模型逐步生成输出Token,需要反复读取模型权重和KV Cache。对于常见的小Batch推理场景,这一阶段往往受到显存带宽限制。

例如模型已经能够完整加载,但GPU每生成一个Token都需要读取大量权重数据,即使还有空闲显存,生成速度也可能受到显存带宽限制。

显存还有剩余,不等于显存读写速度也有剩余。

在这里插入图片描述

因此,选购推理实例时不能只比较16GB、24GB或48GB显存,还要关注GPU型号、显存带宽和实际推理吞吐量。

二、NVIDIA GPU与昇腾NPU,监控方式不能混用

华为云GPU加速型ECS包括G系列和P系列。其中,P系列主要面向计算及AI推理等场景,相关实例可采用NVIDIA GPU。

昇腾NPU则使用不同的硬件、驱动和软件生态。选择昇腾算力资源时,应核对具体产品规格及CANN、MindIE等运行环境。

两类设备的监控方式如下:

检查项目NVIDIA GPU昇腾NPU
监控命令nvidia-sminpu-smi info
计算利用率GPU-UtilAICore(%)
显存占用Memory-UsageHBM-Usage(MB)
软件生态CUDA、TensorRT等CANN、MindIE等

在这里插入图片描述

注意:nvidia-smi只适用于具备对应驱动环境的NVIDIA GPU,不能直接用于昇腾NPU。

同样,CUDA程序和容器镜像也不能默认直接运行在昇腾环境中,需要确认框架、算子和镜像兼容性。

三、推理卡顿,如何通过命令定位瓶颈?

1. NVIDIA GPU实例

先执行:

nvidia-smi

重点观察:

  • GPU-Util:GPU计算任务的活跃情况。
  • Memory-Usage:显存已用容量与总容量。
  • Processes:实际占用GPU的进程。

需要持续监控时,可以执行:

nvidia-smi --query-gpu=utilization.gpu,utilization.memory,memory.used,memory.total --format=csv -l 1

该命令每秒采样一次,按Ctrl+C结束。

其中,utilization.memory反映采样期间显存读写活动的时间占比,不能直接当作实际显存带宽利用率或GB/s吞吐量。

如果怀疑存在显存带宽瓶颈,应进一步结合推理性能测试及支持的GPU性能分析工具验证,不能仅根据显存占用百分比下结论。

2. 昇腾NPU实例

在正确安装昇腾驱动的环境中执行:

npu-smi info

重点关注:

  • AICore(%):NPU计算核心利用情况。
  • HBM-Usage(MB):HBM显存占用。
  • Health:设备健康状态。

需要持续观察时,可在Linux环境执行:

watch -n 1 npu-smi info

该命令每秒刷新设备状态,按Ctrl+C退出。具体输出字段可能因昇腾型号及驱动版本而不同。

3. CPU也需要一起检查

无论GPU还是NPU,都可以在Linux中执行:

top
free -h

top重点观察CPU是否持续繁忙,free -h重点查看available内存。

如果CPU负责的Tokenization或数据预处理耗时过长,加速设备可能一直等待任务,表现为显存有剩余、计算利用率也不高。

四、两张16GB显卡,为什么不能直接当成32GB使用?

这是多卡推理部署中很容易出现的误区。

假设模型运行需要20GB显存,而服务器安装了两张16GB GPU。

两张卡的物理显存彼此独立,不能直接合并成一块32GB连续显存。

如果推理程序只支持单GPU加载模型,20GB模型仍然无法完整装入一张16GB显卡。

要让模型跨卡运行,需要推理框架支持相应并行方案:

1. 张量并行(Tensor Parallelism)

将模型的部分计算和参数拆分到多张GPU,减少单卡显存压力。

2. 流水线并行(Pipeline Parallelism)

将不同模型层分配到不同GPU,分阶段完成推理。

这两种方式可以让多张GPU共同承载更大的模型,但每张卡仍需为自身分配的模型参数、缓存及运行环境预留显存。

此外,多卡通信需要经过PCIe、NVLink或相应互联链路,会产生额外开销,不能保证GPU数量翻倍后推理性能也翻倍。

昇腾NPU多卡部署同样需要对应推理框架支持分布式或模型并行,不能直接套用NVIDIA CUDA环境中的配置命令。

五、GPU推理实例该升级,还是先优化部署参数?

建议先区分具体性能瓶颈,再决定是否增加算力。

在这里插入图片描述

实际表现优先排查方向
显存不足、出现OOM权重精度、KV Cache、上下文长度
显存有余量、Token生成慢显存带宽、计算能力、推理算子
GPU利用率低、CPU繁忙Tokenization、预处理、调度
单请求正常、并发明显变慢Batch、请求排队、KV Cache容量
多卡推理性能提升有限模型并行方式、卡间通信

对于在线大模型服务,建议在相同模型、输入输出长度和并发条件下记录三个指标:

  1. TTFT: 首个Token返回时间,判断首包延迟。
  2. Token/s: 持续生成速度,观察解码性能。
  3. P95延迟: 判断高并发下的请求响应情况。

如果增加Batch后吞吐量提高,但P95延迟也明显上升,就需要重新平衡吞吐量与用户体验。

只有在确认推理框架已经合理配置、计算或带宽瓶颈仍然存在时,才有依据比较更高性能的GPU实例。

六、实际部署还要确认三个问题

Q1:华为云NVIDIA GPU实例执行nvidia-smi提示命令不存在,是什么原因?

A:先检查是否使用了NVIDIA GPU实例,以及GPU驱动和工具是否正确安装。如果在容器内部执行,还要确认容器已正确获得GPU访问权限。

Q2:华为云昇腾NPU可以直接运行CUDA推理镜像吗?

A:通常不能直接运行。需要使用兼容昇腾硬件、驱动和CANN环境的镜像,并验证推理框架与算子支持情况。

Q3:模型量化到INT4后,推理速度一定会提高吗?

A:不一定。INT4可以降低部分模型的显存需求,但是否提速取决于硬件、量化算子和推理框架支持,还需要验证输出质量。

华为云GPU加速云服务器部署推理服务时,显存够用只是模型能够运行的前提,不代表推理性能达标。特别是大模型逐Token生成阶段,显存带宽可能比剩余显存容量更影响实际速度。

建议先明确使用NVIDIA GPU还是昇腾NPU,再结合设备监控、TTFT、Token/s和并发测试定位瓶颈,最后决定优化推理参数、调整并行方式还是升级计算实例。

Logo

鲲鹏昇腾开发者社区是面向全社会开放的“联接全球计算开发者,聚合华为+生态”的社区,内容涵盖鲲鹏、昇腾资源,帮助开发者快速获取所需的知识、经验、软件、工具、算力,支撑开发者易学、好用、成功,成为核心开发者。

更多推荐