GPU不够用不是因为少-而是管不好
GPU 不够用不是因为少,而是管不好
去企业机房盘 GPU,经常会碰到一种很拧巴的场面:资产表上躺着三四十张卡——前年做视觉买的 T4,去年上大模型补的 A100 或 L40S,今年因为信创要求又进了一台昇腾或者海光。卡不算少,钱也真花出去了,可一进研发群,还是天天有人问谁能腾两张卡出来跑实验。
真缺卡的时候当然有。线上并发顶到头了,或者新模型显存硬是装不下,这时候谁来调都没用,只能加机器。但很多买过两三轮硬件的单位,卡不够用其实是管出来的:不同厂家的卡各建各的池子,老卡没人愿意碰,已经分出去的卡又像泼出去的水,项目结了也收不回来。账面上一大把算力,真到提交任务那一刻,能顺手调起来的没几张。
这篇文章就聊这三件事:异构卡怎么收进同一本账、跨代的老卡怎么按硬件底子接着干活、被占死的卡怎么流转起来。
明明还有余量,为什么任务还是挂起?
早期自建集群,最省事的管法就是「整卡、静态、绑死型号」。一个团队自己玩的时候完全没问题;一旦两三个部门共用,很快就会长出几块典型的碎片。
最常见的是整机被单卡任务打散了。比如机房里有四台 8 卡机器,每台都被人零星占了 1 到 2 张卡跑小服务。面板上看着还剩二十多张空闲卡,可算法同学提交一个需要整机 8 卡 NVLink 互联的微调任务,调度器翻遍全集群也凑不出一台完整的空机器,Pod 只能一直挂在 Pending。
更隐蔽的一层,是看错了监控指标,把「占着」当成了「在算」。很多团队拿 Kubernetes 里的资源分配率(Allocated)甚至基础的 DCGM_FI_DEV_GPU_UTIL 来汇报利用率,看到曲线挺高就觉得卡真不够了。其实做过底层性能排查的人都知道,GPU_UTIL 只要采样周期里任意一个流多处理器(SM)上有计算任务在跑,读数就可能显得很忙;再加上推理框架(如 vLLM)启动时默认按 gpu_memory_utilization=0.9 预占显存,DCGM_FI_DEV_FB_USED 常年贴着 90% 走。在支持硬件剖析(DCP,数据中心级 Volta 及更新架构)的卡上打开 DCGM_FI_PROF_SM_ACTIVE(SM 活跃周期比)、DCGM_FI_PROF_PIPE_TENSOR_ACTIVE(Tensor Core 活跃度)或者 DCGM_FI_PROF_DRAM_ACTIVE(显存带宽利用率),往往会发现不少整卡一天到晚真实的算力活跃度连 15% 都不到。1
这类毛病在行业里太普遍了。CNCF 在接受异构加速虚拟化项目 HAMi 进入孵化阶段时,提过几乎一模一样的现场状况:整卡分给只需要零头资源的任务、多团队抢卡、各家硬件各自一套运维方式,最后贵重的加速卡全碎在半空里。2 VentureBeat 2026 年做生产侧问卷时也问出过一个扎眼的数字——给出利用率数据的受访企业里,大约八成承认自己手里的 GPU 一半以上时间是闲着的(问卷含云租用与自建,属受访者自评,但足以说明闲置不是个别单位的家丑)。3
所以体感上的「不够用」,很多时候不是机房里的硅片总数不够,而是显存被预占锁死了、整机被单卡插花打碎了。
一、异构卡先别急着谈混跑,先把资源语义和入口收拢
现在稍微大一点的政企客户,机房里几乎没有纯血单一芯片的了。存量业务绑在 CUDA 上动不了,新批下来的预算又要求配昇腾 NPU 或海光 DCU。
在原生 Kubernetes 里,默认 Device Plugin 走的是扩展资源计数模式:英伟达上报 nvidia.com/gpu: 8,昇腾上报 huawei.com/Ascend910: 8。要是没有一层统一的调度抽象,运维最容易退回到「人工分池」:建两三个节点池,把各自的资源名、nodeSelector 和 runtimeClassName 写成维基文档,让业务团队自己看着填。刚开始两礼拜挺快,往后全是债——某个部门在英伟达池子里排长队,国产池子空着,两边配额没法在同一个租户账本下统算;每进一批新卡,业务侧就得跟着改一轮部署清单;信息中心想拉一张全局占用和排队周报,得把 DCGM Exporter 和国产卡 Exporter 的指标手工往一块儿拼。
工程上更顺的解法,是在平台控制面做一层「意图到驱动」的解耦:上层业务提交任务时,只声明卡数、最低显存(比如 >= 24GiB)、任务优先级,或者声明「国产优先 / 仅限某生态」;平台的库存与准入层(Mutating Webhook 或调度前置层)再根据当前池子余量,自动注入对应的扩展资源名、节点亲和性与容器 Runtime。Kubernetes 社区在 v1.34 把动态资源分配(DRA)核心 API 推到 GA(v1.35 起默认锁定启用),演进方向也是同一件事:用 DeviceClass 和结构化属性描述硬件能力,把挑具体哪张卡的活儿收归调度侧,别让应用层去死绑物理节点。4
但这里有一盆冷水必须提前泼:统一调度,绝对不等于二进制无感混跑。
| 层面 | 能不能收成一套 | 实际情况 |
|---|---|---|
| 库存、配额与排队 | 能 | NVIDIA、昇腾、海光等可以折算进同一套租户配额、队列优先级与全局监控视图 |
| 放置策略(紧凑 / 打散 / 拓扑) | 能 | 调度器能按显存余量、健康状态、NUMA 亲和或卡间互联(NVLink / HCCS)统一打分25 |
| 镜像与底层算子栈 | 不能硬混 | CUDA 镜像照样走 nvidia Runtime,CANN 镜像照样走 ascend Runtime;跨生态还得老老实实做模型转换、算子适配与精度对齐 |
把这层窗户纸捅破,预期才不会跑偏。异构调度的真正用处,不是变魔术让一份没改过的 TensorRT 引擎直接跑在国产卡上,而是让存量 CUDA 服务和新迁过来的国产卡服务待在同一个控制台、同一套配额规矩下过日子,别每买一种新芯片就裂出一个运维孤岛。
二、老卡不是废铁:算清带宽与精度账,再把碎片归拢
就算机房里清一色全是同厂家的 GPU,隔两年买一批,也会搞出「三代同堂」。新卡一到,老卡很容易陷入尴尬:跑最新的大模型嫌显存小、带宽慢,干脆没人申领;或者新卡没设准入门槛,大家直接复制上一份旧 YAML,几个几百兆的 OCR、轻量 Embedding 全挤在 80GB 的主力卡上,旁边的 T4、V100 或 L4 反而空了一半。
要把老卡用起来又不拖垮业务,不能靠行政命令,得按模型的计算与访存特征做能力分层(workload tiering),再配紧凑放置(bin-packing)。56
分层的底子其实是硬件参数账:
- 大模型重负载盯的是显存容量、显存带宽和卡间互联。 大语言模型推理在 Decode(逐词生成)阶段是典型的访存受限(Memory-bound)负载,生成速度几乎跟着 HBM 带宽走;多卡张量并行(TP)和微调又极吃 NVLink 等高速互联。比如 A100(80GB SXM)显存带宽在 2TB/s 级,而早期的 T4(16GB GDDR6)只有 320GB/s 左右——拿 T4 硬顶长上下文大模型并发,首字延迟和吐字速度肯定难看,这类活儿就该锁死在高规格池,且尽量整机成组批出去。
- 周边轻负载在存量老卡上反而刚好。 企业做 RAG 知识库或业务智能体,除了主生成模型,链路里还挂着一堆 BGE 类 Embedding 向量化、Rerank 重排序、版面分析、OCR、语音转写,外加 7B/8B 量化小模型试跑和日常评测。这些任务多是计算密集或短序列前向传播,单实例显存往往只需 2GB 到 12GB,放到 T4、V100 或上一代推理卡上完全跑得满。把它们从 80GB 主力卡上请出去,高规格池立马就能腾出整卡。
- 下沉前必须卡住硬件代际的指令集边界。 老卡不是什么轻活都能乱接——比如 Volta 架构(V100)和 Turing 架构(T4)都是 Compute Capability 7.x,硬件上不支持原生
bfloat16(BF16,需 Ampere SM80 及以上)和FP8(需 Hopper SM90 及以上),FlashAttention-2 等算子在老架构上也有兼容限制。如果不加标签过滤直接把默认dtype=bfloat16的新任务路由到老卡,容器拉起来就会报错退出,或者回退到慢速路径。所以平台做跨代际路由时,节点类里必须带上架构/精度能力标签。
分好层之后,同一个池子内部的默认打分策略得从「打散(Spread)」改成「先装满一台再开下一台(Binpack)」。57 这里有个一线踩过的真坑:Kubernetes 默认调度器偏爱负载均衡打散,哪怕切到 Volcano 调度器并打开了 binpack 插件,默认配置也只对 CPU 和内存做紧凑打分,根本不看 nvidia.com/gpu——如果不显式把扩展资源配进去,单卡任务照样天女散花,把所有 8 卡机器全部打碎。实际落地时,必须把加速卡资源权重单独拉高:
# Volcano 调度器开启 GPU 紧凑放置的关键参数示意
- plugins:
- name: binpack
arguments:
binpack.weight: 10
binpack.cpu: 1
binpack.memory: 1
binpack.resources: nvidia.com/gpu,huawei.com/Ascend910
binpack.resources.nvidia.com/gpu: 10
binpack.resources.huawei.com/Ascend910: 10
把 GPU 的紧凑权重压过节点打散得分后,四个单卡小任务就会优先塞进同一台机器,剩下的整机才能干干净净留给 4 卡、8 卡的分布式任务。7
三、卡分出去不算完,得能借、能排、能收
前面两步把池子合了、新老卡分工了,最后还得治一治「项目占住卡不撒手」。
企业内部的算力需求有很明显的潮汐差。白天的内部助手、知识检索、代码辅助和交互式 Jupyter Notebook 比较忙;一到晚上十点以后和周末,大量挂着 GPU 的开发容器其实一行代码都没跑,但进程不退、显存不放,卡就一直锁在那儿。与此同时,批量文档切片入库、回归评测集跑分、离线批推理、周期性 LoRA 微调,本来就不要求秒级返回,放半夜跑一点毛病没有。
想让卡在高低峰之间自己流起来,云原生调度生态里一般靠三套机制搭台子(注:以下为开源与行业通用机制,具体商业平台默认交付到哪一步,立项时需对照验收清单核实):
第一层是队列的「保底 + 借用 + 回收」。
拿 CNCF Volcano(启用 capacity 插件时)的队列模型来说,不会再把卡死死焊在部门名下,而是给每个团队配三个水位:guarantee(硬保底,谁也借不走)、deserved(应得份额)和 capability(可借用上限):8
apiVersion: scheduling.volcano.sh/v1beta1
kind: Queue
metadata:
name: team-rag-offline
spec:
reclaimable: true
guarantee:
resource:
nvidia.com/gpu: "2" # 独占保底 2 卡
deserved:
nvidia.com/gpu: "4" # 应得份额 4 卡
capability:
nvidia.com/gpu: "12" # 集群空闲时最多可借到 12 卡跑批处理
平时别的处室没用满额度,离线队列在夜间可以一路借到 12 张卡清积压任务;第二天一早在线团队提交新任务、集群资源吃紧时,调度器触发 reclaim 动作,把超过 deserved(4 张)的那部分借用卡按优先级回收回来。8 跑多卡任务时再叠上成组调度(Gang Scheduling,minAvailable)——要 4 张卡的任务,凑不齐 4 张就老老实实在队列里等,别先占住 3 张空转干等,把别人单卡就能跑的任务也堵死在门外。
第二层是在线常驻与离线可驱逐拆开,但要把退出代价算清楚。
生产客服、产线质检这种掉不得链子的低时延服务,常驻卡老老实实留足,设成不可抢占;评测、批处理、试跑训练标成低优先级可回收。但工程上千万别把 GPU 抢占想得跟切无状态 Web 容器一样轻巧:GPU 上下文没法一秒钟无损热迁移,训练任务如果没接好 SIGTERM 信号做断点保存(checkpoint),或者批处理任务没做幂等分片,半夜被回收踢掉一次,前面几小时就算白跑了。另外还要留意组件搭配的坑——比如 Volcano 里 enqueue 动作与 reclaim / preempt 的准入交互、capacity 与 proportion 插件不能同时开启,而如果集群切到了 Kubernetes 原生 DRA 路径,默认调度器目前还不支持对 DRA 资源做抢占,上生产前必须做实测验证。48
第三层才是按需开启单卡细粒度切分。
一张 40GB 或 80GB 的卡只跑一个 4GB 的内部小服务确实肉疼,这时候可以用硬件级分区(如 NVIDIA Ampere 及以上支持的 MIG,计算单元与显存物理隔离,最多切 7 份)或者软件层拦截隔离(如 vGPU,或 CNCF HAMi 通过拦截 CUDA/驱动调用限制显存与算力配额),让两三个轻量容器安全拼一张卡。2 但切分千万别搞运动式一刀切:开发调试、教学实训、低并发小模型很合适;真到了对 P99 尾延迟极敏感的核心生产大模型,或者本来就能吃满整卡显存带宽的服务,硬做软件切分只会引入争抢抖动和排障噩梦。切不切、用硬件 MIG 还是软件隔离,看场景下菜碟,别信「所有卡切一刀就能翻几倍」的神话。
放到一张表里,差别其实在规矩不在硬件
| 平时怎么管 | 静态分卡 / 人工分池 | 统一池化 + 分层复用 + 动态队列 |
|---|---|---|
| 异构芯片 | 一家建一个池、看一套表,YAML 里手写节点标签与资源名 | 库存和配额收进同一视图;控制面按意图路由到底层 CUDA / CANN 通道 |
| 存量老卡 | 新卡一来就嫌慢,要么吃灰,要么不看精度盲目混塞 | 算清带宽与算子边界(如 BF16 限制),专门承接 Embedding、OCR、评测与调试 |
| 多卡任务 | 默认打散导致单卡任务插花,8 卡机器凑不出整机 | 显式拉高 GPU binpack 权重归拢小任务 + Gang 成组调度,保住整机空闲 |
| 忙闲错峰 | 卡按项目焊死,Notebook 夜里占显存空转、批任务排不上 | 队列 guarantee / deserved / capability 借还 + 离线任务夜间填空与闲置回收 |
| 汇报买卡 | 看着 FB_USED 显存预占率拍脑袋喊「卡不够了」 | 对照 SM_ACTIVE 真实计算活跃度、队列等待时长和碎片率,缺哪档补哪档 |
真落到信息中心日常工作里,改造顺序也不用一上来铺太大:第一步先把散在各处室、各台机器上的异构卡和老卡盘进同一张台账,把真实算力活跃度指标采上来;第二步按显存带宽和精度代际把重活、轻活的默认池子定死,把 GPU 紧凑放置打开;第三步再立部门保底额度、借还规矩和开发环境闲置回收。这三步做完,哪个队列还在天天排长队,那才是真该打报告找财务批预算的硬缺口。
话也别说满:这几种情况,真是卡买少了
把调度和池化讲透,不是要拿软件去替硬件挡子弹。碰到下面几类现场,怎么调也变不出物理算力,该买卡就得买:
一是线上真实计算与带宽真顶满了。白天黑夜 SM_ACTIVE 或 DRAM_ACTIVE 都压在高位,推理 TTFT(首字延迟)和 TPOT(每词耗时)持续越过红线,根本没什么夜间潮汐空档可挤。
二是新模型的物理硬门槛跨不过去。参数量、长上下文 KV Cache 或者原生 FP8/BF16 精度要求摆在那儿,手头那批老卡显存装不下、卡间互联带宽跑不动,怎么分流也救不了。
三是合规与高可用的硬冗余。金融、政务或核心产线要求跨机架/跨可用区主备容灾、故障秒级接管,留出来的备机本来就是保命的,不能算进「可压榨的闲置」里。
四是总共就两三台机器、一个小组关起门来用。几个人在工位上吼一嗓子就能错开时间的事,真没必要先花大力气搭一套重型多租户调度平台,先把业务跑通更要紧。
所以更实在的顺序是:先用监控和队列把「显存虚占、整机打碎、静态锁死」造成的假性缺卡挤干净,看清到底缺的是大带宽主力卡、入门推理卡,还是只缺一套借还规矩,然后再去下单。不然新服务器抬进机房,顺着老办法一分,半年不到,群里照样还是那句「GPU 不够用」。
附:关于 KuberCloud ANI
KuberCloud ANI(AI 专有云)部署在客户指定的机房或专属环境中,把 GPU 等加速算力收进统一的库存与占用视图,支持多租户配额,以及推理、训练试跑、批任务的分队列管理与用量留痕;不同厂商的加速卡可按项目适配纳入同一运营平面。平台管的是资源看得见、按能力分流和排队规矩,不能跳过跨芯片生态的模型算子适配,也不会把物理卡变多。具体纳管卡型、跨代际队列与回收规则、是否包含细粒度切分或完整训练调度能力,均不作默认承诺,以合同与现场验收为准。
参考
NVIDIA GPU Telemetry 文档,《DCGM Exporter》及字段定义:关于
DCGM_FI_DEV_GPU_UTIL、DCGM_FI_DEV_FB_USED与硬件剖析级指标(DCP,支持数据中心级 Volta 及更新架构)DCGM_FI_PROF_SM_ACTIVE、DCGM_FI_PROF_DRAM_ACTIVE的含义区分。
https://docs.nvidia.com/datacenter/cloud-native/gpu-telemetry/latest/dcgm-exporter.html ↩︎CNCF Blog,《HAMi becomes a CNCF incubating project》(2026 年 7 月):关于异构加速卡整卡分配导致碎片化、多团队争抢及跨厂商统一虚拟化与调度的说明。
https://www.cncf.io/blog/2026/07/15/hami-becomes-a-cncf-incubating-project/ ↩︎ ↩︎ ↩︎VentureBeat Intelligence VB Pulse(2026 年 7–9 月汇总报道):在给出 GPU 利用率数字的生产侧受访组织中,约 79% 表示平均利用率不超过 50%(自评问卷,涵盖云与自建等形态,非机房硬件审计)。
https://venturebeat.com/infrastructure/ai-bubble-update-79-of-companies-say-their-gpus-sit-idle-at-least-half-the-time-yet-most-plan-new-ai-platforms ↩︎Kubernetes 官方文档,《Dynamic Resource Allocation (DRA)》:自 Kubernetes v1.34 起核心 API 进入 GA(v1.35 起默认锁定启用),支持按设备属性申领、分类与共享硬件加速器;同时说明默认调度器对 DRA 资源的抢占限制。
https://kubernetes.io/docs/concepts/resource-management/dynamic-resource-allocation/ ↩︎ ↩︎NVIDIA Run:ai Scheduler 文档,《Concepts and Principles》:关于节点与设备级 bin-pack(紧凑放置以减少碎片、保留整机空闲)与 spread 策略的说明。
https://run-ai-docs.nvidia.com/self-hosted/platform-management/runai-scheduler/scheduling/concepts-and-principles ↩︎ ↩︎ ↩︎Google Cloud AI Hypercomputer 文档,《Choose between general GPUs and clustered GPUs》:关于按训练、大模型推理与中小模型负载分层选择不同档位 GPU 的架构建议。
https://docs.cloud.google.com/ai-hypercomputer/docs/choose-strategy ↩︎NVIDIA Technical Blog,《Practical Tips for Preventing GPU Fragmentation for Volcano Scheduler》:关于 Volcano
binpack插件默认需显式配置binpack.resources与 GPU 权重以消除节点碎片的工程实践。
https://developer.nvidia.com/blog/practical-tips-for-preventing-gpu-fragmentation-for-volcano-scheduler/ ↩︎ ↩︎CNCF Volcano 官方文档,《Queue》:关于启用
capacity插件时的队列配额(guarantee.resource/deserved/capability)、跨队列借用与回收(reclaimable/preempt)的机制说明。
https://volcano.sh/docs/v1.16.0/concepts/queue/ ↩︎ ↩︎ ↩︎
鲲鹏昇腾开发者社区是面向全社会开放的“联接全球计算开发者,聚合华为+生态”的社区,内容涵盖鲲鹏、昇腾资源,帮助开发者快速获取所需的知识、经验、软件、工具、算力,支撑开发者易学、好用、成功,成为核心开发者。
更多推荐



所有评论(0)