GLM-5.2-W4A8 大模型推理服务

报告日期	2026年7月30日
文档版本	V1.0
集群规模	4台 × 8卡 = 32卡
模型	GLM-5.2-W4A8
服务端口	X.X.X.X：Port

目录

一、项目概述 3

1.1 项目背景 3

1.2 项目目标 3

1.3 项目范围 3

二、硬件配置 4

2.1 服务器配置 4

2.2 网络架构 4

三、软件环境 5

四、部署架构 5

五、配置参数详解 6

六、优化过程 7

七、压力测试结果 8

7.1 单机测试 8

7.2 集群并发测试 8

7.3 长上下文测试 9

八、结论与建议 9

一、项目概述

1.1 项目背景

随着大语言模型技术的快速发展，企业对高性能、高可用的模型推理服务需求日益增长。本项目基于华为昇腾910B4 NPU服务器集群，部署GLM-5.2-W4A8语言大模型，构建具备256K超长上下文、工具调用、多模态理解能力的AI推理服务平台。

1.2 项目目标

本项目旨在构建一个稳定、高效、可扩展的大模型推理服务集群，主要目标包括：

部署GLM-5.2-W4A8大模型，支持256K超长上下文推理

实现4台8卡910B4服务器的负载均衡集群

支持工具调用（Tool Calling）和多模态推理

通过MTP投机采样、CUDA Graph等优化提升推理速度

完成全面的压力测试，验证集群稳定性和性能

1.3 项目范围

项目涵盖硬件环境准备、软件环境配置、模型部署优化、负载均衡配置、压力测试及文档交付等全流程。服务对象为外部API调用，通过nginx四层负载均衡统一入口，提供RESTful API服务。

二、硬件配置

2.1 服务器配置

本次部署采用4台华为8x910B4-64G服务器，每台配备8张昇腾910B4 NPU（64GB HBM），具体配置如下：

机器	IP地址	NPU	显存	内存	CPU
机器66	10.255.254.66	910B4 × 8	64GB × 8 = 512GB	512GB	AMD EPYC
机器67	10.255.254.67	910B4 × 8	64GB × 8 = 512GB	512GB	AMD EPYC
机器68	10.255.254.68	910B4 × 8	64GB × 8 = 512GB	512GB	AMD EPYC
机器69	10.255.254.69	910B4 × 8	64GB × 8 = 512GB	512GB	AMD EPYC

集群总计：32张910B4 NPU，总显存约16TB，支持超大模型并行推理。

2.2 网络架构

服务器间采用双100Gbps高速互联 + 1Gbps管理网络的三网分离架构：

网络类型	网卡	IP段	带宽	用途
管理网络	enp194s0f3	10.255.254.x/20	1Gbps	SSH管理、监控
高速互联A	enp33s0f0np0	10.255.11.x/24	100Gbps	分布式通信
高速互联B	enp33s0f1np1	10.255.12.x/24	100Gbps	冗余通信
公网入口	—	X.X.X.X	1Gbps	API服务对外暴露

三、软件环境

本次部署采用容器化方案，基于华为官方CANN镜像，关键软件版本如下：

软件组件	版本	说明
操作系统	Ubuntu 22.04 LTS	主机操作系统
Docker	24.x	容器运行时
CANN	9.0.1	昇腾计算架构
PyTorch	2.x	深度学习框架
torch_npu	匹配CANN 9.0.1	昇腾PyTorch适配
vLLM	0.23.0	推理服务引擎
vllm-ascend	0.22.1	昇腾平台插件
nginx	1.24.0	负载均衡器

四、部署架构

集群采用"4台独立服务 + nginx负载均衡"的架构，每台机器独立运行vLLM推理服务，通过nginx实现请求分发。

4.1 架构拓扑

架构层次如下：

第一层（入口层）：nginx 负载均衡器（X.X.X.X：Port），采用 least_conn 策略

第二层（服务层）：4台vLLM推理服务（10.255.254.66-69:8000），每台独立运行

第三层（计算层）：每台8张910B4 NPU，TP=8 张量并行

存储层：共享存储 /data/models，存放模型权重文件

4.2 nginx 负载均衡配置

nginx配置采用 least_conn 策略，优先将请求分发给当前连接数最少的后端，配合keepalive长连接减少连接开销。关键配置如下：

upstream all_vllm { least_conn; server 10.255.254.66:8000; server 10.255.254.67:8000; server 10.255.254.68:8000; server 10.255.254.69:8000; keepalive 32; }

五、配置参数详解

每台机器的vLLM服务采用统一配置，关键参数说明如下：

参数	值	说明
--served-model-name	GLM-5.2-W4A8	对外暴露的模型名称
--api-key	SK-12345678-@aaa	API访问密钥
--tensor-parallel-size	8	单节点内8卡张量并行
--enable-expert-parallel	启用	MoE专家并行，提升吞吐
--decode-context-parallel-size	8	解码上下文并行
--max-model-len	262144	最大上下文长度256K
--max-num-seqs	8	最大并发序列数
--max-num-batched-tokens	4096	每批最大token数
--block-size	128	KV Cache分块大小
--quantization	ascend	昇腾量化方案
--gpu-memory-utilization	0.95	显存利用率95%
--enable-auto-tool-choice	启用	自动工具调用
--tool-call-parser	glm47	GLM工具调用解析器
--speculative-config	MTP=3	DeepSeek MTP投机采样
--safetensors-load-strategy	prefetch	权重预加载加速

六、优化过程

在部署过程中，通过多轮测试和调优，逐步提升服务性能和稳定性。主要优化步骤如下：

优化项	操作	效果
优化1	去掉 --enforce-eager	启用CUDA Graph，减少Python调度开销
优化2	MTP=3投机采样	推理速度从~410ms/token降至~48ms/token
优化3	safetensors预加载	模型加载时间显著缩短
优化4	调整max-num-seqs	从1逐步提升至8，找到性能平衡点
优化5	systemd服务托管	容器配置RestartPolicy=unless-stopped

6.1 MTP投机采样优化

MTP（Multi-Token Prediction）投机采样是本次优化的核心。通过配置num_speculative_tokens=3，模型在每个解码步骤中同时预测3个未来token，再由主模型验证接受。该优化使单请求推理速度从约410ms/token提升至约48ms/token，提速约8.5倍。

6.2 并发序列数调优

max-num-seqs参数直接影响并发能力和单请求延迟。测试结果表明：seqs=1时单请求最快但吞吐低；seqs=8时总吞吐最高但单请求延迟增加约3倍。综合考虑，seqs=8可在集群层面实现32并发，适合高吞吐场景。

七、压力测试结果

压力测试涵盖单机测试、集群并发测试、长上下文测试和混合负载测试，全面验证集群在高负载下的稳定性和性能表现。

7.1 单机测试

测试项	请求数	总耗时	平均耗时	结果
单请求（100 tokens）	1	4.45s	4.45s	✅ 成功
连续单请求	3	7.08s	2.36s	✅ 稳定
并发2请求	2	2.83s	2.72s	✅ 并行
并发4请求	4	3.04s	2.82s	✅ 并行
并发8请求	8	8.27s	7.75s	✅ 完成

7.2 集群并发测试

测试项	请求数	总耗时	说明	结果
短请求风暴	32	25.76s	32请求匹配32并发，完全并行	✅ 全部成功
中等负载	16	4.06s	16请求通过nginx分发到4台	✅ 全部成功
混合负载	24	~6s	12短+8中+4长同时到达	✅ 全部成功

7.3 长上下文测试

长上下文测试模拟4K输入长度的真实场景，验证256K max-model-len配置下的稳定性：

测试项	请求数	输入长度	输出长度	总耗时	结果
长上下文并发	8	~4096 tokens	50 tokens	6.28s	✅ 全部成功
混合负载长请求	4	~4096 tokens	100 tokens	~6s	✅ 全部成功

长上下文测试结果表明，4K输入在8并发场景下无OOM、无崩溃，KV Cache的expandable_segments配置有效管理显存扩展。

7.4 集群总能力汇总

指标	数值	说明
机器数量	4台	8x910B4-64G服务器
NPU总数	32张	910B4-64G
集群总并发	32序列	4台 × 8 seqs
最大上下文	256K	262144 tokens
模型精度	W4A8	4bit权重8bit激活量化
API认证	Bearer Token	SK-12345678-@aaa
公网入口	X.X.X.X：Port	nginx负载均衡
稳定性	100%	全部压力测试通过

八、结论与建议

8.1 结论

集群部署成功：4台8卡910B4服务器组成的GLM-5.2-W4A8推理集群已稳定运行，通过全部压力测试。

性能达标：MTP投机采样优化后单请求延迟约48ms/token，集群总并发能力达32序列。

稳定性验证：短请求风暴、中等负载、长上下文、混合负载等场景全部通过，零崩溃。

功能完整：支持256K超长上下文、工具调用（Tool Calling）、API密钥认证。

8.2 建议

监控运维：建议部署Prometheus+Grafana监控NPU利用率、显存占用、请求延迟等指标。

日志收集：集中收集4台机器的vLLM日志，便于故障排查和性能分析。

备份策略：定期备份模型权重和配置文件，防止数据丢失。

安全加固：考虑在nginx前增加WAF或API网关，限制请求频率，防止恶意攻击。

容量规划：根据实际业务负载，监控seqs=8是否满足需求，必要时可尝试seqs=4以降低延迟。

— 报告结束 —