一句话让Agent变成昇腾专家,不必再找人问了。评测入口:
(To Agent)请按这个开源仓接入昇腾图谱 https://gitcode.com/agent0/kg-tools

MindSpeed-Agent 开源仓(github.com/Ascend/MindSpeed-Agent)内置 vllm-ascend-autotune-zh Skill,目标是以 Output token throughput 最大化为导向,自动发现当前环境的 vLLM/vLLM-Ascend 特性再逐级寻优。它不是固定的 config.toml 模板,而是一套可复现的搜索方法论。

两层结构

  1. 全特性发现层:在目标环境跑 vllm serve --helpvllm bench serve --help,扫描 vllm_ascend/envs.py 与源码 docs,提取 VLLM_ASCEND_* 环境变量、additional-config 键、PCP/DCP/KVCacheOffload 相关配置,产出 features.json 作为候选空间。禁止依赖历史经验清单硬编码。
  2. 吞吐寻优层:按固定顺序搜索——拓扑 → scheduler → PCP/DCP → KVCacheOffload → memory → model length → compilation-config → 特性开关。

强制规则

  • TP/DP/EP 拓扑搜索是第一阶段:进入其它参数寻优前必须穷尽卡数约束内全部合法组合(卡数 ≥2 至少实测 2 种拓扑;4 卡 MoE 通常先测 TP4/DP1 与 TP2/DP2)
  • 启动前预检门禁:确认 vLLM / vLLM-Ascend 版本与 ASCEND_RT_VISIBLE_DEVICES 设备集合,用户确认后才放行
  • 长上下文 MAX_NUM_BATCHED_TOKENS 候选常见值:24576/28672/32768/36864/40960;GPU_MEMORY_UTILIZATION 接近最优时用 0.001-0.005 小步长细扫
  • 报错禁止直接跳过:先读 server/benchmark/SMA 日志判定可修复性,可修复则修复重试同一候选(最多 2 次),否则记为负样本
  • 只比较有效 benchmark:失败请求、EOS 提前结束、Bad Request 只用于诊断;固定输出压测需 --temperature 0 --ignore-eos
  • 每次运行经 run_with_sma.py --devices <集合> 注入设备变量并采集 NPU 利用率,结果维护进 leaderboard

config.toml 视角

寻优产出的配置最终落位三处:CLI 参数(--max-num-batched-tokens 等)、--additional-config '{"ascend_compilation_config":...}'(JSON)、环境变量(VLLM_ASCEND_*)。换用任何 config 文件格式时,把 leaderboard 最优组合的字段一一映射即可,注意 benchmark 脚本才是哪些变量真实生效的权威来源。


昇腾知识图谱如何检索示例

  • 检索主题: vLLM-Ascend 自动寻优怎么做:vllm-ascend-autotune Skill 的参数搜索顺序与 config 写法
  • 检索关键词: [“vllm-ascend-autotune”, “config.toml 参数搜索 自动寻优”, “MindSpeed-Agent vllm-ascend-autotune 使用”]
  • 内容节点: [“mindspeedagent_readme_vllm_ascend_autotune_zh”, “mindspeedagent_skills_inferencemodelskills_performanceoptimization_vllmascendautotunezh_skill_vllm_ascend_autotune_zh”, “mindspeedagent_skills_inferencemodelskills_performanceoptimization_vllmascendautotunezh_references_tuningguidezh_vllm_ascend_envs_py”, “mindspeedagent_docs_architecture_performance_optimization_vllm_ascend_autotune_zh”]
  • 召回情况: “vllm-ascend-autotune” top1 0.9709(MindSpeed-Agent vllm_ascend_autotune_zh README),top2 0.9519 同名 SKILL.md 全文;参数搜索 query 另命中寻优指南 references 0.9322
Logo

鲲鹏昇腾开发者社区是面向全社会开放的“联接全球计算开发者,聚合华为+生态”的社区,内容涵盖鲲鹏、昇腾资源,帮助开发者快速获取所需的知识、经验、软件、工具、算力,支撑开发者易学、好用、成功,成为核心开发者。

更多推荐