登录社区云,与社区用户共同成长
邀请您加入社区
本文基于 Atlas 800T A3 完整跑通 verl + DAPO 框架下的 Qwen3-32B 强化学习训练,提供开箱镜像、全链路脚本、参数解读与性能调优指南,帮助开发者少踩坑、可复现地开展昇腾 RL 后训练。
SGLang 社区与昇腾已完成深度协同,使 SGLang 在昇腾 NPU 上无缝运行大模型推理,并推出基于 SGLang 的大 EP 集群推理方案。本文介绍昇腾平台对 Qwen、LLaMA、DeepSeek 等模型的支持,以及 PD 分离、Overlap Scheduler、TP/DP Attention、DeepEP MoE 等核心加速特性,共建 sgl-kernel-npu 生态库,并提供 D
本文记录在昇腾 Atlas 800I A2 双机环境下,使用 vLLM-Ascend 0.13.0 部署 DeepSeek-V3.2-W8A8 时出现的 EngineCore 与前端进程握手超时 问题。通过排查 firewalld、iptables 及 13389 端口连通性,定位根因为 INPUT 链默认 REJECT 规则阻断节点间通信,并给出测试环境临时修复与生产环境精准放行端口的解决方案及
介绍 AReaL 全异步 RL 框架在昇腾 NPU 上的适配进展与核心能力,涵盖 vLLM 推理、FSDP2 训练、权重 Resharding 及 Docker 开箱教程,附 GSM8K 训练示例,助力大模型 RL 后训练创新。
Qwen3-Coder-Next 是面向编程智能体与本地开发的开源 MoE 代码模型,昇腾已同步完成 MindSpeed 与 vLLM-Ascend 适配。本文介绍模型核心特性,并手把手讲解在昇腾上的完整上手路径:MindSpeed-LLM 侧涵盖环境配置、HF 权重转换、预训练/微调数据预处理及训练推理脚本;vLLM-Ascend 侧涵盖 Docker 部署、离线/在线推理示例,助开发者快速尝鲜
本期为大家介绍了基于MindSpeed LLM部署高效部署Step-3.5-Flash模型训练,更多关于大语言模型训练的能力和技术,欢迎开发者体验、贡献与共建!MindSpeed LLM 开源仓库昇腾开源微信小助手:ascendosc。
本文基于 Atlas 800T A2,围绕 Qwen3-30B-A3B MoE 模型在异步 RL 训练场景下的全链路调优,覆盖 vLLM-Ascend 推理侧 EP/TP 切分、MoE 算子与 HCCL AIV 通信优化,以及 FSDP 训练侧 GMM 融合、Ulysses 负载均衡与 Megatron 对比选型;并完成 Fully-Async 架构在昇腾 NPU 上的适配,通过 stalenes
本文介绍全模态开源训练框架 VeOmni 在昇腾 NPU 上的原生支持进展,涵盖 FSDP/EP/SP 等并行能力与 Qwen3-VL 等主流模型适配;并以 Qwen3-VL 30B 为例,手把手讲解环境安装、数据准备、权重下载与训练启动,验证昇腾平台训练效果与参考曲线一致。
本文介绍 vLLM-Omni 全模态推理框架在昇腾 NPU 上的部署与体验。vLLM-Omni 将 vLLM 扩展至多模态与非自回归生成场景,支持文本、图像、音频、视频等异构输入输出。文章涵盖 Docker 环境搭建、vLLM-Omni 安装配置,并以 Qwen2.5-Omni 语音生成、Qwen-Image 文生图为例,提供完整命令与实操步骤,帮助开发者在昇腾设备上快速上手全模态模型推理。