昇腾 PyTorch 适配技术深度解析

本文系统阐述了昇腾NPU适配PyTorch的核心技术方案，涵盖框架接入、编译优化、数据流传递、分布式并行与性能优化五大维度。通过out-of-tree架构实现无缝集成，利用torch.compile与NPU专属编译器（如Bisheng）实现静态图加速；采用两级流水线、绑核与NUMA亲和性提升并发效率；基于HCCL与无协商通信域优化多卡训练启动与通信开销。实践表明，Torch-NPU在保持与PyTo

基于昇腾NPU的2D并行（FSDP+TP）计算流程解析：Transformer FFN层与Attention层

基于昇腾NPU的2D并行（FSDP+TP）计算流程解析：Transformer FFN层与Attention层

活动回顾｜推理走向生产，算力如何真正用好？——vLLM Meetup 上海站圆满落幕

本次活动汇聚了来自 vLLM 社区、Red Hat、沐曦股份、阶跃星辰、密瓜智能、AMD、面壁智能、vLLM-Omni 等团队的技术嘉宾，围绕高吞吐推理、KV Cache 优化、异构算力、生产级部署及 Agentic 推理等方向，带来 8 场深度技术分享。在生态兼容层面，HAMi 已全面支持 NVIDIA、AMD、昇腾、平头哥、沐曦、寒武纪、海光、摩尔线程、天数智芯、昆仑芯、燧原、壁仞科技、AWS