登录社区云，与社区用户共同成长
邀请您加入社区
随着大模型训练场景的多样化发展，模型需要在不同硬件平台上保持一致的训练精度。本工作旨在将 GLM-5.2 模型结构接入 MindFormers PyNative 框架，并以 GPU 上的 Megatron-LM 为参考基准，验证 Ascend NPU 与 NVIDIA GPU 在单卡训练场景下的精度一致性。通过系统化的对齐流程，确保模型在不同硬件平台上的训练行为可复现、可预期，为后续多卡扩展和实际
Transformer架构、生成模型演进等内容讲解：核心内容：覆盖 Atlas 800、Atlas 900 等 IE 实验涉及的硬件内容，以及鲲鹏 920 芯片相关介绍。Transformer架构核心知识点讲解Attention机制核心原理核心作用逻辑：核心作用是让模型带着问题匹配上下文重点，自动为关键信息分配更高权重，解决长距离依赖问题。标准实现流程：实现分为三步，依次为生成自定义QKV矩阵、计
本文档将介绍基于vLLM-Ascend的GLM-5.1模型在Atlas 800I A3上的单机混部部署实践，包括支持的特性、特性配置、环境信息以及性能测试典型case。
本文档将介绍基于vLLM-Ascend的MiniMax-M2.5模型在Atlas 800I A3上的单机混部部署实践，包括支持的特性、特性配置、环境信息以及性能测试典型case。
本文档将介绍基于vLLM-Ascend的DeepSeek-V3.2模型在Atlas 800I A3上的单机混部部署实践，包括支持的特性、特性配置、环境信息以及性能测试典型case。
昇腾大模型推理“一键跑通”指南——cann-recipes-infer实战与优化全解析
摘要：本文基于昇腾CANN ops-transformer工具链，详细解析了RMSNorm算子在昇腾NPU上的实现方案。相比传统LayerNorm，RMSNorm通过去均值化设计降低12%显存占用，提升8%计算效率。文章从三层架构（算子接口、Ascend C内核、梯度反向）拆解实现细节，重点探讨FP16/BF16下的数值精度挑战，提出Kahan补偿等优化策略，最终在昇腾NPU上完成端到端验证，为L
昇腾NPU MoE路由算子优化解析 本文深入剖析昇腾CANN生态中ops-transformer的MoE路由算子实现与优化策略。MoE架构通过Top-K选择将Token动态分发至专家子网络，其核心瓶颈在于跨节点的AlltoAll通信开销（可占推理流程30%以上）和负载不均衡问题（算力利用率可能低于30%）。ops-transformer采用Ascend C语言实现RouteFn（路由决策）和Rou
本文解析了华为CANN架构中ops-transformer的设计原理，重点拆解了FlashAttention的实现路径。ops-transformer并非单一算子库，而是包含接口层、调度优化层和算子实现层的三层架构。FlashAttention的执行流程分为五个阶段：Python接口转换、调度优化（Tiling和多核分配）、AscendC算子实现、可选融合决策以及Runtime下发。其性能优势源于
这篇文章深入解析了FlashAttention在昇腾NPU上的实现原理，指出常见的三大误区：1) 误将其视为单一算子而非融合策略；2) 忽视tiling参数对片上缓存利用的关键影响；3) 不了解在线Softmax和因果mask的优化机制。核心在于通过tiling分块、在线计算和跳过无效计算，确保中间结果始终驻留片上缓存，避免HBM访问瓶颈。文章特别强调默认配置已优化，但遇到性能问题需理解底层原理才
本文探讨了语言模型训练中交叉熵损失计算的优化方法。传统做法需要三次kernel调用（softmax、log、NLL）和两次中间矩阵存储，导致大量HBM写入（LLaMA-7B下每次计算约262MB）。作者提出融合方案，通过数学等价变换将log(softmax(x))简化为x-logsumexp(x)，实现单kernel计算。该方案在300B token训练中可节省38PB的HBM写入量，对大规模训练
摘要：LLM推理面临的主要瓶颈是显存而非计算，特别是长上下文下KV Cache的二次增长导致显存不足。ATB采用PagedAttention和虚拟内存管理技术，将KV Cache分页存储，按需申请页面，有效解决显存碎片问题。标准KV Cache需要连续分配大块显存，而PagedAttention将显存划分为16KB页面，允许非连续分配，显著提高显存利用率。ATB实现包括全局页池管理、逻辑到物理地址
