登录社区云,与社区用户共同成长
邀请您加入社区
随着大模型训练场景的多样化发展,模型需要在不同硬件平台上保持一致的训练精度。本工作旨在将 GLM-5.2 模型结构接入 MindFormers PyNative 框架,并以 GPU 上的 Megatron-LM 为参考基准,验证 Ascend NPU 与 NVIDIA GPU 在单卡训练场景下的精度一致性。通过系统化的对齐流程,确保模型在不同硬件平台上的训练行为可复现、可预期,为后续多卡扩展和实际
在大型语言模型(LLM)的训练与推理实践中,框架生态的兼容性是一个关键挑战。在无 MindSpore 环境的情况下,实现单卡 PyNative(动态图)模式的预训练闭环。目标平台为 Ascend NPU(通过torch_npu),同时需向下兼容 CUDA 和 CPU。本次单卡改造必须为后续平滑放大到多卡并行训练铺平道路,避免未来大规模重构。因此,所有设计决策都以“单卡即多卡 world_size=
这篇文章摘要(146字): 龙魂系统DNA服务器端验证接口v2.0是一个部署在华为云鲲鹏服务器上的安全验证系统。核心功能包括:基于HMAC的请求签名验证、设备指纹哈希计算、结构化日志记录以及天干地支时间戳机制。系统采用环境变量配置敏感参数,实现自动日志滚动和请求限流,支持最大4KB请求体。通过SHA256哈希验证管理员密钥,并内置传统干支历法用于时间校验。所有DNA注册数据以JSON格式存储,严格
:昇腾实战派。
按“原理论文 → 推理算法 → 工程实现 → 你现在 VERL/vLLM-Ascend 里为什么这样写”的顺序整理,会告诉你每篇看什么、和你调的 MTP 接受率/权重同步有什么关系。按这条线学。这样会明白为什么你之前一直纠结的会互相影响。
摘要:graph-autofusion是一种自动算子融合框架,通过分析计算图的Tensor流和硬件特性自动识别可融合算子组合,无需人工编写规则。它作为GE和Runtime之间的关键工序,将GE优化后的计算图进一步压缩。该框架通过图扫描、依赖分析、硬件约束检查和收益预估四个步骤实现自动融合,显著减少DDR访问量和算子Launch次数。在Transformer模型中,它能将Attention和FFN的