512K 上下文、505B 参数、34T Tokens:openPangu-2.0 把预训练栈整个放出来了
这半年刷开源消息,我大概有点疲劳了。
榜单照旧刷新,参数和分数都往上走,这个模型照例开源,挺厉害,点个赞转一下就过去了。
顺手点进去看一眼,开放的是什么?权重。这两年几乎每份开源公告都这样,模型卡和权重摊在明面上,真正闭着的是把它训出来的过程。权重信息量很薄,模型是什么它讲得清楚,这些能力怎么被逼出来的它答不上来。
我这人有个毛病,手上有一份代码就忍不住翻到底。这次拉下来就开始数,结果发现 openPangu-2.0 放出来的还有训练栈本身。
模型地址:https://gitcode.com/ascend-tribe/openPangu-2.0-Training
论文地址:https://gitcode.com/ascend-tribe/openPangu-2.0-Training?source_module=search_project

训练跑的卡是昇腾。34T tokens 的语料,505B 的模型,上下文从 4K 推到 512K,从喂数据到存下模型权重,整条链路都在昇腾上跑完。预训练、后训练、推理、算子四个仓一起放出,共用同一套自己写的算子实现。
所以这篇想较真一次:凭什么说它真的能训?
那就拿证据说话:技术报告怎么写的,仓库里怎么实现的,公开评测的数字对不对得上,一项一项核过去,顺带把最关键的问题问明白,512K 上下文的 MoE 到底难在哪。
先从规模这本账算起。
一、这次的训练账本
openPangu-2.0 总共吃了 34T tokens。听着就是个数字,但拆开看还挺有讲究:报告里把它分成三段课程——通用能力 25T、推理能力 8T,最后收尾的"退火"阶段 1.4T。
模型上这次出了三个变体。主力是 openPangu-2.0-Pro,505B 总参数、每次推理只激活 18B;另一个是 openPangu-2.0-Flash,92B、6B 激活;还有一个小号的 30B、2B 激活,打算往端侧设备上塞。Pro 和 Flash 都原生支持 512K 上下文。
三个训练阶段各有各的数据配比和超参,不是一锅烩。尤其退火那 1.4T tokens 还细分成 800B / 400B / 200B 三份,分别喂给 32K / 128K / 512K 的窗口——窗口拉多长,数据就配多少。
主课上完还有一段"减肥"训练。先用 8B 回归 token 做稠密热启动,学习率拉到 1.0e-3;再上 100B 回归 token 跑 DSA 稀疏训练,学习率降到 8.0e-6。
有个设计我挺喜欢:长文档和复杂轨迹的数据,特意留到了最后。道理很直白——等上下文窗口彻底拉开再放进来。长文本塞进 4K 的窗口,得到的只有截断。上下文从 4K 一路推到 512K,跨度 128 倍,RoPE base 也跟着从 10K 拉到 6.4M。这三样东西——数据配比、上下文长度、RoPE base——是绑在一根绳上的,动一个就得调另外两个。

二、四个新组件,每一个都卡着一个具体的约束
架构里有四个新东西:分层混合注意力、mHC、Muon、MTP,每一个都是被某个具体的训练期约束逼出来的。约束说清楚,组件自己就好理解了。挨个看。
2.1 分层混合注意力:SWA 与 DSA 交替
全模型按层交替堆叠 SWA(滑动窗口注意力)与 DSA(DeepSeek 稀疏注意力),报告里给的比例是 DSA:SWA = 1:2,也就是每三层里有一层是 DSA。
这两个东西分工很清楚。SWA 层只看邻近的 token,窗口大小 512;DSA 层看全局,先用一个轻量模块(Lightning Indexer)挑出 2048 个 token,注意力只在这 2048 个上做。报告里的说法是,全局注意力的开销就从上下文长度换成了选中 token 的数量。
麻烦出在两类层要的 KV 不一样:SWA 层只需要邻近窗口的 KV,DSA 层要按需取全局 KV。第三节会看到,训练框架正是按这条分界线定制通信策略。
PAS(参数化注意力汇)是另一个新东西,每层放 128 组可训练的 key-value 参数(MLA 的 latent KV),前置到每序列开头,充当持久的注意力锚点。
注意力质量总要有地方可落。窗口里 token 少的时候,部分 token 就被迫承担「局部 sink」角色,注意力分布因此不稳。报告里给的说法是:参数化注意力汇为 SWA 层提供了一个固定的吸收通道(fixed absorbing channel),也给 FULL/DSA 层提供了一个稳定的全局 sink。
2.2 mHC:把单残差流换成 4 条并行残差流
mHC(流形约束超连接)的思路来自已发表的论文 Hyper-Connections,openPangu-2.0 在它之上把主干里的一条残差流换成 n 条并行残差流(这个版本是 4 条)。
为什么要拆成多条?原来的主干是一条残差流(residual stream),每层算完都往里面加。层数越深,流里混着的东西越杂,深浅两层的表示容易越来越接近。
mHC 的拆法是让每一层自己拿主意:从哪几条读进来(H_pre),算完写回哪几条(H_post),几条之间怎么互混(H_res)。H_res 还要过一道流形投影(Sinkhorn-Knopp 迭代,报告配的是 20 次),约束成近似双随机矩阵,每行每列求和都约等于 1。
拆开之后,麻烦也跟着来了。报告里踩过一个很具体的坑,叫门控塌缩(gate-collapse):原始放置方式下,早期层的 H_pre 和 H_post 会同时趋近于零,这些层等于跟残差流解耦了,训练信号被削弱。报告的推测是,子层输出在写回之前的尺度不稳,门控才会一起趋近于零。
openPangu-2.0 用两级尺度控制化解。第一招是 sandwich normalization,在 H_post 写回之前先对子层输出做归一化,让 H_post 不必压制过大或不稳定的输出尺度。第二招是块级后归一化(block-level post-normalization),在第一层之后、之后每五层对残差流做一次,约束多流主干沿深度累积的尺度。
训练 1T tokens 之后的下游评测,mHC 版本比同架构但不含 mHC 的基线(MoE15B-A2B)平均分从 0.594 提到 0.615。分项看:MMLU 0.765→0.799,CEval 0.708→0.743,MATH 0.459→0.472。

2.3 Muon:加快收敛,但背着「注意力 logits 爆炸」的包袱
优化器这边也换了。openPangu-2.0 对所有二维及以上的矩阵型权重使用 Muon 优化器。
逐元素优化器给每个参数方向单独配步长,梯度大的方向跑得快,某些方向因此长期被压制。Muon 先用 Newton-Schulz 迭代把更新矩阵正交化,让各更新方向的幅度保持近似一致,关键方向因此保住了自己的步长。
报告引言里的说法是,mHC 搭配 Muon,在固定数据预算下明显加快收敛速度。
词嵌入、预测头、PAS 参数,还有一维参数(RMSNorm 权重、mHC 门系数),交给 AdamW 负责。Muon 只跟踪一阶动量,相比 AdamW 优化器状态显存减半。

2.4 MTP:一个为训练也为推理设计的模块
架构里还剩最后一个组件。MTP(多 token 预测)给主干挂了几个预测头,从当前隐状态预测后面若干 token。
为什么要多挂这几个头?主模型一次只吐一个 token,解码的瓶颈在权重搬运占用的显存带宽上,算力有相当一部分在等搬运。MTP 让主干顺手把后面的 token 也猜出来:部署形态是 D=3,一次给出 3 个候选,拿去做投机解码。主模型本身不动,只是把等权重的那段时间用起来。
训练侧用的是阶段自适应调度,跟着预训练课程走:通用阶段 1 层、权重 0.3;推理能力阶段权重降到 0.1;退火阶段扩到 3 层。

除了这四个组件,报告附录还给了四张训练动力学曲线:梯度范数、训练 loss、负载均衡违规度、注意力 logits 峰值各一张。四个组件落到训练代码里,各自带来了一类系统问题。

三、512K 的 MoE:难在哪儿
训练基础设施建立在 openPangu-1.0 之上,新架构一来系统侧的麻烦也跟着来了。上下文推到 512K,叠上 mHC、Muon、MTP、ModAttn,几件事会缠在一起:通信的形状变了,激活显存被多流残差和 MTP 顶上去,有一批算子在昇腾上还缺原生实现。
框架的应对大致分四块:并行、通信、计算、显存,正好对着仓库 docs/ 的四个分类。
3.1 上下文并行怎么选
先把问题说清楚。512K 个 token,每个 token 的 K 和 V 都要存下来给别的 token 用,单卡显存放不下,只能把序列拆到多张卡分工计算,这就是上下文并行(CP)。切到 8 张卡,每张管 64K;切到 16 张卡,每张管 32K。
难的是怎么拆。拆法不一样,卡间交换的数据量能差出几倍,底层算子配不配得上又是另一回事。
Ulysses CP 换了个切法:序列不切,改成切注意力头。每张卡都拿到完整序列,只负责其中一部分头,算完再拼起来,通信模式跟已有的序列并行一样。
它有两个硬约束。注意力头数必须能被 CP 度整除,这条还能想想办法;更要命的是,它跟昇腾上的稀疏 FlashAttention(SFA)算子配合不佳,在 DSA 训练场景里直接没法用。
所以 openPangu-2.0 选 KV CP 作为稀疏注意力训练阶段的默认策略。它按序列维度切,不按头维度切,能和底层稀疏注意力算子兼容。全注意力阶段引入 Hybrid CP,把两者组合起来,绕开整除约束,通信量比纯 KV CP 更少,KV 缓存峰值也更低。

切法定了,冗余就冒出来了。标准 KV CP 会从所有卡收集全局 KV token,可每张卡只用到其中一小部分。在「一个训练样本打包多篇短文档」的场景下,冗余被放大得更明显。
openPangu-2.0 按层类型分别定制通信策略。

SWA 层里,一张卡的 query 只看得到前一张卡上的最后 window-size 个 KV,于是用定向 P2P(点对点)通信替掉全局 AllGather(每张卡都要收齐全部数据),通信量从 S×B×H 降到 W×B×H,S 是序列长度,W 是窗口大小。FA 与 DSA 层里改用 AllToAllV,只传真正需要的那几段。
3.2 FA Rescale:让 PAS 进得去稀疏注意力训练
PAS 作为可训练的 key-value 参数,要前置到每条序列的开头。麻烦在于它得和主序列的注意力合成一次完整的结果,分成两次各算各的再拼,归一化因子就对不上了。底层 FA 算子原生支持 sink 的话这个麻烦就不存在,可这种支持并不通用。
于是有了纯软件层的兜底方案 FA Rescale:做两次标准注意力调用,分别处理主序列分支 A 与 sink 分支 B,再按 softmax 统计量合并,重建出「对拼接后的主序列与 sink 做一次注意力」的结果。合并写成 O(A+B) = O(A)·α_A + O(B)·α_B,α 由两次调用的 softmax 最大值与总和算出。

3.3 显存与算力
mHC 的代价很直接。残差流从 1 条变成 4 条,激活显存跟着涨,层间要搬的数据也变多。更麻烦的是 mHC 的三个矩阵(H_pre、H_post、H_res)主要落在昇腾的 Vector 单元上,逐元素运算容易卡住流水线。
openPangu-2.0 应对的办法之一是选择性重计算:前向时少存中间结果,反向时重算一遍,用多算换显存。openPangu-2.0 设计了两套细粒度方案,层内方案只缓存三个张量,重计算开销跟层内通信重叠;跨层方案针对 PP + 虚拟流水线并行(VPP),每个 chunk 只缓存首层的注意力输入,其余在通信空闲时递归恢复。
显存这条路走重计算,算子这条路走融合。H_pre、H_post、H_res 三个算子用 AscendC 实现,重点优化向量计算:预取策略提前取数,消除 Vector 流水线等 CUBE 结果时的停顿,让两条流水线深度重叠。报告还给了一条我挺喜欢的判断:把显存受限和计算受限放在一起分析,以矩阵维度 n 为阈值,动态决定哪一段交给 Vector、哪一段交给 CUBE。

3.4 优化器与流水线
openPangu-2.0 在 DDP bucket 的 ZeRO 场景下实现了 HyperParallel Muon+ 通信-计算联合优化方案。ZeRO 场景下权重按 bucket 分片,落在分片边界上的权重需要通信:AllGather 会聚合整个 bucket,边界权重被多张卡重复计算;换成 AllToAll 之后,先抽出边界参数,再做相邻卡交换,也就是 AllToAllV。这里有个工程约束:AllToAllV 是 P2P 通信原语,在大规模集群上会带来可观的队列缓冲开销。
桶级通信-计算掩码的做法是这样:当前 bucket 的异步通信在后台进行,同时在上一个 bucket 上完成正交化与参数更新,两者在时间线上重叠。通信延迟 ≤ 计算延迟的时候,通信开销就能藏进计算里,端到端运行时间由纯计算决定。

这个收益有适用边界,报告也标出来了:小规模集群通信能被充分掩盖,大规模集群中通信通常反而成为瓶颈。
MTP 的负载均衡是另一半。MTP 带来额外的计算、显存与 PP 通信,跟 mHC 组合时问题被放大。朴素实现会把所有 MTP 层、输出投影与损失计算都堆在流水线末端,尾部阶段就成了瓶颈。
报告用三项互补的优化来拆这三个瓶颈。通信这一侧,普通 PP 边界只传 mHC 展开的主干状态,MTP 的辅助状态在本地生成,三头 MTP 的有效载荷从四条流压到一条,P2P 通信少了 75%。计算这一侧,MTP 层参与 PP/VPP 切分,分散到流水线各段。显存这一侧,输出投影和损失计算按序列切块,每块前向完立刻反向,logits 峰值理论上能压到 1/C。报告给出的实测是,优化后的布局相比不均衡的 MTP 布局,训练吞吐提升约 20%。


3.5 旁证:同一套系统在 718B 上的量产做法
想知道这套系统能跑多快,还得看另一份公开材料。昇腾团队开源了《昇腾超规模化 Pangu MoE 模型全流程高效训练实践》技术报告(CC-BY 4.0 许可),记录的是 Pangu Ultra MoE 718B 的量产训练实践。
先看结果。Pangu Ultra MoE 718B 跑在昇腾 Atlas 800T A2 万卡集群上,混合并行 PP16 / VPP2 / DP16 / EP4 / TP8,序列长度 8K 的场景下 MFU 41%。
并行策略是搜出来的。DeployMind 在软件侧建模计算与通信过程、内存与并行调度,建模参数用算子实测校正,精度达 90% 以上。

口径得交代一下。搜索给出的最优并行策略是 TP8/PP16/VPP2/EP32/DP4,万卡集群实测采用的是 PP16/VPP2/DP16/EP4/TP8。两者分别出现在这份技术报告的不同小节。

在 openPangu-2.0-Training 仓库里,这些技术在特征文档中都能找到对应。

四、我拿代码核了一遍,核出这些
说到核对,这正是我把仓库拉下来之后干的事。开源有个实在的好处:外部读者能自己动手核对,结论不必等作者发布,在预训练这段尤其珍贵。
先看仓库本身。openPangu-2.0-Training 一个仓,686 个 Python 文件、184,077 行代码,技术基础是 PyTorch 与昇腾 NPU。
比代码量更能说明问题的是文档结构。docs/ 下有 45 篇中文 + 45 篇英文文档,按并行、计算、显存、通信四类归档,特性文档共 42 篇。这四类和训练基础设施要解决的四类问题几乎逐条对应。


我核了四项:词表、分词行为、关键超参、评测数据,每一项的适用条件都写清楚。

词表规模:精确一致。 模型仓开源的 tokenizer.json 里,BPE 词条 148,899 条 + added tokens 701 条 = 149,600,与 openPangu-2.0-single-digit 变体一致。词表是分词器最硬的指纹,这条对上了,说明开源的 tokenizer 与报告的模型定义出自同一份词表配置。
分词行为这条也对得上。数字逐位切分:行为完全符合描述。
第三项是超参。关键超参模型规格逐位对得上:hidden size 2560、48 个头、词表 151552、最大位置 524288、前 2 层稠密,MoE 一侧是 256 路路由专家外加 1 个共享专家。训练配置上,RoPE base 640 万、mHC 4 条流配 20 次 Sinkhorn 迭代、MTP 深度 3、块级后归一化落在第 1 层和之后每 5 层。
前三项对着源码看,最后一项是评测数据。评测数据:两处独立来源逐项一致。 公开基准评测在两个地方同时出现:技术报告中的评测表,与 openPangu-2.0-Pro 仓库 README 的测评表。逐项比对下来,Flash 与 Pro 的 Non-Thinking / Thinking 两种模式取值都对得上,Pro 这边 AIME 2026 取 87.3 / 95.4,GPQA-Diamond 取 81.1 / 87.9,HLE 取 9.0 / 27.1,SWE-bench Verified 取 66.8 / 68.5。

五、值不值得读一遍
这两年开源刷得太多,人已经麻了。权重、跑分、模型卡,老三样。openPangu-2.0 难得的地方,是它把开源落在了预训练这段——最难复现、也最能说明问题的一段。一份权重告诉你模型是什么,预训练代码告诉你这些能力怎么被逼出来的。
所以我的推荐很直接:做训练、做 infra、做长上下文的人,这份报告和这个仓库都值得啃一遍。不是因为它完美,而是它把"凭什么能训"答成了可以被检查的形式。预训练这条线先讲到这里。后训练侧和推理引擎的工程细节,如果有人感兴趣的话,我后面会分别写。
鲲鹏昇腾开发者社区是面向全社会开放的“联接全球计算开发者,聚合华为+生态”的社区,内容涵盖鲲鹏、昇腾资源,帮助开发者快速获取所需的知识、经验、软件、工具、算力,支撑开发者易学、好用、成功,成为核心开发者。
更多推荐


所有评论(0)