一句话定位：多设备协作的完整方法论——六种并行方式、集合通信代价、scale-up 物理组织（NVLink/TPU/昇腾 UB）与内存池；放大超节点得到的是容量和总吞吐，不是单个会话的速度。上一页：第 05 章-算子与运行时，下一页：第 07 章-数据中心网络。

小白入门：为什么一张卡不够用？

生活类比：一个人搬不动一台冰箱——需要两个人抬。但两个人抬并不是一个人搬两倍快，而是两个人一起搬一台。同样，多张 GPU 卡协作也不是一张卡跑两倍快，而是多张卡一起跑一个模型。
核心问题：70B 模型权重 141GB，一张 H100 只有 80GB——连装都装不下。必须把模型拆开放到多张卡上。

放大超节点得到的是容量和总吞吐，不是单个会话的速度。

---

一、六种并行方式

类比：把一个蛋糕分给多人吃——可以按人数分（数据并行）、按层数分（流水线并行）、按每层的块分（张量并行）……

并行方式	切分维度	类比	适用场景
DP（数据并行）	样本 B	每人分一块蛋糕	每卡跑完整模型，处理不同请求
TP（张量并行）	特征 H	把蛋糕竖着切，每人拿一部分	每卡跑模型的一部分，同一请求
SP（序列并行）	序列位置 S	把蛋糕横着切	长序列按位置分到不同卡
CP（上下文并行）	上下文块	把蛋糕按层分	超长上下文分块处理
PP（流水线并行）	层 L	流水线——每人负责一道工序	模型按层切分，轮流处理
EP（专家并行）	专家 E	每人负责不同科室	MoE 模型的专家分到不同卡

套娃组合结构：DP 复制完整 TP×PP×EP 实例——大并行里套小并行。

下图展示 DP 复制完整 TP×PP×EP 实例的「套娃」组合结构：

---

二、集合通信的代价

类比：多人协作需要沟通——沟通本身也要花时间。如果沟通时间比干活时间还长，多人协作就不划算。

关键判据：TP 卡数翻倍的条件——通信增量须小于本地时间节省。

并行收益随规模递减：串行处理的耗时仍然存在。

通信-计算竞争：单独加快通信不一定能加快整体执行——64 MiB 通信与矩阵乘并发，仅节省 2.7 ms，而非全部 11 ms。

通信与计算的竞争关系可以这样理解：

大小消息的分界

数据量小时看延迟，数据量大时看持续带宽。

---

三、超节点的物理组织

类比：办公室布局——小团队面对面坐（直连），中等团队用共享白板（交换机），大公司分层管理（分层互联）。

方案	类比	代表	特点
直连	面对面坐	早期 8 卡 NVLink	每卡连每卡，端口数爆炸
交换	共享白板	NVSwitch	集中交换，端口数可控
分层	分层管理	DGX → NVL72	scale-up 内紧密，scale-out 走网络

三种物理组织方式的演进关系如下：

三大平台对比

平台	互联	规模上限	特色
NVIDIA NVL72	NVSwitch + NVLink	72 GPU	缓存一致，端口分配决定割集带宽
TPU v4	ICI 环面 + OCS	4096 芯片	光路交换毫秒级切换
华为 UB	事务层+传输层分离	384×910C	256KiB 缓存容纳四千多台主机

华为 UB 的关键优势：连接状态按端点数相加而非按端点对相乘——逐对连接只容 8 台主机，UB 方案容 4000+ 台。

---

四、内存池

类比：同事的桌子空着，你把文件放他桌上——用的时候取回来。

• 借用与访问边界：在途事务窗口 uq/L
• 重复读取约 10 次时取回本地更省——超过这个阈值，不如搬回本地—

内存池的借用与取回决策流程：

五、关键量化数据

项目	数值
HGX H100 基线	8×H100，每卡每方向 NVLink 450GB/s
NVLink 单向延迟	0.822μs vs IB 3.76μs
Qwen3-235B-A22B BF16 权重	470.2GB（单卡 6 倍），8 卡 TP 每卡 61.5GB
V4.1 Flash 算例（256 H100）	超节点 8→64 卡每卡吞吐 ×7.4；64→256 无收益
昇腾 950 UB 双向	2016GB/s
64B 远程读取	UB 0.42μs vs PCIe 网卡 2.2μs

单个 token 调用的 MFU 不会超过 0.3%……各种并行方式，都是在这一约束下重新组织权重的读取与复用。

全文核心逻辑可归纳为下图：

---