请添加图片描述

🌈你好呀!我是 是Yu欸
🚀 感谢你的陪伴与支持~ 欢迎添加文末好友
🌌 在所有感兴趣的领域扩展知识,不定期掉落福利资讯(*^▽^*)

写在最前面

版权声明:本文为原创,遵循 CC 4.0 BY-SA 协议。转载请注明出处。

在计算架构的演进历程中,云原生(Cloud Native)与高性能计算(HPC)长期处于“二元对立”的状态:前者追求极致的弹性与微服务编排,后者追求极致的吞吐与硬件亲和性。

这种“井水不犯河水”的平衡在过去是有效的。然而,AI 大模型训练等新型负载的爆发打破了这一局面——它们既对硬件拓扑极其敏感,又需要大规模的弹性调度。这种混合需求迫使这两种技术范式必须打破藩篱,走向深度融合

本文从架构演进的视角,剖析 openFuyao 如何在 Kubernetes 的控制平面上,通过引入 HPC 领域的原子性(Atomicity)和拓扑感知(Topology Awareness)机制,构建了一种兼具云原生弹性与 HPC 性能的新型调度范式,确立了其作为“K8s HPC 增强器”与“Slurm 云原生演进”的独特技术定位。

一、 引言:计算范式的“十字路口”

在过去十年中,计算基础设施领域平行发展出了两个独立的世界:

一个是以 Kubernetes 为代表的“松耦合”世界。K8s 的设计哲学是面向无状态微服务的,它假设应用是随时可替换、可重启的,其默认调度器(Default Scheduler)采用“尽力而为”(Best-Effort)策略,关注的是 Pod 的逻辑配额而非物理位置。

另一个是以 Slurm 为代表的“紧耦合”世界。在超算与科研领域,任务往往是静态且对硬件极其敏感的。HPC 调度器关注的是作业的整体性(Job)和对硬件拓扑的绝对控制,但在面对互联网式的敏捷开发和弹性伸缩时显得力不从心。

随着 AI 训练进入“万卡时代”,我们站在了计算范式的十字路口:AI 任务既需要 HPC 的“专机专用”性能,又离不开云原生的“弹性扩缩”。现有的 K8s 或 Slurm 单一架构都无法承载这一混合需求。openFuyao 的诞生,正是为了在架构层面打破这种二元对立,它不是简单的功能堆砌,而是一次调度语义的深度融合

二、 核心定位:构建“异构算力”的统一语言

openFuyao 在架构层面重新定义了调度系统的边界,其核心定位在于实现两种技术基因的重组:

2.1 愿景与使命:从“资源分配”到“价值释放”

如果说第一代调度器的使命是“把资源分出去”,那么 openFuyao 的使命则是“把性能榨出来”其愿景是成为多样化算力时代的调度枢纽,通过智能调度释放每一种硬件(CPU/GPU/NPU)的独特潜能。这要求平台不仅能管理资源的“量”,更能理解资源的“质”(如拓扑关系、通信带宽)。

2.2 技术定位:双重属性的辩证统一

openFuyao 的架构具有独特的双重属性:

  • 属性一:K8s 的 HPC 增强器。 它保留了 K8s 的 API Server 和 Etcd 等核心组件,继承了声明式 API 和庞大的云原生生态。它是 K8s 的一块“高性能拼图”,而非替代品。
  • 属性二:Slurm 的云原生演进。 它将传统 HPC 调度器中优秀的“Gang(帮派)”概念和“Topology(拓扑)”算法,用 Go 语言和 Controller 模式重写,使其具备了云原生的动态特性。

三、 解决方案框架:“核心平台 + 可插拔组件”的实现路径

openFuyao 采用 “核心平台(Control Plane) + 可插拔组件(Pluggable Components)” 的解耦架构。这种设计不是为了解决碎片化,而是为了实现调度逻辑的可编程性

3.1 坚实的底座:基于 K8s 的云原生核心平台

核心平台基于深度优化的 Kubernetes 构建。与传统 K8s 不同,openFuyao 对 kube-scheduler 进行了扩展框架(Scheduling Framework)层面的改造,预留了多个扩展点(Extension Points),使得 HPC 级算法能够以插件形式介入调度的 Filter、Score 和 Bind 阶段。

图为扩展组件系统架构图

3.2 差异化能力:调度语义的“HPC 化”重构

openFuyao 的核心技术突破,在于它在 K8s 的调度循环中,注入了三个关键的 HPC 语义:

(1)注入“拓扑语义”:NUMA 亲和调度的架构重构

K8s 原生调度器眼中的资源是扁平的(只有 CPU/Mem 数量)。openFuyao 通过 NUMA 亲和调度组件,重构了调度器的世界观。它引入了 Fine-Grained Topology(细粒度拓扑) 模型,让调度器能够“看到”服务器内部的 CPU Socket、内存 Controller 和 PCIe 总线。在调度决策链中,它强制约束计算与数据必须落在同一 NUMA 域,从而在架构层面消除了跨片访问的隐患,这是对 K8s 资源模型的降维打击。

(2)注入“原子语义”:Gang Scheduling 的机制引入

K8s 的基本调度单元是 Pod,而 AI 训练的基本单元是 Job(包含一组 Pod)。这种语义错位导致了死锁风险。openFuyao 通过 Gang Scheduling 引入了“原子性(Atomicity)”。它构建了一个用于暂存 Pod 的“等待队列”,只有当一个 Job 所需的所有资源都满足时,才会触发批量绑定。这种机制将 HPC 的作业整体性思维成功移植到了 K8s 的流式调度中。

(3)注入“分层语义”:在线/离线统一资源池

在传统架构中,在线服务和离线计算往往部署在两套物理集群中。openFuyao 通过 在离线混部 技术,实现了一个物理资源池之上的逻辑分层。它利用 Linux 内核的 cgroups v2 和 eBPF 技术,构建了高优先级(Latency-Sensitive)和低优先级(Best-Effort)两条资源通道。这不仅是资源复用,更是对计算优先级的架构级重定义,实现了不同负载在同一内核上的和谐共生。

四、 社区演进策略与生态位

4.1 技术演进策略:更广的兼容,更深的智能

openFuyao 的技术演进围绕两大方向展开:

  1. 广度(国产化适配): openFuyao 在支持国产化异构算力(如昇腾、鲲鹏)上具有天然和战略性优势。持续适配国产软硬件,是其在当前市场竞争中的立足之本。
  2. 深度(智能化): 不断深化 “动态智能调度” 算法,以应对异构硬件性能的非线性动态变化(如硬件过热导致的降频)等复杂挑战,从而实现更加精准、高效的调度决策。

4.2 社区技术框架:开放协同与全球标准

openFuyao 是由华为、中国移动、联通等产业龙头共同主导的开源社区,旨在孵化全球算力互联标准。这种多方共治的社区模式,确保了平台的中立性和开放性,是吸引全球生态伙伴加入的关键。社区通过 GitCode 仓库、SIG(特别兴趣小组)和贡献指南等机制,鼓励开发者参与贡献,共同定义下代算力基础设施。

五、 结论:为“智算时代”确立新范式

openFuyao 不是对现有系统的修修补补,而是一次架构层面的重构。它通过在 K8s 这一云原生底座上成功嫁接 HPC 的性能基因,证明了弹性与效率并非不可兼得。

这种融合架构代表了智算时代的新范式——既有云的灵动,又有超算的强悍。它通过 NUMA 亲和、Gang Scheduling、混部 等机制的有机结合,为 AI 应用提供了一个进化的、统一的运行底座。

openFuyao 的演进才刚刚开始,它或许代表了国内算力调度的未来方向。对于开发者而言,参与其中意味着能够率先掌握云原生与 HPC 深度融合的核心技术;对于企业而言,这提供了构建高效、自主可控算力底座的最优路径。

我们期待更多伙伴关注、试用并加入社区,在共享技术红利的同时,共同定义下一代算力基础设施的标准。

openFuyao 的 gitcode社区 : https://gitcode.com/openFuyao

参考文献

  1. openFuyao 社区. (2025). 发行说明 | openFuyao文档. https://docs.openfuyao.cn/docs/
  2. openFuyao 社区. (2025). 快速入门 | openFuyao文档. https://docs.openfuyao.cn/docs/Quick_Start
  3. 头豹研究院. (2025). 2025年算力调度平台行业.
  4. openFuyao 社区. (2025). 开发指南/NUMA亲和调度开发指南. https://docs.openfuyao.cn/docs/Developer_Guide/NUMA_aware_Scheduling_Development_Guide
  5. ITP.net. (2025). Empowering Global Innovation with an Open, Reliable Computing Alternative. https://www.itp.net/edge/empowering-global-innovation-with-an-open-reliable-computing-alternative
  6. WuzhouCloud. (2025). openFuyao x 广电五舟:共建复合集流体智能产线系统. https://www.wuzhoucloud.com/news/index2596.html

hello,我是 是Yu欸 。如果你喜欢我的文章,欢迎三连给我鼓励和支持:👍点赞 📁 关注 💬评论,我会给大家带来更多有用有趣的文章。
原文链接 👉 ,⚡️更新更及时。

欢迎大家点开下面名片,添加好友交流。

Logo

鲲鹏昇腾开发者社区是面向全社会开放的“联接全球计算开发者,聚合华为+生态”的社区,内容涵盖鲲鹏、昇腾资源,帮助开发者快速获取所需的知识、经验、软件、工具、算力,支撑开发者易学、好用、成功,成为核心开发者。

更多推荐