10月17日，以“一栈贯通，智算无界”为主题的2026人工智能开放计算大会暨众智FlagOS技术大会在北京举行；继9月30日FlagOS 2.2发布后，大会展示了从底层算子、编译器到模型部署与服务的技术进展，并提出AI模型快速换代而算力基础设施需长期服役的现实问题。

智源众智FlagOS 2.2从多芯适配走向跨芯复用å，九大算子库合计覆盖1454个算子、较上一版增加890个，在上千个算子、10款异构AI芯片测试范围内跨芯算子性能提升约27%；GLM-5.3-Flash实践中，存量昇腾910B逻辑服务吞吐达优化前2.04倍，指定条件下按租金折算的算力成本较对应商业API计费参考低19.4%—27.6%，世界模型和ARM端侧推理也出现可量化的联合优化成果。

这标志着开放智算正从回答“支持哪些芯片”走向回答“能否持续优化每一种算力、持续支撑每一代模型”，使芯片企业可更聚焦架构特色，算力运营方在模型升级时多一条软件优化路径，模型开发者则有机会让算法创新更快跨越硬件边界。

图1｜智源众智FlagOS 2.2 软件栈架构

扩大跨芯共享优化能力：算子总量超1400，多芯片整体算子性能提升27%

FlagOS 2.2持续扩充通用计算、推理专用与科学计算算子，发布清单覆盖9个算子库。FlagGems等公开算子由564个增至1454个，新增890个；首次发布FlagGems-SGLang，包含40个多芯片高性能算子。新增能力面向实际计算需求：FlagGems扩展线性代数、归约与训练反向接口；FlagGems-SGLang覆盖Attention、Mamba状态更新、MoE、LoRA、采样与量化，本轮NVIDIA测试通过清单覆盖全部40个算子；FlagGems-vLLM扩展MLA、KDA／GLA／GDN2、TopK与低精度计算。针对Qwen3.8-Flash-Next，新增8个融合算子，并完成CUDA Graph完整入图。

图 2｜算子库在 FlagOS 2.1 与 2.2 中的数量变化

• 围绕关键计算路径，联合优化算子与编译执行

FlagOS 2.2 覆盖 9 个算子库，FlagGems 等公开算子由 564 个增至 1454 个，新增 890 个；首次发布 FlagGems-SGLang，含 40 个多芯片高性能算子。通过算子实现与 FlagTree 编译优化结合，围绕低比特与混合精度、算子融合、按形状选择执行路径、编译与自动调优提升性能。在 10 家芯片、上千个算子上实现整体算子性能提升 27%，意味着FlagOS优化能力正从单点性能突破走向跨芯片、规模化系统性能提升。

表 1｜关键算子的优化方向及其作用

• AI辅助研发：算子开发从专家手工优化走向规模化生产

算子跨平台覆盖的挑战不只是“写出代码”，更在于正确性、性能和可维护性共同达标。KernelGen多芯片自动算子生成工具已支持九款AI芯片，把代码生成、硬件验证和自动调优衔接为规模化生产能力。本季度新增生成765个算子，其中416个在至少5款国产芯片上通过精度验证，并达到对应原生算子80%以上性能水平。

• FlagPrism跨芯片统一调试工具：开发者和Agent都能用好调优

FlagPrism 将 Triton 源码、编译器 IR 与设备执行信息关联，让跨芯开发从“可运行”走向“可解释”。Debugger 可追查数值问题到具体语句，Profiler 可拆解耗时并定位优化环节；已支持华为昇腾、天数智芯、摩尔线程、英伟达和燧原，帮助开发者和 Agent 复用调优方法。

当开发者、芯片厂商甚至算子生成 Agent 能够获得可对照的数值与性能反馈，跨芯复用的就不再只有某段优化代码，还包括一套发现问题、验证假设和持续迭代的方法。FlagGems、FlagTree、KernelGen 与 FlagPrism 的协同，是 FlagOS 2.2 区别于单纯适配工程的核心技术进展。

• 协同优化进入新模型适配：统一插件与跨芯量化，Day0适配多达12款芯片

FlagOS 通过跨芯片框架插件库，把公共算子与通信等能力接入训练、推理框架；FlagOS-Compressor 提供跨芯片权重转换与量化能力，再配合编译、迁移、评测和发布等组件，将协同优化落实为开发者可用的模型版本，实现新模型一天内适配多达12款芯片。

• 框架插件：把底层优化接入训练与推理

FlagOS 统一跨芯插件系统像一组“插座”，让开发者沿用熟悉的模型开发方式，把多种芯片能力接入 vLLM、Megatron-LM、TransformerEngine、SGLang、Torch、VeRL、LightX2V 等框架。以 TransformerEngine-FL 为例，模型通过统一算子接口发起计算，OpManager 组织算子注册，按策略选择 FlagOS、厂商或 PyTorch 实现，并提供缓存与失败回退机制，减少对核心训练代码的改动。

图 3｜插件的框架层、调度层与后端层

• FlagOS-Compressor：让权重与精度适应目标设备

当目标设备的低精度支持或显存容量与新模型不匹配时，权重转换与量化提供了另一条部署路径。FlagOS 2.2 首次发布 FlagOS-Compressor，根据模型结构与目标硬件选择处理方案，将权重转换、量化、导出与校验组织为统一流程。它可按模块选择量化策略，为敏感模块保留高精度，并导出权重、量化参数与运行配置。在 Qwen3.8-2.4T-A95B 适配中提供 BF16、FP8 到 INT8 的处理路径；Qwen3.5-397B-A17B 采用 W8A8 后模型文件由 751.41GB 缩减至 382.45GB，减少 49.1%，GPQA-Diamond 取得 84.85% 绝对准确率，并完成 NVIDIA H20 与国产 PPU 推理链路验证。

图 4｜FlagOS-Compressor 的转换、量化与产物导出流程

• Day0交付：新模型一天内适配多达12款芯片

依托插件、算子、编译器与量化工具的积累，新模型发布后的适配可减少重复工作。过去半年多次实践中，FlagOS 已实现新模型一天内适配到多达 12 款芯片。适配后还会重新测试评估模型在目标设备上的任务表现，并将模型与配置发布到 Hugging Face、魔搭等平台。Day0 体现响应速度，目标硬件上的测试和配套产物决定交付质量，具体服务性能仍需结合业务负载验证。

图 5｜新模型 Day0 多芯适配与模型交付

• 合作案例：中国电信星辰模型Day0适配10款芯片

中国电信星辰大模型在训练侧将FlagGems接入基于MindSpore、CANN和昇腾NPU的训练体系，用专项优化算子替换部分原生实现，同时复用MindSpore自动并行与分布式通信能力，mHC、TopK等训练算子已完成全链路调试和端到端训练效果验证，MindFormers集成FlagOS的工作也已开源合入；推理侧，Xing4.0-29B-A4B已完成十款芯片平台上的适配、精度对齐和部署验证，其中八款采用标准适配，苹果M5 Pro与此芯P1采用W4A8端侧量化，团队完成12个推理算子的迭代替换，并将算子开源至FlagGems与vLLM主仓，在高并发、长输入测试中，相比英伟达原生算子实现，首Token时延降低19.87%，解码速度提高26.32%。

图 6｜中国电信星辰大模型接入 FlagOS 的训练架构

框架插件解决“上层框架如何调用不同芯片能力”，FlagOS-Compressor 解决“模型权重与精度如何适应目标设备”，Day0 交付则把二者与算子、编译、评测、发布衔接起来，形成从底层优化到模型多芯交付的闭环，推动协同优化真正进入新模型适配。

从运行模型到高效生产Token：跨芯优化进入真实服务场景

模型完成跨芯交付后，还要面对真实应用要求：Token服务关注新模型不断更新时，已有算力能否持续提供有竞争力的速度与成本；世界模型引入视频、空间和多模态数据，计算复杂度随之增加；模型进入端侧，又要在有限内存、算力和功耗条件下运行。这三类需求共同推动FlagOS从多芯适配走向持续协同优化。

• DeepSeek V4.1 Flash：跨平台优化展现商业API竞争潜力

FlagOS 以 SGLang-Plugin-FL、FlagGems、FlagGems-SGLang、FlagTree 与 FlagCX 组成优化栈，在英伟达 H100 和平头哥 810E 上优化 DeepSeek V4.1 Flash。H100 采用 1P1D、W4A16/FP8，在 128K 输入、最多 8K 输出、开启 DSpark 的缓存命中 Coding 任务中，32 路和 64 路并发下每请求解码速度分别增加 31.7 和 21.9 tokens/s，提升 19.7% 和 18.0%。平头哥 810E 采用每节点 16 张 96GB 卡、1P1D、W8A8，相比该平台 SGLang 原生路径，24 路并发下每请求解码速度增加 57.2 tokens/s、提升 83.1%，48 路并发下增加 40.2 tokens/s、提升 91.5%。

图 7｜DeepSeek V4.1 Flash 的跨平台推理优化：左为 H100，右为平头哥 810E

• GLM-5.3-Flash：存量910B服务吞吐约翻倍，场景测算成本较API计费降低19.4%—27.6%

基于 FlagOS 技术栈优化，GLM-5.3-Flash 在 Agentic 回放场景的逻辑服务吞吐约为优化前的 2.04 倍，从 8.52k 提高至 17.36k tokens/s。该指标计入输入、输出及缓存命中的逻辑输入 Token，反映服务承载能力，并非纯输出生成速度。在另一项 512K 长上下文测试中，生成速度达到 60.9 tokens/s，接近官方 API 外部测量参考值 61.1 tokens/s，两者比值约 99.7%，该比较仅针对生成速度，并非同负载对照。按每台 8 卡 910B 月租 16,500 元、3P1D 部署、93% 缓存命中率及解码侧满载条件，测算每百万输出 Token 及其对应输入的租金折算算力成本：256K 输入／8 并发场景为 59.27 元，较对应商业 API 计费参考 73.55 元低 19.4%；512K 输入／4 并发场景为 104.53 元，较 API 计费参考 144.31 元低 27.6%。

表 2｜每百万输出 Token 对应的场景成本估算，保留上述输入与缓存条件

以下测试均采用输出长度 1K；表中箭头左侧为厂商基线，右侧为 FlagOS 优化结果。

输入长度／并发	冷启动首字时间（秒） 基线 → 优化后	满载单请求生成速度（tokens/s） 基线 → 优化后
256K／8	91.44 → 84.03	36.3 → 53.7
512K／4	279.28 → 199.63	43.2 → 60.9

表 3｜昇腾 910B 长上下文推理性能对比（输出长度 1K）

这些结果为企业提供了一条可评估的路径：先通过软件优化延续现有设备的服务能力，再判断是否需要硬件升级。

• 合作案例：软通动力GLM-5.2的p50 Token间时延降低14.53%

软通动力天元智算混合云服务平台接入 FlagOS 的算子、编译、通信与训推框架能力，连接上层模型服务与底层异构设备。双方在四台昇腾 910C 服务器上对 GLM-5.2 进行联合优化，Prefill 与 Decode 各占两台。五项改动全部启用后，服务端与客户端 p50 ITL 均降低 14.53%；反映长尾等待的 p99 ITL，服务端从 83.82 ms 降至 66.35 ms，降低 20.84%，客户端从 138.56 ms 降至 118.73 ms，降低 14.31%，为平台运营方评估实际业务负载下的服务能力提供依据。

图 8｜FlagOS 核心能力衔接模型服务、平台运营与异构资源调度

上述实践表明，跨芯复用优化正从“运行模型”走向“高效生产Token”：既支撑新模型在多类芯片上保持推理速度，也为存量设备承接新模型、企业服务平台降低时延和测算成本提供依据。具体部署仍需结合业务负载、时延要求和完整运营成本综合判断。

从Token Factory走向物理AI：世界模型与端侧计算迎来新负载

AI计算需求正沿三条路径扩展：数据中心的Token Factory追求持续演进和规模效率，端侧AI受限于内存、能耗与硬件空间，物理AI的具身世界模型则引入视频、空间、时间、动作及多传感器数据。FlagOS 提前布局，将算子库、编译器、框架等能力向物理AI和端侧计算延伸。

• 助力智源新一代具身世界模型：公共算子与训练系统协同

FlagOS 围绕 FlagGems 算子、训练框架与分布式策略，与智源新一代具身世界模型系统联合优化，VLM、Tx2V 和 Action 三个模块分别取得约 2.3×、1.9×、2.0× 加速，MFU 分别约为 33%、36%、35%。框架层采用固定序列长度组织数据，将稳定张量形状交给静态编译，用动态元数据表达样本差异，带来 19.7% 吞吐提升和 29.5% 显存下降；长序列 Attention 缓存输出 O 及 LSE 供反向复用，将前向重放次数从 288 次降至 0 次，生成分支吞吐提高 14.8%。FlagGems 为 Attention、索引和归约等关键计算提供优化实现，Attention 算子获得约 1.40—1.43× 加速，索引算子最高达到 2.97×，优化保留在公共算子库中可供后续模型与硬件复用。

图 9｜具身世界模型三个模块的优化加速比与 MFU（模型浮点运算利用率）

• LightX2V-Plugin-FL：统一插件体系延伸到视频与动作生成

LightX2V 是视频生成推理框架，LightX2V-Plugin-FL 是其接入 FlagOS 的插件：框架组织模型流程，插件连接目标设备与算子执行路径，FlagGems 承担实际 Attention 计算，使已有算子进入视频生成反复执行的去噪循环，减少为不同芯片分别改造模型框架的工作。DreamZero-DROID 的双卡验证跑通从图像输入到视频与动作输出的链路，说明公共算子经统一插件进入视频生成框架，并在国产硬件上完成跨芯运行与完整输出；速度提升仍需同条件基线测试。

• ARM CPU：MiniCPM5-2B在M5 Pro上生成约92 tokens/s

FlagOS 2.2 独立发布 FlagTree-CPU，针对 ARM CPU 推进统一编译、低比特算子与运行时优化。工具链围绕 I8MM、SDOT 及流式访存等路径差异化设计，并通过算子融合与执行调度减少重复开销；在具备相应指令支持的 CPU 上，SME2 与 NEON I8MM 协同处理同一层 GEMM，使完整模型 Prefill 吞吐提高 21%至25%。在 Mac M5 Pro、CPU-only 测试中，MiniCPM5-2B 的 Prefill 速度超过 1000 tokens/s，Decode 达到 91.66 tokens/s；Qwen3.8-27B 采用 DFlash2 后，Decode 从 12.73 提高到 23.40 tokens/s，约为原来的 1.84 倍，为端侧应用在模型能力、设备内存与时延之间选择配置提供依据。

图 10｜端侧算力增强与具备较强任务能力的模型规模缩小，共同改善本地部署条件

从具身世界模型训练，到视频与动作生成插件，再到 ARM CPU 端侧推理，FlagOS 正把公共算子、统一插件和编译优化从 Token Factory 延伸到物理AI与端侧计算。世界模型训练中的加速比与 MFU、视频生成中的跨芯运行验证、端侧 CPU 上的生成速度，共同表明协同优化开始覆盖新负载；部分性能提升仍需结合同条件基线和实际业务负载继续验证。

从技术共建到全球生态：代码贡献者增加55%，下载量增加四倍

• 国际合作：拓展开放计算的全球协作

智源众智FlagOS立足中国、走向全球。国际合作既包括中非创业与AI伙伴研讨会、阿布扎比Open Compute Workshop等技术交流，也包括开发者与师资培养。全球AI算力师资发展计划第二期在UNDP支持下与非盟ASRIC联办，汇集来自30多个国家的近50位高校骨干教师。OASIS-AI 2026 @ MICRO Workshop进一步聚焦异构AI系统开放架构与软件基础设施。联合国“开放计算工作组”已于9月28日获批成立，首次会议计划于11月APEC期间举行。

图 11｜FlagOS 国际合作的四项活动

• 开发者社区：季度下载量增加四倍，代码贡献者持续增加

让多种硬件共同维护不断更新的模型生态，需要各方长期投入。FlagOS每次发版都依赖多个开源社区合作，持续与PyTorch、Triton、vLLM、SGLang、Megatron、TransformerEngine、VeRL等上游社区协作维护接口与实现。截至第三季度，智源FlagOS生态成员单位达107家，季度社区下载量为464,336次，是第二季度的4.76倍。从2.1到2.2，合并PR数从1,890增至4,890，代码提交从5,100增至9,730，新建Issue从420增至1,423，代码贡献者达264位、增加55%。

图 12｜FlagOS 2.2 社区开发者头像拼图

当前AI模型可能3个月一代，算力基础设施却要在多年中创造价值。FlagOS 2.2显示，一条值得持续投入的技术路径越来越清晰：把面向新模型的算子、编译、量化和系统优化沉淀为可复用公共能力，通过统一接口交付给不同芯片，再在真实模型与服务负载中不断验证收益。从Token Factory到端侧AI与世界模型，开放计算的价值不只是增加硬件选择，更是让每一种已投入的算力，都有机会随着软件生态进步持续发挥作用。