2026 年 7 月 6 日,腾讯自研新一代混合专家大语言模型 Hy3 正式上线开源,面向所有开发者免费开放在线推理、本地下载、二次微调与商用适配能力。

Hy3 是腾讯重构训练框架后推出的新一代 MoE 混合专家大语言模型,总参数量 295B,激活参数仅 21B,兼顾大模型能力与推理成本。模型原生支持 262K 超长上下文窗口,可完整读取整仓代码、技术白皮书、行业文档、海量日志,无需分段处理。模型内置三级推理模式自由切换:快速模式(no_think,问答提速)、标准模式(think_low,通用场景均衡)、深度推理(think_high,代码/数学/复杂逻辑专用),精准匹配日常咨询、业务问答、复杂逻辑等全场景需求,实现极速响应与可控算力成本的兼顾。

当前昇腾系列产品一直同步支持业界领先系列模型,此次 Hy3 正式版开源发布后,昇腾在开源社区实现 0day 适配,基于 vLLM-Ascend 和 SGLang 在昇腾上实现高性能推理服务,帮助用户快速部署落地。模型介绍见之前的报道

昇腾 Hunyuan3 模型适配

Hy3 与 Hy3-preview 采用相同架构。昇腾基于 vLLM-Ascend 和 SGLang 底座为其提供完整的适配支持。本教程以 Atlas A3 单机为例,为开发者展示在 Atlas A3 上部署 Hy3 模型的方案。

vLLM-Ascend 部署方式

推荐使用昇腾官方 Docker 镜像一键部署:

# 拉取并启动 Docker 容器

容器内执行 vllm serve 启动推理服务:

cd /workspace

功能验证:

# 检查模型就绪状态

SGLang 部署方式

(验证版本:SGLang v0.5.13+,建议使用 v0.5.13 或更新版本)

# 拉取昇腾官方 Docker 镜像

容器内启动推理服务:

export SGLANG_SET_CPU_AFFINITY=1

功能验证(无思考模式):

curl http://${HOST}:${PORT}/v1/chat/completions \

模型权重下载地址:

SGLang 支持特性一览:

在这里插入图片描述

更多资源


昇腾,让国产算力更懂大模型。 立即体验 Hy3,开启您的高效推理之旅!

Logo

鲲鹏昇腾开发者社区是面向全社会开放的“联接全球计算开发者,聚合华为+生态”的社区,内容涵盖鲲鹏、昇腾资源,帮助开发者快速获取所需的知识、经验、软件、工具、算力,支撑开发者易学、好用、成功,成为核心开发者。

更多推荐