7 月 16 日，以「推理的边界，从芯片到应用的全栈进化」为主题的 vLLM Meetup 上海站在上海模速空间举行。密瓜智能（Dynamia）作为联合主办方，携手 vLLM、Red Hat、沐曦股份、AMD、面壁智能等伙伴，共同举办了一场面向大模型推理与 AI Infra 从业者的技术交流活动。

本次活动汇聚了来自 vLLM 社区、Red Hat、沐曦股份、阶跃星辰、密瓜智能、AMD、面壁智能、vLLM-Omni 等团队的技术嘉宾，围绕高吞吐推理、KV Cache 优化、异构算力、生产级部署及 Agentic 推理等方向，带来 8 场深度技术分享。此外，PyTorch Foundation 首席技术官 Matt White、PyTorch Foundation 执行董事 Mark Collier，红帽全球副总裁兼大中华区总裁 Victor Tsao（曹衡康）、红帽大中华区方案架构部总经理 Aella Wang（王慧慧）、红帽亚太区 AI 负责人兼总监 Steve Shirkey、红帽亚太区首席技术官 Vincent Caldeira 也出席了本次活动，并与现场嘉宾围绕开源 AI 生态、AI 基础设施、大模型推理及企业级落地等议题展开交流。活动报名人数超过 500 人，近 300 位嘉宾与开发者到场参与，现场交流氛围热烈。

作为本次活动的重要分享之一，密瓜智能联合创始人兼 CTO、HAMi 核心作者李孟轩发表了题为《你的算力用得好吗：vLLM 推理集群优化的三个阶段》的主题演讲。他围绕大模型推理进入生产环境后面临的资源效率与集群治理问题，系统梳理了 vLLM 推理集群从单节点快速部署、Kubernetes 集群化部署，到生产级推理集群优化的演进路径。

随着大模型应用加速落地，推理系统的建设重点正在从“能否跑起来”转向“能否稳定、高效、可持续地运行”。在多模型、多团队、多芯片和多集群协同的生产场景下，平台团队需要综合考虑 GPU 利用率、显存分配、资源调度、业务隔离、服务稳定性与成本控制等多重因素。

 结合 HAMi 在 GPU 资源治理和推理集群优化中的实践，李孟轩进一步分享了面向生产场景的算力复用与集群优化思路。现场嘉宾也围绕 GPU 资源复用的收益与取舍等问题展开交流，使相关技术讨论进一步贴近企业真实的推理部署场景。

从 8 场技术分享到现场持续交流，本次 vLLM Meetup 上海站集中呈现了大模型推理技术在框架、芯片、算力基础设施与应用落地之间的协同演进。随着推理需求持续增长，如何更好地提升算力使用效率、保障服务稳定性，正成为企业 AI 基础设施建设中的重要议题。

未来，密瓜智能将继续围绕 AI Infra、GPU 资源治理、异构算力调度与开源生态等方向，与行业伙伴展开进一步交流。

---

HAMi 是目前行业内唯一专注于异构 GPU 资源虚拟化、高效调度的开源项目，通过灵活、可靠、按需、弹性的 GPU 虚拟化来提升资源利用率，可以插拔式、轻量化、无侵入地部署在任意公有云、私有云、混合云环境中。在生态兼容层面，HAMi 已全面支持 NVIDIA、AMD、昇腾、平头哥、沐曦、寒武纪、海光、摩尔线程、天数智芯、昆仑芯、燧原、壁仞科技、AWS、瀚博半导体等国内外主流 GPU 芯片。同时无缝支持 Volcano, Koordinator, Kueue, Kai Scheduler 等上下游主流开源调度项目，逐步形成稳定的异构算力生态。目前，HAMi 已集结来自 40 多个国家的 500 余位贡献者，社区活跃度持续提升，最终用户已超过 300 家企业，覆盖国内主流云厂商、互联网企业以及 KA 用户，包括招行、银联、顺丰、蔚来、LinkedIn 等，并已拓展至东南亚、欧洲等海外地区，行业影响力十分广泛。

密瓜智能（Dynamia）由 CNCF 项目 HAMi 的发起与核心维护团队创立，致力于构建AI 基础设施的开源内核，通过面向开源协作构建异构算力的底层调度与虚拟化能力，让 GPU 与各类 AI 芯片资源在云原生环境中更易用、更高效、更可治理。公司围绕异构 GPU 资源虚拟化、高效调度与生产级落地，帮助企业将分散、复杂、昂贵的算力资源转化为可共享、可隔离、可按需使用的基础设施能力。

---

官网：dynamia.ai

邮箱：info@dynamia.ai

HAMi 项目地址：​https://github.com/project-hami/hami

原文地址：​https://mp.weixin.qq.com/s/PvfHLqw0XYJaZ2eiymrLlA

本文作者「Dynamia密瓜智能」