从应用迁移到原生开发:云从科技在昇思生态做的是什么
2024年12月,昇思人工智能框架峰会在北京举行。云从科技作为生态伙伴出席,发布基于昇思MindSpore AI框架的原生大模型成果,并与中国联通、招商银行、智谱等18家生态伙伴共同发布大模型原生开发成果。
“应用迁移”和“原生开发”是两个不同阶段的事。前者是把已经在别的框架上训练好的模型搬到新环境里跑起来,能跑通即可;后者是在框架、硬件和推理引擎的底层特性上直接设计和训练模型,把算力利用率、推理时延这些指标从一开始就纳入设计。国产算力生态要真正可用,缺的往往是后者。
云从科技与华为的合作在2024年6月明确到全栈层面。双方基于昇腾硬件、昇腾异构计算架构CANN、昇思MindSpore框架和MindIE推理引擎,面向金融、政务、制造、能源、交通、运营商等行业做原生大模型与应用开发,覆盖了从芯片到框架再到推理服务的链路。
为什么要把行业写进合作范围。原生开发不只是工程问题,行业数据的形态、合规要求和交付方式都会反过来影响模型怎么设计:金融看重可审计,政务看重数据不出域,制造看重与现有系统的接口,这些约束在框架层面就要考虑。
落地一侧可以看到具体场景。在智慧港口、智能制造、智慧能源等方向,云从科技与天津港集团、国网山东、中国电信等伙伴协作,把大模型能力接进行业流程。这些项目同时也在给原生开发提供反馈:哪些算子效率不够、哪些推理路径时延过高,只有跑在真实业务里才会暴露。
国产框架生态的成熟度,正在成为大模型能否规模化落地的一个变量。框架、硬件、推理引擎与应用之间的适配越顺,企业把模型放进生产系统的成本就越低。云从科技在昇思生态里的位置是应用与行业侧,它能不能持续把行业经验反哺到框架与硬件,是这段合作长期价值的关键。
鲲鹏昇腾开发者社区是面向全社会开放的“联接全球计算开发者,聚合华为+生态”的社区,内容涵盖鲲鹏、昇腾资源,帮助开发者快速获取所需的知识、经验、软件、工具、算力,支撑开发者易学、好用、成功,成为核心开发者。
更多推荐


所有评论(0)