登录社区云,与社区用户共同成长
邀请您加入社区
本文记录了在华为昇腾Atlas 800I A2推理卡上部署Qwen2.5-7B-Instruct模型的完整过程,包括环境搭建、模型部署、性能调优等关键步骤,希望能为有类似需求的朋友提供参考。经过完整的部署和测试过程,Qwen2.5-7B模型在昇腾Atlas 800I A2平台上运行稳定,性能表现良好。从监控结果可以看到4张NPU卡都正常工作,温度控制在45°C左右,功耗稳定,为后续部署提供了良好的