主要步骤

  1. 获取昇腾服务器资源并登录

  2. 检查环境（Docker、NPU、网络）

  3. 准备推理镜像

    • 获取基础镜像
    • 获取授权软件包
    • 使用共享或自制镜像

  4. 准备模型权重文件

  5. 启动模型推理容器

  6. 在容器中启动在线推理服务

  7. 调用API验证模型

  8. 进行性能测试（静态与动态）

# AIGC
Logo
鲲鹏昇腾开发者社区是面向全社会开放的“联接全球计算开发者，聚合华为+生态”的社区，内容涵盖鲲鹏、昇腾资源，帮助开发者快速获取所需的知识、经验、软件、工具、算力，支撑开发者易学、好用、成功，成为核心开发者。

鲲鹏昇腾开发者社区是面向全社会开放的“联接全球计算开发者，聚合华为+生态”的社区，内容涵盖鲲鹏、昇腾资源，帮助开发者快速获取所需的知识、经验、软件、工具、算力，支撑开发者易学、好用、成功，成为核心开发者。

更多推荐

cover

昇腾CANN的Spack包管理，一行命令装全套开发环境

avatar 鲲鹏昇腾开发者社区
cover

用昇腾NPU训一个会认路的机器人，全流程实录

avatar 鲲鹏昇腾开发者社区
cover

昇腾CANN开源竞赛，从参赛到获奖的实战攻略

avatar 鲲鹏昇腾开发者社区