主要步骤

  1. 获取昇腾服务器资源并登录

  2. 检查环境（Docker、NPU、网络）

  3. 准备推理镜像

    • 获取基础镜像
    • 获取授权软件包
    • 使用共享或自制镜像

  4. 准备模型权重文件

  5. 启动模型推理容器

  6. 在容器中启动在线推理服务

  7. 调用API验证模型

  8. 进行性能测试（静态与动态）

# AIGC
Logo
鲲鹏昇腾开发者社区是面向全社会开放的“联接全球计算开发者，聚合华为+生态”的社区，内容涵盖鲲鹏、昇腾资源，帮助开发者快速获取所需的知识、经验、软件、工具、算力，支撑开发者易学、好用、成功，成为核心开发者。

鲲鹏昇腾开发者社区是面向全社会开放的“联接全球计算开发者，聚合华为+生态”的社区，内容涵盖鲲鹏、昇腾资源，帮助开发者快速获取所需的知识、经验、软件、工具、算力，支撑开发者易学、好用、成功，成为核心开发者。

更多推荐

cover

Triton第五课：分组矩阵乘调优

avatar 鲲鹏昇腾开发者社区
cover

P600-ROS2上线，有哪些提升？如何选择？

avatar 鲲鹏昇腾开发者社区

昇思大模型预训练：月级别训练的核心内容

<think>我们需要理解任务：根据给定的内容，生成不超过150字的文章摘要。内容是关于昇思MindSpore Transformers (Mcore) 和昇腾NPU集群的月级别预训练，涉及大模型如Llama 3-70B等。摘要需要概括核心内容，控制字数。 首先，内容结构：月级别预训练是核心阶段，耗时1-3个月，决定模型能力。需要解决三大难题。然后描述了三阶段策略和核心技术。最后是价值

avatar 鲲鹏昇腾开发者社区