一、本地环境

● window11版本以上
● QEMU (开源硬件模拟器,提供 aarch64 (ARM64) 架构的虚拟机运行环境)
● 系统镜像 openEuler 22.03
● ollama(安装:qwen3-coder:30b 和 bge-m3:latest 模型)
● 独立显卡(非必须,有的话更快)
参考文档
注意:需要提前在虚拟机上安装好openEuler 22.03的aarch64 版本以及ollama模型服务(具体安装步骤这里就不做描述,因为每个人电脑环境有差异,安装步骤可能不一样)。

二、安装套件

2.1 下载安装包

下载地址
● 包名:DevKit-AI-26.1.RC1-Linux-Kunpeng.tar.gz
注意:下载候选版本(因为Beta版本缺少一些文件,官方教程也不是用的Beta版本)
在这里插入图片描述

2.2 部署服务

把安装包DevKit-AI-26.1.RC1-Linux-Kunpeng.tar.gz上传到服务器(博主上传的是/opt/路径下)
解压安装tar -xvzf DevKit-AI-26.1.RC1-Linux-Kunpeng.tar.gz

tar -xvzf DevKit-AI-26.1.RC1-Linux-Kunpeng.tar.gz

解压后的文件夹
进入文件夹

cd DevKit-AI-26.1.RC1-Linux-Kunpeng
ls

在这里插入图片描述

执行工具前导入环境变量

export LD_LIBRARY_PATH=/opt/DevKit-AI-26.1.RC1-Linux-Kunpen:$LD_LIBRARY_PATH

配置config.yaml文件

vim config.yaml

进入INSERT模型进行配置
在这里插入图片描述

注意
● host是主机ip必填
● 因为测试没使用https,用的http
● 端口8080
● 因为测试没有开启用户认证,用的false
● ollama模型是本地部署,参考官方教程使用的是qwen3-coder:30b和bge-m3:lastest。
进行文档的向量化和入库操作,执行embeddings文件。

./embeddings

执行完成后
在这里插入图片描述

注意
● 如果ollama模型配置错误,会出现“文档嵌入/向量数据库入库过程中发生错误:time out”
● 如果llm模型的参数过低会导致执行时间过长导致失败。最好不低于30b

2.3启动服务

通过命令后台运行服务

nohup ./server > ./uvicorn.log 2>&1 &

查看服务日志,等待服务启动

tail -F -n 10 uvicorn.log

服务启动完成
在这里插入图片描述

2.4 检查服务

检查服务

ss -tulpn | grep :8080

在这里插入图片描述

api服务(如果需要开启https和接口密钥,需要先通过“./encrypt”进行密钥生成,然后再配置config.yaml)

curl http://host的IP地址:8080

在这里插入图片描述

功能使用(命令行)

./devkitai_cli

在这里插入图片描述

关闭服务

# 具体的pid值通过“检查服务”获取
kill -9 {pid}

2.5 总结

到此整个安装过程就完成了,虽然中途遇到些问题,不过都解决了,最主要的是以行践言。

Logo

鲲鹏昇腾开发者社区是面向全社会开放的“联接全球计算开发者,聚合华为+生态”的社区,内容涵盖鲲鹏、昇腾资源,帮助开发者快速获取所需的知识、经验、软件、工具、算力,支撑开发者易学、好用、成功,成为核心开发者。

更多推荐