0. 适配环境说明（本次唯一标准基线）

硬件：华为泰山鲲鹏920服务器 + 天垓150S（BI-V150）32G HBM

系统：openEuler 22.03 / Kylin V10（ARM64）

软件栈：CoreX 4.4.0 完整版（带ixCCL、完整toolbox）

固件标准：全卡统一 2.1.4（必须，否则训练抖动、功耗N/A）

支持模型：LLaMA2、Qwen、ChatGLM、Baichuan 7B/13B 推理、LoRA微调

并行方式：单机1卡推理 / 单机2卡分布式训练微调

通过网盘分享的文件：麒麟kylin linux 安装CDH v7.1指南

链接:https://pan.baidu.com/s/1wbRWJUSyElplFgse_NyOwg?pwd=pgxn 提取码:pgxn

通过网盘分享的文件：Hadoop

链接: https://pan.baidu.com/s/1PDj6dySUNHotNABp7d1a0w?pwd=57is 提取码: 57is

 第一步：硬件状态基线校验（必做）

逐条复制执行，确保硬件无问题再部署模型

# 1. 查看显卡识别、固件、功耗是否正常（无N/A）

ixsmi

# 2. 锁定满血训练功耗&高频模式（150S标准最优参数）

ix-gpu-tuner --device 0,1 --power-limit 350 --sm-clock 1500 --mem-clock 1600 --temp-limit 88 --perf-mode high

# 3. 双卡P2P互通校验（分布式训练必须通）

cd /usr/local/corex-4.4.0/corex-toolbox-1.0.0/bin

./p2pBandwidthTest

# 4. ixCCL双卡通信性能测试（训练速度核心）

./all_reduce_perf -g 0,1

验收标准：

1. 固件全部 2.1.4、功耗正常显示、无 N/A

2. P2P带宽正常、无报错

3. all_reduce 无超时、无卡死

第二步：系统依赖&Python环境部署（ARM鲲鹏专用）

# 更新系统依赖

sudo dnf update -y

sudo dnf install gcc gcc-c++ make cmake git wget curl -y

# 安装python3.8（大模型最稳版本）

sudo dnf install python38 python38-devel python38-pip -y

# 设置默认python

sudo alternatives --set python3 /usr/bin/python3.8

python3 -V

# 升级pip

pip3 install --upgrade pip setuptools wheel

 第三步：加载CoreX4.4.0全局环境（每次开机必加载）

# 写入全局环境变量

echo "export PATH=/usr/local/corex-4.4.0/bin:/usr/local/corex-4.4.0/corex-toolbox-1.0.0/bin:\$PATH" >> /etc/profile

echo "export LD_LIBRARY_PATH=/usr/local/corex-4.4.0/lib:/usr/local/corex-4.4.0/lib64:\$LD_LIBRARY_PATH" >> /etc/profile

source /etc/profile

# 校验corex可用性

ixsmi

nvcc -V

第四步：安装天数智芯AI训练框架（ARM官方适配）

天垓150S 优先使用飞桨Paddle（官方最优适配、ixCCL原生支持、分布式最稳）

# 安装底座

pip install paddlepaddle==2.6.1

# 安装天数智芯GPU硬件插件（关键！替代cuda）

pip install paddle-iluvatar-gpu

# 安装大模型套件

pip install paddlenlp transformers datasets accelerate sentencepiece peft bitsandbytes

第五步：单卡 LLM 推理部署（7B/13B通用）

直接命令行跑通对话模型（以Qwen-7B-Chat为例）

# 简易推理启动（自动识别天垓150S GPU）

python3 -c "

from paddlenlp.transformers import AutoModelForCausalLM, AutoTokenizer

model_name_or_path='qwen/Qwen-7B-Chat'

tokenizer=AutoTokenizer.from_pretrained(model_name_or_path)

model=AutoModelForCausalLM.from_pretrained(

    model_name_or_path,

    dtype='float16',

    device='gpu'

)

prompt='你好，请介绍一下天数智芯天垓150S'

inputs=tokenizer(prompt,return_tensors='pt').to('gpu')

outputs=model.generate(**inputs,max_new_tokens=200)

print(tokenizer.decode(outputs[0],skip_special_tokens=True))

"

 第六步：双卡分布式训练/微调（核心重点｜生产级）

适配天垓150S + 泰山ARM，调用ixCCL多卡通信

# 单机2卡启动LoRA微调（行业标准命令）

python -m paddle.distributed.launch --gpus 0,1 train_lora.py

训练脚本关键适配参数（适配150S）

# 必须配置，否则多卡不加速、负载不均

args.fp16=True

args.use_ixccl=True

args.per_device_train_batch_size=4

args.gradient_accumulation_steps=2

args.lora_rank=8

第七步：模型量化（13B流畅运行必备）

32G显存原生跑13B紧张，量化后稳定全速

# 4bit量化加载参数（天垓150S最优）

load_in_4bit=True

bnb_4bit_use_double_quant=True

bnb_4bit_quant_type="nf4"

bnb_4bit_compute_dtype="float16"

第八步：整机稳定性压测（训练前验收）

模型训练前必须跑满，防止中途掉卡、降频

# 双卡满载压力测试 10分钟

cd /usr/local/corex-4.4.0/corex-toolbox-1.0.0/bin

for i in {1..600};do ./gemm_perf --device 0 && ./gemm_perf --device 1;done

9. 常见报错一键解决（150S+鲲鹏专属）

问题1：多卡训练负载不均、速度慢

原因：固件版本不统一

解决：全部刷写 2.1.4

问题2：GPU功耗N/A、无法锁频

解决：升级2.1.4固件 + ix-gpu-tuner重锁功耗

问题3：ARM下框架报错、cuda找不到

解决：必须使用 paddle-iluvatar-gpu，不要用原生torch cuda

问题4：多卡ixCCL通信超时

解决：关闭网卡节能、确认PCIe通道为Gen4 x4全速

10. 最终可落地业务场景

• ✅ 单卡：7B全量训练、13B 4bit推理、知识库问答
• ✅ 双卡：13B LoRA微调、SFT监督微调、多模态训练
• ✅ 信创纯国产：鲲鹏ARM + 天数智芯 + 欧拉系统 全栈自主可控

11. 快速复盘部署顺序（记住这个流程即可）

硬件校验 → 固件统一2.1.4 → CoreX环境加载 → 鲲鹏依赖安装 → Paddle国产框架 → 单卡推理验证 → 双卡ixCCL分布式微调 → 压力验收上线