前言：代码学习我个人比较喜欢动手去学，因为对pytorch接触的比较多，所以感觉可以对MindSpore可以有比较快速的入手，机缘巧合之下看到了模型微调大赛，正好借着这个机会从实践中去感受Mindspore各组件的魅力，同时可以学习一下大模型的prompt engineering和Lora训练

比赛链接

模型微调大赛

模型微调大赛的主要目标是在Llama3-8b的模型基础上进行微调，提高其计算数学问题的能力。提高数学计算能力可以更好地将大模型应用于行业生产中，如金融、科学研究等。

环境配置

在配置环境的时候可以启动最低的配置，可以省钱
大赛一共发4张1000元代金券，赛题2的训练推荐配置一小时需要花费80元，基本上一次微调的训练就需要花费500元左右，所以如何省钱去打这个比赛也很重要。

根据大赛手册，我们可以快速地去布置环境，其基本步骤如下：

• 1. mindspore安装
• 2. mindformers安装
• 3. 环境变量和其他依赖安装
• 4. 模型权重和tokenizer文件准备
• 5. 数据集准备（这一步可以直接下载Mindrecord格式的数据集）
• 6. 开始微调

在此附上一个自动配置的脚本，一键运行即可（整个过程花费大约1h）。