描述

CUDA（Compute Unified Device Architecture）是NVIDIA推出的并行计算平台和编程模型，允许开发者利用GPU进行计算。

在大模型微调中的作用：

• 高效利用GPU资源：CUDA为GPU提供了高效的内存管理和计算调度机制，能够充分利用GPU的计算能力。
• 加速深度学习框架：常用的深度学习框架（如PyTorch和TensorFlow）都支持CUDA。通过CUDA，这些框架可以将计算任务从CPU卸载到GPU，从而实现加速。

基础环境

首先，需要安装好Python，最低Python版本要求是3.9

Windows安装python3.

查看显卡是否支持GPU

命令

nvidia-smi

可以看到显示CUDA Version为12.2，说明该显卡最高支持到12.2

或者打开任务管理器

安装CUDA

在Nvidia官网下载cuda安装包
https://developer.nvidia.com/cuda-downloads?target_os=Windows&target_arch=x86_64&target_version=10&target_type=exe_local

这里选择Win10 64位，根据你的系统情况选择

基本上没有需要修改的内容，一直下一步即可。

安装支持gpu的pytorch

https://pytorch.org/get-started/locally/

完整命令：

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124 -i https://pypi.tuna.tsinghua.edu.cn/simple

这里会遇到一个问题，用pip命令下载2G多的文件，速度只有200多KB，太慢了

我们把图中这个链接复制到迅雷下载，只要几分钟：
（也可以在这里复制链接：https://download.pytorch.org/whl/torch_stable.html ）

版本号说明：
cu124代表是：cuda 12.4
cp39  代表： python 3.9，需要跟你电脑的python版本一致

Ctrl+C退出，或者直接关掉原来的cmd窗口。

然后重新打开一个cmd窗口，直接安装（修改为你下载后的路径）：

pip install D:\appuse\xunlei\torch-2.6.0+cu124-cp39-cp39-win_amd64.whl

验证

创建 test.py 文件

import torch
print(torch.cuda.is_available())
print(torch.__version__)
print(torch.version.cuda)

运行验证代码
（第一行显示True代表CUDA环境安装成功）