环境是：NAME="openEuler"
VERSION="20.03 (LTS-SP3)"

方法：

1、添加 NVIDIA 仓库
你需要添加 NVIDIA 的仓库以便能够安装 NVIDIA Container Toolkit。

sudo yum-config-manager --add-repo https://developer.download.nvidia.com/compute/cuda/repos/rhel8/x86_64/cuda-rhel8.repo

2、安装 NVIDIA Container Toolkit
使用 yum 命令安装 NVIDIA Container Toolkit。

sudo yum install -y nvidia-container-toolkit

3、 验证安装
为了验证 NVIDIA Container Toolkit 是否正确安装，你可以运行以下命令来检查其版本：

nvidia-container-cli info

有输出表示安装成功。

[root@TK-Ldcx-01 docker-install]# nvidia-container-cli info
NVRM version:   535.274.02
CUDA version:   12.2

Device Index:   0
Device Minor:   0
Model:          Tesla T4
Brand:          Nvidia
GPU UUID:       GPU-10459931-06f0-f506-f1dc-5ea6c0ac4007
Bus Location:   00000000:31:00.0
Architecture:   7.5

4、配置/etc/docker/daemon.json，添加如下内容

"runtimes": {
        "nvidia": {
            "args": [],
            "path": "/usr/bin/nvidia-container-runtime"
        }
    }
 

4、使用容器验证--gpus all参数。(注意要使用--gpus all参数,docker的版本不能低于20，cuda版本为12.2)

具体环境推荐使用如下:

Docker version 27.4.1

NVIDIA-SMI 535.154.05             Driver Version: 535.154.05   CUDA Version: 12.2

docker run -itd --privileged --gpus all \

     --name infer_service \

     -v /data:/data \

     -p 8081:8081 \

     onnxruntime_gpu_base:v1.0 /bin/bash