AI 助理
文档备案控制台
开发者社区 人工智能 文章 正文

Xshell远程连接配置 Ubuntu 18.04.6 + Anaconda + CUDA + Cudnn + Pytorch（GPU+CPU）（下）

2023-11-14 981
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
在线体验各类最新模型，更有模型 免费Token 额度领取！
立即体验
简介： Xshell远程连接配置 Ubuntu 18.04.6 + Anaconda + CUDA + Cudnn + Pytorch（GPU+CPU）

执行结束

sudo sh cuda_11.3.0_465.19.01_linux.run

上述命令执行结束出现一个框

通过方向键下移光标，选择continue

打字输入accept

然后就是下面这个了

由于已经安装了驱动 按方向键，使得光标在driver上，再按回车，之后通过方向键使光标移动到install

此时下图里需要将第一行的Driver CUDA 11.0去掉。(注意：回车键作用是将 [X] 就会变成[ ]，[X]代表有，[ ]代表无)

报错：Installation failed. See log at /var/log/cuda-installer.log for details.

因为应该将[X] 就会变成[ ]，弄反了

成功了！！！！

安装vim

sudo apt-get install vim

配置环境

装好之后打开环境变量

vim ~/.bashrc

i键进入编辑模式，esc退出，写:wq保存退出

加入这两行保存，注意我这里是11.3，你如果是别的版本，要改成自己的

export PATH="/usr/local/cuda-11.3/bin:$PATH"
export LD_LIBRARY_PATH="/usr/lcoal/cuda-11.3/lib64:$LD_LIBRARY_PATH"

刷新环境变量生效

source ~/.bashrc

测试CUDA

查看版本

nvcc -V

啊啊啊啊啊啊我成功了

终端输入

cd /usr/local/cuda-11.3/samples/1_Utilities/deviceQuery
sudo make
sudo ./deviceQuery

输出Result=pass代表成功了，里面显示了CUDA可用的设备信息。

报错unknown error Result = FAIL

./deviceQuery

./deviceQuery Starting…

CUDA Device Query (Runtime API) version (CUDART static linking)

cudaGetDeviceCount returned 999

-> unknown error Result = FAIL

尝试

sudo ./deviceQuery

就PASS了，好神奇

那么没有输出成功的小伙伴。首先确认你的cuda版本是否跟驱动对应，如果没有问题。那么输入 reboot 进行重启。问题大概率能解决。然后在按照上述命令行执行，就能输出pass了。

CUDNN

进入网址下载，要把cudnn版本与cuda版本对应正确

https://developer.nvidia.com/rdp/cudnn-archive

上述网址需要注册登录，按照要求完成即可

本机翻墙下载，然后Xftp传过去

查看传过去后的文件名

ls

下载+安装

方法1：下载deb文件（tgz易错，但deb卸载麻烦)

先下载三个deb包，一定要用deb，出错几率小

官网：https://developer.nvidia.com/rdp/cudnn-archive

我的是11.3，选择里面的8.2.1 for 11.x

进入到下载文件所在目录，安装这三个包

谢谢，这里都能遇到问题

Oops, sorry for the inconvenience It seems that the file you have tried to download is no longer available or the URL used is no longer valid. Please refer back to the product page and follow the links to get the latest downloadable version.

可以到阿里镜像下载包

https://mirrors.aliyun.com/nvidia-cuda/ubuntu1804/x86_64/

注意要下载2个包

然后按照顺序依次安装，这样才不会报错。

sudo dpkg -i xxxxxxx.deb

注意修改指令中的对应的版本信息。

第一步：安装runtime library

sudo dpkg -i libcudnn8_8.2.1.32-1+cuda11.3_amd64.deb

第二步：安装developer library

sudo dpkg -i libcudnn8-dev_8.2.1.32-1+cuda11.3_amd64.deb

（可选，和后面测试有关）

第三步：安装code samples and the cuDNN Library User Guide

sudo dpkg -i libcudnn8-samples_8.2.1.32-1+cuda11.3_amd64.deb

方法2 下载zip

进入下载后的文件夹解压后，就可以看见cuda文件夹（浏览器下在的文件一般在Downloads中，解压后子目录就能看见cuda）在解压后的文件夹中输入一下命令

参考：https://blog.csdn.net/avideointerfaces/article/details/104793245

重命名，然后再解压缩。命令如下所示。

mv cudnn-11.3-linux-x64-v8.2.1.32.tgz cudnn-11.3.tgz
tar -xvzf cudnn-11.3.tgz

因为下载的是库，不是源代码，所以不需要编译了。只需要将解压缩出来的so库和头文件拷贝到系统目录下即可。

将cudnn解压后的include和lib64文件夹复制到cuda中

cuda-11.3 此处是自己版本号 。

一行行复制，因为要输密码

sudo cp cuda/include/cudnn.h /usr/local/cuda-11.3/include/  #解压后的文件夹名字为cuda-11.3 
sudo cp cuda/include/cudnn_version.h /usr/local/cuda-11.3/include/
sudo cp cuda/lib64/libcudnn* /usr/local/cuda-11.3/lib64/ 
sudo chmod a+r /usr/local/cuda-11.3/include/cudnn.h

最后安装一下依赖

sudo apt-get install libfreeimage3 libfreeimage-dev

查看一下cudnn版本

方法1

使用find命令找到对应的文件就可以了

sudo find / -name cudnn_version.h 2>&1 | grep -v "Permission denied"
cat /usr/include/cudnn_version.h | grep CUDNN_MAJOR -A 2

出现出现cudnn版本就是安装成功了。

如果命令不可用，尝试方法二。

方法2

之前网上提供的方式cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2已经不能用了，因为cudnn.h文件里内容修改了，不再存放版本信息。

使用命令

cat /usr/local/cuda/include/cudnn.h | grep cudnn

查看，发现里面导入了cudnn_version.h文件，版本信息就存放在这个文件里

测试样例（如果是deb安装，并且才下载了测试案例才可以）

刚才有个包是cudnn自带的样例sample，运行测试一下

/usr/src/cudnn_samples_v7 中的mnistCUDNN sample

开始运行sample

cd NVIDIA_CUDA-11.3_Samples
cp -r /NVIDIA_CUDA-11.3_Samples/ $HOME
cd $HOME/cudnn_samples_v8/mnistCUDNN
make clean && make
./mnistCUDNN

如果出现 Test passed，说明安装成功

如果报错

如果编译时出现fatal error: FreeImage.h: No such file or directory错误，参考https://blog.csdn.net/xhw205/article/details/116297555

Anaconda

下载+安装

方法1：Anaconda3官网下载

方法2：清华大学开源软件镜像站下载

https://mirrors.tuna.tsinghua.edu.cn/help/anaconda/

里面有新旧版本，我下载的是Anaconda3-2021.05-Linux-x86_64.sh版本，如果大家需要其它版本，把这个后缀换成你想下的版本即可；

wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-2021.05-Linux-x86_64.sh

1、运行.sh文件

bash Anaconda3-2021.05-Linux-x86_64.sh

2.进入安装，输入yes

3.进入阅读注册手册，按 Enter 键

4.注册手册阅读完， 输入yes进行安装，然后会安装成功

环境配置

5.安装成功后，用vim打开环境变量：

sudo vim ~/.bashrc

添加下列语句，保存并退出

注意： “/home/sc/anaconda3/bin:$PATH” 的 sc是自己的用户名称，每个人都不一样，不知道可以看上面的打开的环境变量有个样本

export PATH="/home/sc/anaconda3/bin:$PATH"

更新环境变量

在终端输入：

source ~/.bashrc

添加清华源

将anaconda换一下源（加入清华源）

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
conda config --set show_channel_urls yes

为了保证用的是镜像站提供的索引，清除索引缓存，输入：

conda clean -i

此时，Anaconda3的基础设置弄完了

Pytorch

conda虚拟环境

创建一个虚拟环境，用来安装pytorch

conda create -n pytorch1.12_gpu
or，可以选择Python版本
conda create -n pytorch1.12_gpu python==3.8
这样就创建了一个名字为pytorch1.12_gpu，基于python版本3.8的一个虚拟环境了

激活环境

conda activate pytorch1.12_gpu
或
source activate pytorch1.12_gpu

安装一波依赖，顺便测试一下刚才的源，如果速度很快，那么就很棒棒，一会的Pytorch也会很顺利

conda install numpy mkl cffi

安装

进入官网，查看你的版本对应的安装命令

https://pytorch.org/get-started/locally/

在安装之前先添加下面这个源：

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch

在刚才的虚拟环境里输入命令安装pytorch

conda install pytorch torchvision torchaudio cudatoolkit=11.3 -c pytorch

最新版GPU版本的：

conda install pytorch torchvision torchaudio pytorch-cuda=11.6 -c pytorch -c nvidia

（与上面一个，跑其中一个就可以了。示例：）

20.04 + pytorch 1.9.0 + cuda 11.3 的指令：

conda install pytorch==1.9.0 torchvision==0.10.0 torchaudio==0.9.0 cudatoolkit=11.3 -c pytorch -c conda-forge

CPU-Only版本的：

conda install pytorch torchvision torchaudio cpuonly -c pytorch

大家根据自己的情况从上面选一个

安装文件非常大，耐心等待即可，如果源切换成功了，这里下载会很快。

测试

进入虚拟环境，输入命令测试，大功告成！

python3
import torch
torch.cuda.is_available()
print(torch.__version__) #输出PyTorch版本
print(torch.__path__) #输出PyTorch的路径

退出虚拟环境的命令：

conda deactivate
conda env list

cpu only测试

环境名称为pytorch11.3_cpu

gpu测试

报错

参考：https://blog.csdn.net/qq_31878083/article/details/122069771

vi ~/.condarc

把channels里面的https改成http

这个是网络安全的原因，https协议是有安全性的ssl加密传输协议，是浏览器和服务器之间的通信加密，这样来确保传输的安全。

auto_activate_base: false
channels:
  - http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch
  - http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
  - http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
  - defaults
show_channel_urls: true
default_channels:
  - http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
  - http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free
  - http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
custom_channels:
  conda-forge: http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  msys2: http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  bioconda: http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  menpo: http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch: http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  simpleitk: http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

为了保证用的是镜像站提供的索引，清除索引缓存，输入：

conda clean -i

根据不同要求得到命令后，要把-c pytorch去掉，才会去自己添加的镜像源下载

gpu下载成cpu

环境名称为pytorch11.3

#查看torchvision 版本

conda list torchvision

重新下载把

重新安装gpu版本

参考：https://blog.csdn.net/ke996/article/details/112761228

torch下载：由于通过命令行下载的pytorch版本是cpu版本导致后期测试torch测试是否可以使用GPU 时，torch.cuda.is_available()一直返回False.

通过下载pytorch的whl文件，用pip install ******.whl来安装pytorch.

目前稳定版本为1.13.0

注意cu才是cpu版本，我是cuda11.3，所以选择了这个

（我没下，因为我分了两个环境）特别重要的是cp后面跟着是python版本这个也要下载相应版本

比如：torch-1.8.0+cu111-cp36-cp36m-win_amd64.whl

torchvision-0.9.0+cu111-cp36-cp36m-win_amd64.whl

CUDA 11.3

conda remove -n pytorch11.3(虚拟环境名称) --all

conda remove -n pytorch11.3 --all

删除包

参考：https://blog.csdn.net/weixin_46415031/article/details/114809650

conda install pytorch1.12.0 torchvision0.13.0 torchaudio==0.12.0 cudatoolkit=11.3 -c pytorch

cu113/torchvision-0.13.0%2Bcu113-cp39-cp39-linux_x86_64.whl

cu113/torch-1.12.0%2Bcu113-cp39-cp39-linux_x86_64.whl

还是通过Xftp上传

下载到本地后：进入conda环境激活对应的python36

conda env list

conda activate pytorch1.12_gpu

下载python3.9

conda install python=3.9.0

pip install+ whl文件位置

比如：pip install torch-1.12.0+cu113-cp39-cp39-linux_x86_64.whl

pip install --no-index --find-links=file:/home/tjh/torch-1.12.0+cu113-cp39-cp39-linux_x86_64.whl

普天同庆

删除下载源

安装完记得删除下载源

输入sudo vim .condarc，修改该文件的内容（记得删除default那行）：

conda install cudnn=8.2.1 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/linux-64/

本机安装whl报错

pip install 本机的whl,报错网络不可达

进到那个目录了好像，pip升级也网络不可达

pip源和conda源是两个东西

检查pip源

pip config list

增加镜像源

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simpleWriting to /home/tjh/.config/pip/pip.conf

成功了！！！！

文章标签：
GPU云服务器
并行计算
算法框架/工具
PyTorch
异构计算
Ubuntu
关键词：
配置CPU
配置Ubuntu
配置GPU云服务器
cuda GPU云服务器
pytorch gpu
相关实践学习
在云上部署ChatGLM2-6B大模型（GPU版）
ChatGLM2-6B是由智谱AI及清华KEG实验室于2023年6月发布的中英双语对话开源大模型。通过本实验，可以学习如何配置AIGC开发环境，如何部署ChatGLM2-6B大模型。
是Yu欸
目录
相关文章
上云百科
|
9月前
|
弹性计算 ice
阿里云4核8G云服务器配置价格：热门ECS实例及CPU处理器型号说明
阿里云2025年4核8G服务器配置价格汇总，涵盖经济型e实例、计算型c9i等热门ECS实例，CPU含Intel Xeon及AMD EPYC系列，月费159元起，年付低至1578元，按小时计费0.45元起，实际购买享折扣优惠。
上云百科
3456 1
上云小帮手
|
机器学习/深度学习 弹性计算 编解码
阿里云服务器4核8G配置：ECS实例规格、CPU型号及使用场景说明
阿里云4核8G服务器ECS提供多种实例规格，包括高主频计算型hfc8i、计算型c8i、通用算力型u1、经济型e等。各规格配备不同CPU型号与主频性能，适用于机器学习、数据分析、游戏服务器、Web前端等多种场景。用户可根据需求选择Intel或AMD处理器，如第四代Xeon或AMD EPYC系列，满足高性能计算及企业级应用要求。更多详情参见阿里云官方文档。
上云小帮手
1109 1
我是暴发户
|
12月前
|
存储
阿里云轻量应用服务器收费标准价格表：200Mbps带宽、CPU内存及存储配置详解
阿里云香港轻量应用服务器，200Mbps带宽，免备案，支持多IP及国际线路，月租25元起，年付享8.5折优惠，适用于网站、应用等多种场景。
我是暴发户
3357 0
程序员在线
|
9月前
|
弹性计算 定位技术 数据中心
阿里云服务器配置选择方法：付费类型、地域及CPU内存配置全解析
阿里云服务器怎么选？2025最新指南：就近选择地域，降低延迟；长期使用选包年包月，短期灵活选按量付费；企业选2核4G5M仅199元/年，个人选2核2G3M低至99元/年，高性价比爆款推荐，轻松上云。
程序员在线
1076 11
游客s65ycxi6wnv5q
|
9月前
|
弹性计算
阿里云ECS云服务器8核16G配置收费价格，多种ECS实例CPU及费用清单
阿里云8核16G云服务器价格因实例类型而异。计算型c9i约743元/月，一年6450元（7折）；通用算力型u1仅673元/月，一年4225元（5.1折）。实际价格享时长折扣，详情见ECS官网。
游客s65ycxi6wnv5q
1178 3
Deephub
|
缓存 并行计算 PyTorch
PyTorch CUDA内存管理优化：深度理解GPU资源分配与缓存机制
本文深入探讨了PyTorch中GPU内存管理的核心机制，特别是CUDA缓存分配器的作用与优化策略。文章分析了常见的“CUDA out of memory”问题及其成因，并通过实际案例（如Llama 1B模型训练）展示了内存分配模式。PyTorch的缓存分配器通过内存池化、延迟释放和碎片化优化等技术，显著提升了内存使用效率，减少了系统调用开销。此外，文章还介绍了高级优化方法，包括混合精度训练、梯度检查点技术及自定义内存分配器配置。这些策略有助于开发者在有限硬件资源下实现更高性能的深度学习模型训练与推理。
Deephub
2451 0
程序员在线
|
10月前
|
存储 缓存 数据挖掘
阿里云轻量应用服务器“CPU优化型”配置介绍、费用价格说明
阿里云轻量应用服务器推出CPU优化型，提供更强计算性能，2核4GB起，最高16核64GB，全系支持200Mbps带宽。适用于企业级应用、数据库、游戏服务器等高算力场景，保障稳定高效运行。
程序员在线
1066 1
上云小帮手
|
10月前
|
机器学习/深度学习 弹性计算 编解码
阿里云服务器4核8G配置：ECS实例规格、CPU型号及使用场景说明
阿里云4核8G服务器提供多种ECS实例规格，如高主频计算型hfc8i、ecs.c9i、计算型c8i、通用算力型u1、经济型e等，适配不同应用场景，涵盖高性能计算、AI推理、Web服务、数据分析等领域。
上云小帮手
1496 2
Deephub
|
机器学习/深度学习 并行计算 PyTorch
英伟达新一代GPU架构（50系列显卡）PyTorch兼容性解决方案
本文记录了在RTX 5070 Ti上运行PyTorch时遇到的CUDA兼容性问题，分析其根源为预编译二进制文件不支持sm_120架构，并提出解决方案：使用PyTorch Nightly版本、更新CUDA工具包至12.8。通过清理环境并安装支持新架构的组件，成功解决兼容性问题。文章总结了深度学习环境中硬件与框架兼容性的关键策略，强调Nightly构建版本和环境一致性的重要性，为开发者提供参考。
Deephub
9704 64
英伟达新一代GPU架构（50系列显卡）PyTorch兼容性解决方案
游客s65ycxi6wnv5q
|
11月前
|
弹性计算 前端开发 NoSQL
2025最新阿里云服务器配置选择攻略：CPU、内存、带宽与系统盘全解析
本文详解2025年阿里云服务器ECS配置选择策略，涵盖CPU、内存、带宽与系统盘推荐，助你根据业务需求精准选型，提升性能与性价比。
游客s65ycxi6wnv5q
1947 1

热门文章

最新文章

  • 1
    Java程序在K8S容器部署CPU和Memory资源限制相关设置
  • 2
    至强E5-2600v4系列CPU一览表
  • 3
    Linux基础（一）：获取Linux CPU 信息
  • 4
    第六周 睡眠CPU 电源管理特殊功能寄存器 PCON
  • 5
    CPU概述及CPU的内部结构
  • 6
    字节面试：CPU被打满了，CPU100%，如何处理？
  • 7
    linux后缀名所对应的cpu
  • 8
    YOLOv11改进策略【模型轻量化】| PP-LCNet：轻量级的CPU卷积神经网络
  • 9
    CPU的功能和基本结构
  • 10
    Linux资源控制-CPU和内存【转】
  • 1
    Ubuntu 20.04环境下无法找到#include＜opencv/cv.h＞文件 - 解决方案。
    463
  • 2
    在Ubuntu系统上搭建RISC-V交叉编译环境
    908
  • 3
    如何在Ubuntu中移除Snap包管理器
    867
  • 4
    Nessus Professional 10.10 Auto Installer for Ubuntu 24.04 - Nessus 自动化安装程序
    1227
  • 5
    解决Ubuntu系统的网络连接问题
    2084
  • 6
    在Ubuntu 22.04上安装MongoDB 6.0的步骤
    920
  • 7
    C++标准库、Windows API及Ubuntu API的综合应用
    328
  • 8
    详细指南：配置Nginx服务器在Ubuntu平台上
    524
  • 9
    安装MariaDB服务器流程介绍在Ubuntu 22.04系统上
    488
  • 10
    安装MariaDB服务器流程介绍在Ubuntu 22.04系统上
    671

    • 相关课程

    更多
  • 云原生AI套件：一键训练大模型及部署GPU共享推理服务

    • 相关电子书

    更多
  • 阿里巴巴高性能GPU架构与应用
  • GPU在超大规模深度学习中的发展和应用
  • RDS SQL Server CPU高使用率性能优化

    • 相关实验场景

    更多
  • 在云上部署ChatGLM2-6B大模型（GPU版）
  • 通过GPU云服务器训练GPT-2

    • 推荐镜像

    更多
  • ubuntu
  • ubuntu-ports
  • ubuntukylin
    • 下一篇
    一条命令迁移，帮你实现 OpenClaw 与 Hermes Agent 记忆互通！