anaconda迁移深度学习虚拟环境 and 在云服务器上配置(上)

简介: anaconda迁移深度学习虚拟环境 and 在云服务器上配置

1 anaconda 虚拟环境操作


1、 查看虚拟环境

conda info -e

2、 创建新的虚拟环境

conda create -n deeplearning_all pip python=3.6

3、 激活新建的虚拟环境

Conda activate  deeplearning_all


2 环境中相关库的版本即安装说明(这些库都是对应匹配的)


pip install numpy==1.16.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install scipy==1.4.1  #这个可以不装sklearn会帮忙装
pip install pandas==0.21.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install patsy==0.5.1
pip install scikit-learn==0.23.1 -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install imbalanced_learn==0.5.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install statsmodels==0.11.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
# CUDA 10.1
pip install torch==1.8.1+cu101 torchvision==0.9.1+cu101 torchaudio==0.8.1 -f https://download.pytorch.org/whl/torch_stable.html -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install --no-cache-dir tensorflow-gpu==2.3.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
conda install absl-py==1.3.0
pip install keras==2.4.3 -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install matplotlib==3.3.4 -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install xgboost==0.90 -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install lightgbm==3.1.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install bayesian-optimization==0.6.0 -i https://pypi.tuna.tsinghua.edu.cn/simple


之后如果缺什么直接pip

ps:查看tensorflow/torch是否可以调动gpu


/

import tensorflow as tf
tf.config.list_physical_devices('GPU')
import torch # 如果pytorch安装成功即可导入
print(torch.cuda.is_available()) # 查看CUDA是否可用
print(torch.cuda.device_count()) # 查看可用的CUDA数量
print(torch.version.cuda) # 查看CUDA的版本号

3 Anaconda 环境克隆、迁移


目标主机(windows系统 anaconda版本最好一致):

在目标主机上安装anaconda安装包下载


3.1 查看conda环境:


conda info --envs


3.2 克隆base环境


如果想迁移的是base环境,因此需要先克隆(base环境不能直打包)

conda create -n 新环境的名称 --clone 老环境名称


3.3 安装conda-forge和conda-pack工具


conda install -c conda-forge conda-pack


3.4 将环境打包


文件会默认打包在C盘:/用户/用户名的文件夹中

conda pack -n 新环境名称 -o 新环境名称.tar.gz


3.5 将压缩包放到目标主机的同版本Anaconda路径下的envs文件夹内


解压至envs下新环境的文件夹下:

tar -zxvf 文件名 -C 文件夹名


3.6 激活环境

conda activate 新环境


环境已经成功迁移到目标主机并且可以使用了


4 使用 Windows GPU 云服务器搭建深度学习环境

4.1 选择驱动及相关库、软件版本


在安装驱动前,您需大致了解 CUDA、cuDNN、Pytorch、TensorFlow 及 Python 版本对应关系,以便根据实际配置选择适配版本,免除后续出现版本不匹配等问题。

选择 CUDA 驱动版本

CUDA(Compute Unified Device Architecture),是显卡厂商 NVIDIA 推出的运算平台。CUDA™ 是一种由 NVIDIA 推出的通用并行计算架构,该架构使 GPU 能够解决复杂的计算问题。其包含了 CUDA 指令集架构(ISA)以及 GPU 内部的并行计算引擎。

1、查看显卡算力

在选择 CUDA 驱动版本时,需先了解本文使用(Tesla P40)显卡的算力。可通过NVIDIA 官网 查询 Tesla P40 显卡算力为6.1。如下图所示:

(目标主机是T4)


2、选择 CUDA 版本

如下图所示 CUDA 版本与显卡算力的关系,Tesla P40 显卡应选择8.0以上的 CUDA 版本。如需了解更多算力与 CUDA 版本信息。


选择显卡驱动版本

确定 CUDA 版本后,再选择显卡驱动版本。您可参考如下图所示 CUDA 与驱动对应关系图进行选择。

选择 cuDNN 版本

NVIDIA cuDNN 是用于深度神经网络的 GPU 加速库。其强调性能、易用性和低内存开销。NVIDIA cuDNN 可以集成到更高级别的机器学习框架中,例如谷歌的 Tensorflow、加州大学伯克利分校的流行 caffe 软件。简单的插入式设计可以让开发人员专注于设计和实现神经网络模型,而不是简单调整性能,同时还可以在 GPU 上实现高性能现代并行计算。

cuDNN 是基于 CUDA 的深度学习 GPU 加速库,有它才能在 GPU 上完成深度学习的计算。如需在 CUDA 上运行深度神经网络,需安装 cuDNN,才能使 GPU 进行深度神经网络的工作,工作速度相较 CPU 快很多。cuDNN 版本与 CUDA 版本的对应关系请参见  cuDNN Archive


选择 Pytorch 版本

您需根据 CUDA 版本,选择对应的 Pytorch 版本,匹配版本信息请参见previous-versions


选择 TesorFIow 版本

Tensorflow 较 Pytorch 稍复杂,它还需要 Python、编译器的版本支持。CPU、GPU 版本与 Python、CUDA、cuDNN 的版本对应关系如下:

基于 CPU 版本的 TensorFlow 版本

基于 GPU 版本的 TensorFlow 版本


这里选择最优的版本:CUDA 10.1、Python 3.6、Pytorch 1.8.1、Tensorflow_gpu_2.3.0

相关实践学习
2分钟自动化部署人生模拟器
本场景将带你借助云效流水线Flow实现人生模拟器小游戏的自动化部署
7天玩转云服务器
云服务器ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,可降低 IT 成本,提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情: https://www.aliyun.com/product/ecs
相关文章
|
3天前
|
安全 大数据 Linux
云上体验最佳的服务器操作系统 - Alibaba Cloud Linux | 飞天技术沙龙-CentOS 迁移替换专场
本次方案的主题是云上体验最佳的服务器操作系统 - Alibaba Cloud Linux ,从 Alibaba Cloud Linux 的产生背景、产品优势以及云上用户使用它享受的技术红利等方面详细进行了介绍。同时,通过国内某社交平台、某快递企业、某手机客户大数据业务 3 大案例,成功助力客户实现弹性扩容能力提升、性能提升、降本增效。 1. 背景介绍 2. 产品介绍 3. 案例分享
|
2月前
|
负载均衡 监控 应用服务中间件
配置Nginx反向代理时如何指定后端服务器的权重?
配置Nginx反向代理时如何指定后端服务器的权重?
172 61
|
27天前
|
存储 弹性计算 安全
阿里云服务器配置选择策略参考及后期使用注意事项
对于初次购买阿里云服务器的一些新手用户来说,在云服务器配置选择和后期使用过程中有一些不清楚的地方,小编分享几点阿里云服务器配置选择策略,以及后期使用注意事项,购买过程中注意好下面这些事项,能让我们选对选好阿里云服务器,购买之后,在使用过程中,注意下面这些事项,能够让我们更好、更安全的使用阿里云服务器。下面是小编分享的一份详尽的阿里云服务器配置与使用指南,以供参考和借鉴。
|
2月前
|
安全 Linux 应用服务中间件
从零开始启动、配置、保护你的云服务器并搭建一个简单的网站
本文详细介绍了如何准备原料、搭建基础环境、进行安全防护、建设网站、管理证书以及开启BBR优化网络性能。主要内容包括获取健康云服务器、配置SSH登录、创建非root用户、启用密钥认证、安装Nginx、申请TLS证书、配置HTTPS自动跳转及优化网络性能等步骤。通过本文,读者可以掌握从零开始搭建个人网站的全过程。
59 2
从零开始启动、配置、保护你的云服务器并搭建一个简单的网站
|
1月前
|
开发框架 .NET PHP
网站应用项目如何选择阿里云服务器实例规格+内存+CPU+带宽+操作系统等配置
对于使用阿里云服务器的搭建网站的用户来说,面对众多可选的实例规格和配置选项,我们应该如何做出最佳选择,以最大化业务效益并控制成本,成为大家比较关注的问题,如果实例、内存、CPU、带宽等配置选择不合适,可能会影响到自己业务在云服务器上的计算性能及后期运营状况,本文将详细解析企业在搭建网站应用项目时选购阿里云服务器应考虑的一些因素,以供参考。
|
2月前
|
存储 人工智能 弹性计算
阿里云弹性计算(ECS)提供强大的AI工作负载平台,支持灵活的资源配置与高性能计算,适用于AI训练与推理
阿里云弹性计算(ECS)提供强大的AI工作负载平台,支持灵活的资源配置与高性能计算,适用于AI训练与推理。通过合理优化资源分配、利用自动伸缩及高效数据管理,ECS能显著提升AI系统的性能与效率,降低运营成本,助力科研与企业用户在AI领域取得突破。
79 6
|
2月前
|
弹性计算 监控 数据库
制造企业ERP系统迁移至阿里云ECS的实例,详细介绍了从需求分析、数据迁移、应用部署、网络配置到性能优化的全过程
本文通过一个制造企业ERP系统迁移至阿里云ECS的实例,详细介绍了从需求分析、数据迁移、应用部署、网络配置到性能优化的全过程,展示了企业级应用上云的实践方法与显著优势,包括弹性计算资源、高可靠性、数据安全及降低维护成本等,为企业数字化转型提供参考。
69 5
|
2月前
|
监控 PHP Apache
优化 PHP-FPM 参数配置:实现服务器性能提升
优化PHP-FPM的参数配置可以显著提高服务器的性能和稳定性。通过合理设置 `pm.max_children`、`pm.start_servers`、`pm.min_spare_servers`、`pm.max_spare_servers`和 `pm.max_requests`等参数,并结合监控和调优措施,可以有效应对高并发和负载波动,确保Web应用程序的高效运行。希望本文提供的优化建议和配置示例能够帮助您实现服务器性能的提升。
114 3
|
1月前
|
机器学习/深度学习 传感器 数据采集
深度学习在故障检测中的应用:从理论到实践
深度学习在故障检测中的应用:从理论到实践
150 6
|
24天前
|
机器学习/深度学习 人工智能 自然语言处理
深度学习的原理与应用:开启智能时代的大门
深度学习的原理与应用:开启智能时代的大门
129 16