构建云服务器平台(jupter notebook)运行算法

简介: 构建云服务器平台(jupter notebook)运行算法的步骤

出发点:

本地电脑只有4个核心,8G内存,算法的参数选择比如网格搜索选取参数,训练速度慢且出现任务无法合并到worker的情况

解决方案:

1、购买云服务器(基于之前使用的阿里云平台)

选取按流量计费

2、在服务器上安装运行环境

2.1安装anaconda(包管理软件)

下载列表:

5230e49e1e111597e5a2d12415315a86_watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlZGEz,size_16,color_FFFFFF,t_70.png

 https://repo.continuum.io/archive/Anaconda3-2019.07-Linux-x86_64.sh

安装步骤:

安装命令:bash Anaconda3-2019.07-Linux-x86_64.sh

d18ef9dbb7ec651e2860c4785d427fa0_2019092722314876.png

ee7caa276ad87464c3118b420c274782_20190927223205626.png

2.2安装jupter notebook

1)conda安装 jupynotebook

 安装命令:conda install jupyter

 参考:https://blog.csdn.net/yimingsilence/article/details/80679564


(2)pip 安装jupynotbook

   sudo pip install jupyter

   安装 ipython

    sudo apt-get -y install ipython ipython-notebook

(3)设置密码

在Xshell执行命令:

$ jupyter notebook password
Enter password:  yourcode  #输入密码
Verify password: yourcodeagain   #再次输入密码确认
#运行后结果
[NotebookPasswordApp] Wrote hashed password to /Users/you/.jupyter/jupyter_notebook_config.json    #密码被保存的位置 ~/.jupyter/jupyter_notebook_config.json

参考:JupyterNotebook配置远程登录 https://blog.csdn.net/u014636245/article/details/83652126

2.3 配置notebook

1)打开配置文件(使用vim操作:esc退出编辑模式,shift+G滚到最后一行,shit+i编辑,shit+:+wq保存退出):

cd ~/.jupyter
vim jupyter_notebook_config.py

(2) 添加配置文件内容:

# Set options for certfile, ip, password, and toggle off browser auto-opening
# 设置证书、ip、密码并关闭自动打开浏览器
# 设置证书地址
c.NotebookApp.certfile = u'/root/secret/mycert.pem'
c.NotebookApp.keyfile = u'/root/secret/mykey.key'
# Set ip to 'localhost' to bind on localhost for the private usage
# 用localhost域名来访问jupyter notebook
c.NotebookApp.ip = 'localhost'
c.NotebookApp.password=u'添加密码哈希值'
c.NotebookApp.open_browser = False
# 为了网络安全,设置一个不常用的端口
c.NotebookApp.port = 8888

密码哈希值的获取方法 :

在本地电脑运行jupter notebook ,并输入以下命令获取

In [1]: from notebook.auth import passwd
In [2]: passwd()
Enter password:
Verify password:
Out [1]: 'sha1:XXXXXXX:-----------'

openssl着证书的获取方法:

 openssl req -x509 -nodes -days 365 -newkey rsa:2048 -keyout mykey.key -out mycert.pem

并将在云服务器生成的文件  mykey.key  mycert.pem 保存在指定文件夹下,并拷贝路径待上述配置文件内容中

3、本地电脑远程访问云服务器的notebook

(1)端口转发? (2)Xshell  配置   (3)参考【4】远程访问服务器Jupyter Notebook的两种方法

下述使用第二种方式:

选择文件-》属性-》隧道并按照如下方式设置:

291c503f297e2230eb1d20110a146287_watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlZGEz,size_16,color_FFFFFF,t_70.png

Type选择Local(Outgoing),源主机Source Host写localhost,监听端口Listening Port填你设置的Port,目标主机Destination Host填localhost,目标端口Destination Port填你设置的端口Port。

3.1 在云服务器端操作开启允许外网连接notebook

先切换到指定目录(存在jupter格式的文件),再执行下述的命令

cd  /root/O2OCode

jupyter notebook --ip=0.0.0.0 --port=8888 --allow-root

3.2在本地浏览器打开:

输入网址http://云服务器ip地址:端口号

发现问题:采用隧道模式则应该是:https://localhost:端口号 才可以正确访问!

3.3 出现notebook 但是证书还没有验证故直接忽略安全保护

输入设置的密码,即可进入

4、执行算法

在notebook 执行,注意要打开notebook格式的文件运行才会出现编辑运行的选项

5、释放云服务器的实例

创建镜像保存


参考资料

【1】anaconda 安装  https://repo.continuum.io/archive/

【2】用SSL/TLS和XShell远程访问 Jupyter Notebook 的方法 https://blog.csdn.net/chr1991/article/details/92618832

【3】官网配置方法 Running a notebook server https://jupyter-notebook.readthedocs.io/en/latest/public_server.html#prerequisite-a-notebook-configuration-file

【4】远程访问服务器Jupyter Notebook的两种方法 https://www.jianshu.com/p/8fc3cd032d3c

相关实践学习
通义万相文本绘图与人像美化
本解决方案展示了如何利用自研的通义万相AIGC技术在Web服务中实现先进的图像生成。
7天玩转云服务器
云服务器ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,可降低 IT 成本,提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
4月前
|
存储 算法 网络架构
基于多目标粒子群优化算法的冷热电联供型综合能源系统运行优化(Matlab代码实现)
基于多目标粒子群优化算法的冷热电联供型综合能源系统运行优化(Matlab代码实现)
183 2
|
3月前
|
机器学习/深度学习 人工智能 搜索推荐
从零构建短视频推荐系统:双塔算法架构解析与代码实现
短视频推荐看似“读心”,实则依赖双塔推荐系统:用户塔与物品塔分别将行为与内容编码为向量,通过相似度匹配实现精准推送。本文解析其架构原理、技术实现与工程挑战,揭秘抖音等平台如何用AI抓住你的注意力。
837 7
从零构建短视频推荐系统:双塔算法架构解析与代码实现
|
3月前
|
Ubuntu 安全 应用服务中间件
详细指南:配置Nginx服务器在Ubuntu平台上
以上步骤涵盖了基本流程:从软件包管理器获取 Ngnix, 设置系统服务, 调整UFW规则, 创建并激活服务器块(也称作虚拟主机), 并进行了初步优化与加固措施。这些操作都是建立在命令行界面上,并假设用户具有必要权限(通常是root用户)来执行这些命令。每个操作都有其特定原因:例如,设置开机启动确保了即使重启后也能自动运行 Ngnix;而编辑server block则定义了如何处理进入特定域名请求等等。
285 18
|
3月前
|
Ubuntu 安全 应用服务中间件
详细指南:配置Nginx服务器在Ubuntu平台上
以上步骤涵盖了基本流程:从软件包管理器获取 Ngnix, 设置系统服务, 调整UFW规则, 创建并激活服务器块(也称作虚拟主机), 并进行了初步优化与加固措施。这些操作都是建立在命令行界面上,并假设用户具有必要权限(通常是root用户)来执行这些命令。每个操作都有其特定原因:例如,设置开机启动确保了即使重启后也能自动运行 Ngnix;而编辑server block则定义了如何处理进入特定域名请求等等。
376 17
|
3月前
|
机器学习/深度学习 算法 搜索推荐
从零开始构建图注意力网络:GAT算法原理与数值实现详解
本文详细解析了图注意力网络(GAT)的算法原理和实现过程。GAT通过引入注意力机制解决了图卷积网络(GCN)中所有邻居节点贡献相等的局限性,让模型能够自动学习不同邻居的重要性权重。
581 0
从零开始构建图注意力网络:GAT算法原理与数值实现详解
|
3月前
|
存储 边缘计算 算法
【太阳能学报EI复现】基于粒子群优化算法的风-水电联合优化运行分析(Matlab代码实现)
【太阳能学报EI复现】基于粒子群优化算法的风-水电联合优化运行分析(Matlab代码实现)
|
3月前
|
数据可视化
基于遗传算法(GA)的配电网优化运行仿真
基于遗传算法(GA)的配电网优化运行仿真
|
7月前
|
物联网
(手把手)在华为云、阿里云搭建自己的物联网MQTT消息服务器,免费IOT平台
本文介绍如何在阿里云搭建自己的物联网MQTT消息服务器,并使用 “MQTT客户端调试工具”模拟MQTT设备,接入平台进行消息收发。
2614 42
|
7月前
|
物联网
如何在腾讯云等平台搭建自己的物联网MQTT服务器Broker
物联网技术及MQTT协议被广泛应用于各种场景。本文介绍物联网MQTT服务助手下载,如何搭建自己的物联网平台,并使用 “MQTT客户端调试工具”模拟MQTT设备,接入平台进行消息收发。
619 37
|
5月前
|
存储 监控 算法
企业上网监控场景下布隆过滤器的 Java 算法构建及其性能优化研究
布隆过滤器是一种高效的数据结构,广泛应用于企业上网监控系统中,用于快速判断员工访问的网址是否为违规站点。相比传统哈希表,它具有更低的内存占用和更快的查询速度,支持实时拦截、动态更新和资源压缩,有效提升系统性能并降低成本。
200 0

热门文章

最新文章