通过阿里云ECS实现机器学习简单训练

简介: 通过阿里云ECS平台上搭建机器学习训练平台,帮助完成机器学习功课和比赛的模型训练.

自我介绍

22级计算机研究生,从同学处了解到在校学生可以通过"飞天加速计划"申请服务器,决定通过服务器搭建机器学习环境,方便远程训练简单模型.

搭建方法

  1. 通过飞天计划,通过了解云服务相关理论完成测试,获得阿里云服务器体验权限.
  2. 初步了解和熟悉阿里云管理操作,大致了解每个功能模块.在了解之后,发现目前没有可以一键部署机器学习环境的功能,于是考虑选择哪个官方环境.
  3. 在云服务管理工作台->概览->我的教程->部署开发环境,对于机器学习,目前的docker作为一个应用容器,查看它的仓库找到了许多机器学习相关环境,于是选择docker环境教程,按照教程要求,重置实例密码,下载SSH工具,完成了教程任务.
  4. 完成搭建后教程中结果是可以访问ngnix网站,但我这边是不能访问.
  5. 初步想到的原因可能是防火墙,端口限制这类问题,所以在网络与安全->安全组中,选择对应服务器,配置规则,添加对应端口的规则.最终可以访问,结果证明确实是这个问题.
  6. 通过在docker仓库查询,最终我决定使用tensorflow官方环境,通过ssh工具远程连接服务器.输入以下指令:
docker pull tensorflow/tensorflow
docker run -it--rm-v$(realpath ~/notebooks):/tf/notebooks -p8888:8888 tensorflow/tensorflow:latest-jupyter
  1. 命令行会输出的信息中包含了目前开启服务的url信息,其中将url头部换成自己服务器的公网ip,发现访问不了,按照步骤5加入8888端口,网站就能打开了.
  2. 通过网页访问远程服务器url,在notebook中,新建文本,通过写入命令更新pip,安装sklearn,接下来就可以进行机器学习模型训练了.

总结

因为目前在做机器学习,相对于本地训练和天池自带的notebook,云服务器模型训练可以很方便远程训练,在训练要求不是很高的情况下,使用云服务器简单部署就能满足平时的练习,打比赛需要.docker和云服务功能很强大,之后还需要深入了解和学习.

截图

image.png

相关实践学习
2分钟自动化部署人生模拟器
本场景将带你借助云效流水线Flow实现人生模拟器小游戏的自动化部署
7天玩转云服务器
云服务器ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,可降低 IT 成本,提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情: https://www.aliyun.com/product/ecs
相关文章
|
23天前
|
弹性计算 网络安全
阿里云国际OpenAPI多接口快速管理ECS服务器教程
阿里云国际OpenAPI多接口快速管理ECS服务器教程
|
6天前
|
弹性计算
阿里云2核16G服务器多少钱一年?亲测价格查询1个月和1小时收费标准
阿里云2核16G服务器提供多种ECS实例规格,内存型r8i实例1年6折优惠价为1901元,按月收费334.19元,按小时收费0.696221元。更多规格及详细报价请访问阿里云ECS页面。
39 9
|
3天前
|
监控 Ubuntu Linux
使用VSCode通过SSH远程登录阿里云Linux服务器异常崩溃
通过 VSCode 的 Remote - SSH 插件远程连接阿里云 Ubuntu 22 服务器时,会因高 CPU 使用率导致连接断开。经排查发现,VSCode 连接根目录 ".." 时会频繁调用"rg"(ripgrep)进行文件搜索,导致 CPU 负载过高。解决方法是将连接目录改为"root"(或其他具体的路径),避免不必要的文件检索,从而恢复正常连接。
|
7天前
|
弹性计算 异构计算
2024年阿里云GPU服务器多少钱1小时?亲测价格查询方法
2024年阿里云GPU服务器每小时收费因实例规格不同而异。可通过阿里云GPU服务器页面选择“按量付费”查看具体价格。例如,NVIDIA A100的gn7e实例为34.742元/小时,NVIDIA A10的gn7i实例为12.710156元/小时。更多详情请访问阿里云官网。
40 2
|
8天前
|
机器学习/深度学习 人工智能 自然语言处理
【EMNLP2024】阿里云人工智能平台 PAI 多篇论文入选 EMNLP2024
阿里云人工智能平台 PAI 的多篇论文在 EMNLP2024 上入选。论文成果是阿里云与华南理工大学金连文教授团队、复旦大学王鹏教授团队共同研发。EMNLP 是人工智能自然语言处理领域的顶级国际会议,聚焦于自然语言处理技术在各个应用场景的学术研究,尤其重视自然语言处理的实证研究。该会议曾推动了预训练语言模型、文本挖掘、对话系统、机器翻译等自然语言处理领域的核心创新,在学术和工业界都有巨大的影响力。此次入选标志着阿里云人工智能平台 PAI 在自然语言处理和多模态算法能力方面研究获得了学术界认可。
|
12天前
|
存储 弹性计算 NoSQL
"从入门到实践,全方位解析云服务器ECS的秘密——手把手教你轻松驾驭阿里云的强大计算力!"
【10月更文挑战第23天】云服务器ECS(Elastic Compute Service)是阿里云提供的基础云计算服务,允许用户在云端租用和管理虚拟服务器。ECS具有弹性伸缩、按需付费、简单易用等特点,适用于网站托管、数据库部署、大数据分析等多种场景。本文介绍ECS的基本概念、使用场景及快速上手指南。
49 3
|
10天前
|
机器学习/深度学习 数据采集 人工智能
浅谈机器学习,聊聊训练过程,就酱!
本故事讲的是关于机器学习的基本概念和训练过程。通过这个故事,你将对机器学习有一个直观的了解。随后,当你翻阅关于机器学习的书籍时,也许会有不同的感受。如果你有感觉到任督二脉被打通了,那我真是太高兴了。如果没有,我再努努力 ヘ(・_|
26 0
浅谈机器学习,聊聊训练过程,就酱!
|
17天前
|
存储 弹性计算 编解码
通过阿里云的活动租赁云服务器时如何选择实例规格?选择指南参考
新手用户通过阿里云的活动租赁云服务器的时候实例规格应该怎么选?目前在阿里云的活动中,可选的云服务器类型除了轻量应用服务器之外,云服务器的主要实例规格有经济型e、通用算力型u1和计算型c7与c8y、通用型g7与g8y、内存型r7与r8y等实例,但是对于新手来说,由于是初次购买,实例规格往往不知道怎么选择了。本文为大家展示阿里云目前活动中各云服务器实例规格性能、适用场景以及选择指南参考。
|
22天前
|
弹性计算 开发框架 .NET
阿里云服务器购买教程及云服务器地域、实例、操作系统、带宽等参数选择指南
对于初次购买阿里云服务器的用户来说,想使用阿里云服务器搭建网站或者运行APP、小程序等项目,第一步就是要先购买阿里云服务器,下面小编以图文形式给大家介绍一下阿里云服务器的购买流程,以及购买过程中如何云服务器地域、实例、带宽等关键配置和选择这些参数的一些注意事项,以供参考。
|
24天前
|
域名解析 网络协议 数据安全/隐私保护
阿里云轻量应用服务器搭建WordPress个人博客教程
阿里云轻量应用服务器搭建WordPress个人博客教程
下一篇
无影云桌面