如何使用服务器训练模型

简介: 本文介绍了如何使用服务器训练模型,包括获取服务器、访问服务器、上传文件、配置环境、训练模型和下载模型等步骤。适合没有GPU或不熟悉Linux服务器的用户。通过MobaXterm工具连接服务器,使用Conda管理环境,确保训练过程顺利进行。

如何使用服务器训练模型

大家好,这里是肆十二,之前有小伙伴反馈说自己的电脑只有cpu,没有GPU,也想要体验一下使用gpu训练模型,或者有的小伙伴反馈说自己所在的实验室提供了linux的服务器,但是不怎么会用,本期我们就来说说如何使用服务器来训练自己的模型。

获取服务器

如果你的实验室有服务器,那你就直接使用你们实验室的服务器即可,一般实验室的老师会提供给你服务器的IP地址、用户名以及密码这些信息,记住这些信息,后面我们将会使用到。

如果你没有服务器,你可以从网上租服务器,这些服务器有的是按照小时计费,有的是按照包年包月计费。具体哪里的好用大家可以去多查一些资料,基本流程都是一致的,你的最终目的都是为了得到这个服务器的ip、用户名以及密码,这里我就以我自己常用的网站为例进行说明。

image-20240925170214796

登录网站之后,你可以根据你的自身情况来挑选合适的显卡,注意这里是按照小时进行计费的,大家要根据自己的经济水平来进行选择,另外,这个网站应该是可以进行学生认证的,认证之后应该有对应的优惠,如果小伙伴感兴趣的话可以认证一哈。点击上面的按钮选择之后,这里要进行对应镜像的选择,考虑到大家可能在服务器上进行多个环境的配置,这里记得选择conda,后面我们可以使用conda来创建不同的虚拟环境以适应不同的项目。

image-20240925170557527

创建成功之后你将会再容器实例中查看到你的服务器。

image-20240925170652016

记住下面这个位置的内容,他包含了你服务器的ip地址、端口号以及密码,后面我们链接的时候将会使用到。

image-20240925170749312

访问服务器

之后就是访问服务器了,访问服务器的话这里推荐大家使用的工具是mobaxterm。

下载地址在这个位置:MobaXterm Xserver with SSH, telnet, RDP, VNC and X11 - Home Edition (mobatek.net)

大家下载这个版本即可,这个版本下载下来之后是一个压缩包,解压之后点击exe即可运行,非常方便。

image-20240925170953373

ok,首先我们还是先从我们的autodl上获取到我们服务器的信息

ssh -p 44638 root@connect.cqa1.seetacloud.com

abcxdfdsaf

启动mobaxterm,新建一个会话。

image-20240925171215340

输入你的用户名和密码,这个时候即可登录。注意,密码输入的时候是不会显示的,不是你键盘坏了,是他本来也就是不显示的。

image-20240925171406551

登录成功之后会出现类似于上图这样的信息,其中上面红色的方框是你经常来执行的目录,这个目录下有比较大的空间。

上传文件到服务器上

在上传文件之前,我先和你大概说下他的界面上的内容有什么,其中左侧是文件浏览器,在这个文件浏览器下你可以看到服务器上有的文件,中间这个黑框就是命令行了,和我们之前教程中使用的cmd是一个道理。

image-20240925172147311

我们上传文件在左侧进行上传即可,注意上传之前请保证你所处的目录尽量在一个空间比较大的目录下面。

我们进行示范的文件是我们行人检测那期栏目中的文件,其他的文件基本也是一致的,一般在项目目录下都会有一个readme的文件,你使用readme中的向导进行配置即可。

image-20240925172733743

在服务器上配置环境

一般在服务器上有几个常用的命令,比如unzip是解压,cd是打开目录,pwd是查看目录,cat是查看文件。

在服务器上配置环境的过程和之前在cmd中配置环境的过程是一致的。

  • 配置加速

    conda config --remove-key channels
    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
    conda config --set show_channel_urls yes
    pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
    
  • 创建和激活虚拟环境

    conda create -n yolo python==3.8.5
    conda activate yolo
    

    image-20240925173309591

    image-20240925174314137

  • 安装torch

    conda install pytorch==1.8.0 torchvision torchaudio cudatoolkit=10.2 # 注意这条命令指定Pytorch的版本和cuda的版本
    conda install pytorch==1.10.0 torchvision torchaudio cudatoolkit=11.3 # 30系列以上显卡gpu版本pytorch安装指令
    conda install pytorch==1.8.0 torchvision==0.9.0 torchaudio==0.8.0 cpuonly # CPU的小伙伴直接执行这条命令即可
    

    image-20240925174904709

    image-20240925180327434

  • 安装其他依赖库

    pip install -v -e .
    

安装完成之后出现successfully表示你这里的安装基本是没有什么问题的。

image-20240925181159830

搞定!

在服务器上训练模型

训练模型还是进入到我们的42_demo目录下面,和之前的视频一样执行脚本即可。

注意,训练模型之前需要先将我们的数据集路径配置好。

image-20240925181301327

image-20240925181356045

在服务器上执行脚本的时候直接python 要执行的文件即可,注意由于是黑框的缘故,可视化的内容是无法显示的,所以一般服务器我们只是用来做训练和测试。

image-20240925181509422

image-20240925181555452

训练过程中他会显示日志和模型存放的目录在哪里。

从服务器上下载训练好的模型使用

训练完毕之后我们直接从上面红色方框的目录将模型拖到本地即可使用。

剩下的就是你在你windows系统上进行执行了,看下面的教程即可。

使用YOLOv8训练自己的数据集(原理解析+数据标注说明+训练教程+图形化系统开发)_yolov8 训练自己的数据集-CSDN博客

目录
相关文章
|
2天前
|
编解码 Java 程序员
写代码还有专业的编程显示器?
写代码已经十个年头了, 一直都是习惯直接用一台Mac电脑写代码 偶尔接一个显示器, 但是可能因为公司配的显示器不怎么样, 还要接转接头 搞得桌面杂乱无章,分辨率也低,感觉屏幕还是Mac自带的看着舒服
|
3天前
|
存储 缓存 关系型数据库
MySQL事务日志-Redo Log工作原理分析
事务的隔离性和原子性分别通过锁和事务日志实现,而持久性则依赖于事务日志中的`Redo Log`。在MySQL中,`Redo Log`确保已提交事务的数据能持久保存,即使系统崩溃也能通过重做日志恢复数据。其工作原理是记录数据在内存中的更改,待事务提交时写入磁盘。此外,`Redo Log`采用简单的物理日志格式和高效的顺序IO,确保快速提交。通过不同的落盘策略,可在性能和安全性之间做出权衡。
1540 5
|
1月前
|
弹性计算 人工智能 架构师
阿里云携手Altair共拓云上工业仿真新机遇
2024年9月12日,「2024 Altair 技术大会杭州站」成功召开,阿里云弹性计算产品运营与生态负责人何川,与Altair中国技术总监赵阳在会上联合发布了最新的“云上CAE一体机”。
阿里云携手Altair共拓云上工业仿真新机遇
|
7天前
|
人工智能 Rust Java
10月更文挑战赛火热启动,坚持热爱坚持创作!
开发者社区10月更文挑战,寻找热爱技术内容创作的你,欢迎来创作!
578 22
|
3天前
|
存储 SQL 关系型数据库
彻底搞懂InnoDB的MVCC多版本并发控制
本文详细介绍了InnoDB存储引擎中的两种并发控制方法:MVCC(多版本并发控制)和LBCC(基于锁的并发控制)。MVCC通过记录版本信息和使用快照读取机制,实现了高并发下的读写操作,而LBCC则通过加锁机制控制并发访问。文章深入探讨了MVCC的工作原理,包括插入、删除、修改流程及查询过程中的快照读取机制。通过多个案例演示了不同隔离级别下MVCC的具体表现,并解释了事务ID的分配和管理方式。最后,对比了四种隔离级别的性能特点,帮助读者理解如何根据具体需求选择合适的隔离级别以优化数据库性能。
201 3
|
10天前
|
JSON 自然语言处理 数据管理
阿里云百炼产品月刊【2024年9月】
阿里云百炼产品月刊【2024年9月】,涵盖本月产品和功能发布、活动,应用实践等内容,帮助您快速了解阿里云百炼产品的最新动态。
阿里云百炼产品月刊【2024年9月】
|
10天前
|
Linux 虚拟化 开发者
一键将CentOs的yum源更换为国内阿里yum源
一键将CentOs的yum源更换为国内阿里yum源
578 5
|
23天前
|
存储 关系型数据库 分布式数据库
GraphRAG:基于PolarDB+通义千问+LangChain的知识图谱+大模型最佳实践
本文介绍了如何使用PolarDB、通义千问和LangChain搭建GraphRAG系统,结合知识图谱和向量检索提升问答质量。通过实例展示了单独使用向量检索和图检索的局限性,并通过图+向量联合搜索增强了问答准确性。PolarDB支持AGE图引擎和pgvector插件,实现图数据和向量数据的统一存储与检索,提升了RAG系统的性能和效果。
|
6天前
|
XML 安全 Java
【Maven】依赖管理,Maven仓库,Maven核心功能
【Maven】依赖管理,Maven仓库,Maven核心功能
233 3
|
9天前
|
存储 人工智能 搜索推荐
数据治理,是时候打破刻板印象了
瓴羊智能数据建设与治理产品Datapin全面升级,可演进扩展的数据架构体系为企业数据治理预留发展空间,推出敏捷版用以解决企业数据量不大但需构建数据的场景问题,基于大模型打造的DataAgent更是为企业用好数据资产提供了便利。
327 2