跨账号跨地域迁移海量小文件

简介: 分享一个阿里云上跨账号跨地域迁移海量小文件的技巧。

海量小文件的数据迁移一直以来都是一个令人头痛的问题。这不,前两天我的一个同事就遇到了这样的一个问题。我们集团负责做高教业务的部门在阿里云华北1地域有一台使用了很长时间的服务器,上面有海量的小文件。集团要做账号整合,这台服务器不准备继续续费使用,要把里面的数据迁移到一个新的阿里云账号下,而且新服务器的地域是华北3。

要解决的问题就是要跨账号、跨地域、迁移海量的小文件。

我们知道在网络可达的情况下,可以组合nc和tar命令来应对大量小文件的迁移。但现在的问题是不仅跨账号还跨了地域,所以没有高速的内网可以使用,通过公网传输的话带宽又不够,只能临时升级两头服务器的带宽。当然还可以使用阿里云的云企业网打通两个账号的内网,但跨地域的云企业网需要购买带宽包,反正通过网络进行数据迁移就是没有办法做到又快又便宜。

其实还有一种几乎免费的办法,而且针对海量的小文件特别有效。

第一步、我们先确认一下要迁移的源服务器的情况:
1

这个服务器有一个系统盘,一个数据盘,数据盘上有大约100多万个文件。

第二步、用源服务器制作一个镜像,因为源服务器包含数据盘,因此要制作的是包含所有磁盘的镜像,不能只针对系统盘制作镜像。
2

第三步、将镜像复制到目标地域,我这里测试环境的源地域是华北3,目标地域是华北2。
3

第四步、将镜像管理控制台切换到目标地域,等镜像复制完毕。
4

第五步、点击共享镜像,输入目标账号的UID,共享镜像给新的账号。
5

第六步、进入目标账号的镜像管理,就可以看到目标地域下共享过来的镜像。点击创建实例就可以得到一个同源服务器一模一样的服务器。
因为镜像包含数据盘,因此在创建新实例时必须包含数据盘,但数据盘的大小可以根据需要自己灵活指定。
6

第七步、等新实例启动完毕,确认一下目标服务器的状态是否和源服务器一致。
7

一百多万个文件成功从账号A的华北3地域复制到了账号B的华北2地域。
跨地域复制镜像的流量费目前由阿里云承担,只需要账号A付少量的镜像存储费,目前按量计费每月每G是0.12元,迁移完成就可以删除镜像,迁移一次的花费通常不会超过一毛钱。

所以说这是一种几乎免费的方法。

目录
相关文章
|
2月前
|
消息中间件 JavaScript Kafka
跨服务的数据
【10月更文挑战第29天】
25 2
|
4月前
|
运维 安全 网络安全
运维笔记:基于阿里云跨地域服务器通信
运维笔记:基于阿里云跨地域服务器通信
183 1
|
6月前
|
弹性计算 安全 数据库
云上攻防-云服务篇&弹性计算&云数据库&实例元数据&控制角色&AK控制台接管
云上攻防-云服务篇&弹性计算&云数据库&实例元数据&控制角色&AK控制台接管
110 7
|
7月前
|
监控 容灾 安全
规划阿里云RDS跨区迁移并构建容灾与备份策略
规划阿里云RDS(Relational Database Service)跨区迁移并构建容灾与备份策略
198 2
|
存储 负载均衡 容灾
同地域跨可用区容灾的解决方案
同地域跨可用区容灾的解决方案
|
弹性计算 运维 数据中心
运维编排系列场景--跨账号跨地域实例操作系统补丁修复
运维编排(OOS) 简介什么是OOSOperation Orchestration Service,简称OOS,是全面、免费的云上自动化运维平台,提供运维任务的管理和执行。典型使用场景包括:事件驱动运维,批量操作运维,定时运维任务,跨地域运维等,OOS为重要运维场景提供审批,通知等功能。OOS帮您实现标准化运维任务,从而实践运维即代码(Operations as Code)的先进理念。关于OOS更
|
运维 API 数据安全/隐私保护
资源中心 - 助您轻松解决跨账号、跨产品、跨地域的资源搜索难题
资源中心为您提供跨账号、跨产品、跨地域的全局资源视图及资源搜索能力。
5496 0
资源中心 - 助您轻松解决跨账号、跨产品、跨地域的资源搜索难题
|
存储 运维 容灾
阿里云跨可用区备份容灾解决方案详解
本文结合阿里云的可用区资源及功能延展了一种更新的跨可用区容灾解决方案,并选型了一款对企业来说性价比较高的产品进行分析分享,希望对大家有帮助。
|
DataWorks 关系型数据库 MySQL
4.独享数据集成资源组与 rds 实例 vpc 网络打通指导|学习笔记
快速学习4.独享数据集成资源组与 rds 实例 vpc 网络打通指导
4.独享数据集成资源组与 rds 实例 vpc 网络打通指导|学习笔记
|
域名解析 弹性计算
阿里云 ECS跨账号迁移服务器记录
阿里云 ECS跨账号迁移服务器记录
365 0