【最佳实践】如何通过OSSimport工具将线下数据迁移至金融云OSS?

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,内容安全 1000次 1年
对象存储 OSS,恶意文件检测 1000次 1年
简介: 1. 当前存在的问题: 金融云由于等保要求,不能直接将闪电立方设备寄送到金融云机房。因此,我们还不能通过闪电立方的方式直接迁移数据至金融云OSS。但是金融云提供了另外一种类型的Bucket-金融云公网Bucket。

1. 当前存在的问题:

金融云由于等保要求,不能直接将闪电立方设备寄送到金融云机房。因此,我们还不能通过闪电立方的方式直接迁移数据至金融云OSS。但是金融云提供了另外一种类型的Bucket-金融云公网Bucket。金融云公网Bucket类似于公共云,能够被互联网直接访问。因此,是否可以借助于金融云公网OSS进行中转?

2.总体思路:

由于金融云内网只能在金融云内部访问。外部互联网无法访问。但是金融云公网Bucket类似于与公共云的OSS,允许VPC以及经典网络以及互联网访问。因此我们的思路是在金融云内部搭建1个ECS服务。该ECS服务是能够访问金融云内网Bucket,同时该ECS也是能够访问金融云公网OSS。
注意:金融云的ECS可以直接访问互联网,但是互联网的end user是不能直接访问金融云内部ECS的。需要通过SLB中转。

此处我们的思路是这样的:

  • 创建金融云ECS,同时创建金融云内网OSS;
  • 在该金融云ECS上部署ossimport工具,通过ossimport工具将金融云公网Bucket内容 迁移至 金融云内网Bucket;

说明:

  1. 测试环境下:该方式的单台ECS迁移速度可以达到50MB/s;
  2. 若实际测试环境速度达不到客户要求,可以创建多个ECS服务器,然后集群版ossimport,
  3. 说明:整个迁移过程都不走公网,不会产生流量费用!!!

3.演示示例:

如下的示例均是基于这个场景,实际配置过程中请根据实际客户场景进行修改;

•    ECS 服务器:ubuntu16.04
    - ECS endpoint: 华东2金融云
•    金融云内网OSS: (目的端)
    - Bucket名称:test-shagnhai-finane-in
    - Endpoint: oss-cn-shanghai-finance-1-internal.aliyuncs.com
•    金融云公网OSS:(源端)
    - Bucket 名称:test-shanghai-finance-pubb
    - 内网Endpoint:oss-cn-shanghai-finance-1-pub-internal.aliyuncs.com
    - 外网Endpoint:oss-cn-shanghai-finance-1-pub.aliyuncs.com

3.1 Step1:在上海金融云开通部署ECS

1.下载ossimport(此处下载ossimport集群版):

a) 命令:wget http://gosspublic.alicdn.com/ossimport/distributed/ossimport-2.3.2.tar.gz?spm=a2c4g.11186623.2.1.9EPlFR&file=ossimport-2.3.2.tar.gz
b) 解压 ossimport;tar -zxvf ossimport-2.3.2.tar.gz
c) 修改 worker,job.cfg以及sys.properties文件。
d) 注意worker中 master的ip写在第一行
e) 详细安装部署请参考:https://help.aliyun.com/document_detail/56990.html?spm=a2c4g.11186623.6.1109.d6a1pD

3.2Step2:安装ossimport

1.安装示例:安装示例

安装说明:安装过程中有可能提示任务无法执行,那是因为默认ubuntu没有安装java,请手工安装default-jre;
Job.cfg文件配置:源与目的endpoint 均请填写内网二级域名(注意,不要写外网域名!!!!

3.3Step3: 在master节点上运行

1. 在master运行: bash console.sh deploy
2. 提交任务: bash console.sh submit
3. 启动服务:Linux终端执行 bash console.start
4. 查看任务状态: bash console.sh stat
相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
相关文章
|
存储 弹性计算 安全
对象存储OSS快速上手——ossutil工具管理OSS
本实验是对象存储OSS进阶实验。通过本实验,用户可学会如何使用ossutil工具在Linux环境下用命令管理oss,完成文件上传下载等操作。
2776 0
|
1月前
|
监控 Java 对象存储
监控与追踪:如何利用Spring Cloud Sleuth和Netflix OSS工具进行微服务调试
监控与追踪:如何利用Spring Cloud Sleuth和Netflix OSS工具进行微服务调试
39 1
|
2月前
|
负载均衡 Java 对象存储
负载均衡策略:Spring Cloud与Netflix OSS的最佳实践
负载均衡策略:Spring Cloud与Netflix OSS的最佳实践
45 2
|
4月前
|
存储 JSON 自然语言处理
OSS数据源一站式RAG最佳实践
本文介绍了如何使用OpenSearch LLM智能问答版通过OSS数据源一站式构建RAG系统。
7152 11
|
5月前
|
运维 Java Serverless
Serverless 应用引擎产品使用合集之是否提供工具来给OSS配置HTTPS证书
阿里云Serverless 应用引擎(SAE)提供了完整的微服务应用生命周期管理能力,包括应用部署、服务治理、开发运维、资源管理等功能,并通过扩展功能支持多环境管理、API Gateway、事件驱动等高级应用场景,帮助企业快速构建、部署、运维和扩展微服务架构,实现Serverless化的应用部署与运维模式。以下是对SAE产品使用合集的概述,包括应用管理、服务治理、开发运维、资源管理等方面。
|
6月前
|
存储 Cloud Native Serverless
云原生最佳实践系列 7:基于 OSS Object FC 实现非结构化文件实时处理
阿里云OSS对象存储方案利用函数计算FC,在不同终端请求时实时处理OSS中的原图,减少衍生图存储,降低成本。
|
SQL 存储 监控
通过sdk查看oss投递(新版)延迟情况最佳实践
在投递任务中,日志服务会将运行日志写入到给定的logstore中,因而可以使用SDK来查看投递任务的当前状态,并进行批量查询,以了解多个Project和投递任务的状态。下面以查看oss投递的延迟为例,介绍客户提供操作步骤和常见的使用场景,以帮助客户更加方便地监控和管理投递任务。
通过sdk查看oss投递(新版)延迟情况最佳实践
|
6月前
|
存储 运维 监控
运维编排最佳实践:将运维编排任务执行记录投递到OSS/SLS
运维编排服务(Operation Orchestration Service),简称OOS,是全面、免费的云上自动化运维平台,提供运维任务的管理和执行。典型使用场景包括:事件驱动运维,批量操作运维,定时运维任务,跨地域运维等,OOS为重要运维场景提供审批,通知等功能。OOS帮您实现标准化运维任务,从...
运维编排最佳实践:将运维编排任务执行记录投递到OSS/SLS
|
6月前
|
存储 分布式计算 监控
操作审计最佳实践:将阿里云操作日志持续投递到您的 SLS/OSS
操作审计(ActionTrail)帮助您监控并记录阿里云账号的活动,包括通过阿里云控制台、OpenAPI、开发者工具对云上产品和服务的访问和使用行为,记录为操作日志。 操作审计支持所有阿里云账号的免开通服务,默认为所有账号记录并存储近 90 天的日志。但在实际应用中,受法律法规和企业审计标准的要求,...
368 0
|
存储 数据采集 运维
Alibaba Cloud Lens for OSS最佳实践
——其冀 阿里云智能产品专家
Alibaba Cloud Lens for OSS最佳实践

相关产品

  • 对象存储