使用 ossfs 迁移非结构数据|学习笔记

简介: 快速学习使用 ossfs 迁移非结构数据

开发者学堂课程【上云迁移实战使用 ossfs 迁移非结构数据】学习笔记,与课程紧密联系,让用户快速学习知识。  

课程地址:https://developer.aliyun.com/learning/course/514/detail/6858


使用 ossfs 迁移非结构数据


1、非结构化数据到 OSS 迁云: ossfs 迁云实践

(1)前提

完成 OSS bukect 创建

AK 创建及 OSS 权限分配

(2)运行环境

CentOS 7.2 64bit

eossfs_1.80.3 centos7.0_x86_64

2、非结构化数据到 OSS 迁云:步骤

(1)安装 ossfs

获取 ossfs 安装包

#wget-o“ossfs1.80.3centos7.0x8664rpm

http://docs-aliyuncn-hangzhou.oss.aliyun-

inc.com/assets/attach/32196/cnzh/1507811577850/ossfs1803 centos70x86 64rpm?spm=5176doo

32196.2.6.A0qxWs&file=ossfs180.3centos7.0x8664rpm

图片1.png

(2)配置 OSS 信息

设置 bucket name  AccessKeyId/Secret 信息,将其存放在 /etc/passwd-ossfs 文件中,注意这个文件的权限必须正确设置,建议设为 640。

图片2.png

(3)挂载 OSS 至本地目录

 OSSbucket mount 到指定目录

# ossfs my-bucket my-mount-point-ourl=my-oss-endpoint

图片3.png

(4)复制源站非结构化数据

复制源站非结构化数据至 OSS 挂载目录

打开 OSS 控制台查看结果

图片4.png

3、演示

1获取 ossfs 并安装

wget -0 "ossfs 1.80.3 centos7.0 x86 64.rpm"

http://docs-aliyun.cn-hangzhou.oss.aliyun-inc.com/assets/attach/32196/cn zh/1507811577850/ossfs 1.80.3 centos7.0 x86 64.rpm?spm=5176.doc32196.2.6.A QqxWs&file=ossfs 1.80.3 centos7.0 x86 64.rpm

yum -y localinstall

ossfs 1.80.3 centos7.0 x86 64.rpm

(2)设置 bucket name  AccessKeyId/Secret 信息

echo ossfs-edu:xxxx:Ra7gMHOdzV8gZQjXDdp 6t0 WAzZ9xoa >/etc/passwd-ossfs

3配置权限

chmod 640 /etc/passwd-ossfs

(3)将 osS bucket mount 到指定目录

ossfs ossfs-edu /mnt

-ourl=oss-cn-beiiing-internal.aliyuncs.com

[root@iZ2zebopxrlqc6acv01l40Z ~]# wget -0 "ossfs 1.80.3 centos7.0 x86 64.rpm"http://docs-aliyun.cn-hangzhou.oss.a liyun-inc.com/as sets/attach/32196/cn zh/1507811577850/os sfs 1.80.3 centos7.0 x8664.rpm?spm=5176.doc32196.2.6.AQqx Ws&file=ossfs 1.80.3 centos7.0 x86 64.rpm

[1]9470

[root@iZ2zebopxrlgc6acv01140Z~]#--2017-11-06 04:02:05-- http://docs-alivun.cn-hanazhou.oss.alivun-inc.com/assets/attach/32196/c n zh/1507811577850/ossfs 1.80.3 centos7.0 x86 64.rpm?spm=5176.doc32196.2.6.AQqxWs

Resolving docs-aliyun.cn-hangzhou.oss.aliyun-inc.com(docs -aliyun.cn-hangzhou.oss.aliyun-inc.com)... 42.120.230.2

Connecting to docs-aliyun.cn-hangzhou.oss.aliyun-inc.com(d ocs-al iyun.cn-hangzhou.oss.aliyun-inc.com)|42.120.230.21:8 0... connected.

HTTP request sent, awaiting response... 200 OK

Lenath:1149462 (1.1M)[application/octet-stream] 

Saving to: 'ossfs 1.80.3 centos7.0 x86 64.rpm’

100%[=======================>] 1,149,462 1.47MB/s in 0.7s

2017-11-06 04:02:06 (1.47 MB/s) . 'ossfs 1.80.3 centos7.0 x86 64. rpm’saved [1149462/1149462]

[1]+ Done wget -0 "ossfs 1.80.3 centos7.0 x86

64.rpm”http://docs-aliyun.cn-hangzhou.oss.aliyun-inc.com/assets/attach/32196/cn zh/1507811577850/ossfs 1.80.3 centos7.0 x86 64.r pm?spm=5176.doc32196.2.6.AQqxWs

[root@iz2zebopxrlqc6acv01140Z-]# yum -y localinstall ossfs 1.803 centos7.0 x86 64.rpm

Loaded plugins: fastestmirror

Examining ossfs 1.80.3 centos7.0 x86 64.rpm:ossfs-1.80.3- 1.x86 6

Marking ossfs 1.80.3 centos7.0 x86 64.rpm to be installed Resolving Dependencies

--> Running transaction check

---> Package ossfs.x86 64 0:1.80.3-1 will be installed

Arch Version Repository Size

=====================================================

Installing:

ossfs x8664 1.80.3-1 /ossfs 1.80.3 centos7.0 x86 64 4.0 M

Transaction Summary

=====================================================

Install 1 Package

Total size: 4.0 M

Installed size: 4.0 M

Downloading packages:

Running transaction check

Running transaction test

Transaction test succeeded

Running transaction

Installing :ossfs-1.80.3-1.x86 64 1/1

Verifying:ossfs-1.80.3-1.x86 64 1/1

Installed:

ossfs.x86 64 0:1.80.3-1

Complete!

[root@iZ2zebopxrlgc6acv01140Z~]#echo ossfs-edu:LTAI0uJKg YHDYGgE

:Ra7qMH0dzV8aZ0iXDdp6t0WAzZ9xoa>/etc/passwd-ossfs

[root@iZ2zebopxrlgc6acv01140Z -1# chmod 640 /etc/passwd -ossfs

[root@iZ2zebopxrlgc6acv01140Z~]# ossfs ossfs-edu /mnt -ourl=oss-cn-beiiing-internal.aliyuncs.com

[root@iZ2zebopxrlgc6acv01140Z ~]#ls

1. png 2.png 3.png ossfs 1.80.3 centos7.0 x86 64.rpm

[root@iZ2zebopxrlqc6acv01l40Z~]# cp./* /mnt/

[root@iZ2zebopxrlgc6acv01l40Z ~]# ll /mnt

total 1597

-rw-r--r-- 1 root root.. 161490 Nov 6 04:03 1.png

-rw-r--r-- 1 root root? 161490 Nov 6 04:03 2.png

-rw-r--r-- 1 root root 161490 Nov 6 04:03 3.png

-rw-r--r-- 1 root root 1149462 Nov 6 04:03 ossfs 1.80.3 centos7. 0 x86 64.rpm

[root@iZ2zebopxrlgc6acv01140Z ~]#

到控制台去查看:

图片5.png

非结构化数据已经传到 ossfs 上。

相关实践学习
通义万相文本绘图与人像美化
本解决方案展示了如何利用自研的通义万相AIGC技术在Web服务中实现先进的图像生成。
相关文章
|
弹性计算 安全 容灾
【深度好文】为什么说用好VPC很重要!
本文详细探讨了阿里云VPC(Virtual Private Cloud)的使用方法及其重要性。 VPC作为用户云上的“数据中心”,提供了安全隔离的网络环境,帮助用户构建和管理云服务。文章首先对比了经典网络和VPC的区别,强调了VPC在安全性、灵活性和扩展性方面的优势。接着,通过具体的规划步骤,包括选择地域、账号规划、网段规划、安全隔离设计等,展示了如何有效利用VPC。此外,还介绍了VPC连接互联网的方式及安全措施,以及VPC与IDC互访的解决方案。 总体而言,VPC不仅是用户上云的第一步,更是构建稳定、高效云基础设施的关键。
|
2月前
|
人工智能
决赛入围通知丨挑战杯“揭榜挂帅”擂台赛阿里云专项赛决赛入围公告
决赛入围通知丨挑战杯“揭榜挂帅”擂台赛阿里云专项赛决赛入围公告
|
SQL 存储 druid
浅析SaaS多租户系统数据隔离实现方案
多租户问题,其是一种架构设计方式,就是在一台或者一组服务器上运行的SaaS系统,可以为多个租户(客户)提供服务,目的是为了让多个租户在互联网环境下使用同一套程序,且保证租户间的数据隔离。从这种架构设计的模式上,不难看出来,多租户架构的重点就是同一套程序下多个租户数据的隔离。由于租户数据是集中存储的,所以要实现数据的安全性,就是看能否实现对租户数据的隔离,防止租户数据不经意或被他人恶意地获取和篡改
2518 0
|
SQL 人工智能 机器人
遇到的代码部份解析
/ 模拟后端返回的数据
131 0
|
编解码 人工智能 自然语言处理
ModelScope体验人像卡通化模型
该任务采用一种全新的域校准图像翻译模型DCT-Net(Domain-Calibrated Translation),利用小样本的风格数据,即可得到高保真、强鲁棒、易拓展的人像风格转换模型,并通过端到端推理快速得到风格转换结果。
1380 94
|
消息中间件 弹性计算 算法
算力是开发的源头之水吗
算力是开发的源头之水吗
|
设计模式 移动开发 前端开发
微前端架构初探以及我的前端技术盘点
最近几年微前端一直是前端界的热门议题, 它类似于微服务架构, 主要面向于浏览器端,能将一个复杂而庞大的单体应用拆分为多个功能模块清晰且独立的子应用,且共同服于务同一个主应用。各个子应用可以独立运行、独立开发和独立部署。 微前端架构概念的诞生及应用对于提供复杂应用服务的企业来说显然是一种机遇, 同样也是一种挑战.本文主要就微前端架构的概念和实现方案做一个总结和复盘,并且通过一个实际案例来实践微前端架构,希望能对同样有此需求的朋友们提供一些帮助和思路.
1071 1
|
运维 监控 前端开发
用户增速与体验质量并存,博睿数据携阿里云发布双十一电商网站用户体验报告
博睿数据基于阿里云 ARMS 云拨测产品,出品《双十一电商行业网站用户体验报告》,旨在与众多互联网从业者共同了解面对全球化营销以及大促带来的流量浪涌,电商行业各大玩家如何应对散布在全球不同地区与国家的海量用户,及时发现流量激增带来的用户体验与性能问题。
用户增速与体验质量并存,博睿数据携阿里云发布双十一电商网站用户体验报告
|
人工智能 Cloud Native 物联网
《看见新力量》第二期免费下载! 带你走进数十位科技创业者背后的故事
这是一本正在进行中的科技创业者的记录,书中涉及的创业者还都奔跑在路上。然而,他们的所思所做,已足以令一些产业发生微小而有效的变化,令数字经济时代下人们的生活变得更加智能。阿里云创新中心作为科技创业者坚定的陪伴者,希望能够通过记录的方式,让大家听到创业者真实的声音,看见科技创新的力量。
26296 0
《看见新力量》第二期免费下载! 带你走进数十位科技创业者背后的故事
|
运维 容灾 Cloud Native
阿里云开源业内首个应用多活项目 AppActive,与社区共建云原生容灾标准
继高可用架构团队的 Sentinel、Chaosblade 开源后,第三个重磅高可用产品:应用多活 AppActive 正式开源,形成高可用的三架马车,帮助企业构建稳定可靠的企业级生产系统,提高企业面对容灾、容错、容量等问题的稳态系统建设能力。