对象存储OSS是我们平时经常使用的产品,那么对于往OSS上传输数据的工具也是需要经常使用到的,下面介绍几款OSS传输工具的使用方式:
首先先了解一下什么是对象存储OSS:
阿里云对象存储服务(Object Storage Service,简称 OSS),是阿里云提供的海量、安全、低成本、高可靠的云存储服务。您可以通过调用 API,在任何应用、任何时间、任何地点上传和下载数据,也可以通过 Web 控制台对数据进行简单的管理。OSS 适合存放任意类型的文件,适合各种网站、开发企业及开发者使用。按实际容量付费真正使您专注于核心业务。
几种OSS传输工具简单介绍:
工具 | 简介 | 备注 |
---|---|---|
ossbrowser | 图形化的Object管理工具。 | 支持Windows、Linux、Mac平台。 官方工具。 提供类似Windows资源管理器的功能。用户可以方便的浏览文件、上传下载文件、支持断点续传等。 |
ossutil | 命令行管理工具。提供方便、简洁、丰富的Object管理命令。 | 官方工具,支持Windows, Linux, Mac平台,不依赖于任何第三方组件,下载后即用不需要安装。 |
osscmd | 命令行管理工具。提供完备的Bucket、object管理命令。 | 官方工具。基于Python2.5 - 2.7版本,支持多平台。将逐步被ossutil替代,除非需要ossutil不具备的Bucket管理功能外,强烈推荐使用ossutil。 |
ossfs | 挂载bucket到本地文件系统,能够通过本地文件系统操作OSS 上的对象,实现数据的访问和共享。 | 官方工具。支持Linux平台。 |
ossftp | FTP工具,使用FTP协议来管理OSS的object,可以使用FileZilla、WinSCP、FlashFXP等FTP客户端操作OSS。OSSFTP本质是FTP Server, 接收FTP请求,将对文件、文件夹的操作映射为对OSS的操作。 | 基于Python2.7及以上,支持Windows、Linux、Mac平台。 |
ossimport2 | 数据同步工具。 | 可以将本地或第三方云存储服务上的文件同步到OSS上。 官方工具。依赖JRE7及以上。支持Windows、Linux平台。 |
**
本篇文章我们重点讲述一下传输工具Ossutil的使用:
若文件总量小于30T则建议使用ossutil,若大于30T建议使用ossimport**
Ossutil工具:
1.Ossutil简介:
命令行管理工具。提供方便、简洁、丰富的Object管理命令。简单来讲就是通过简单的命令行,即可实现数据往OSS上传输的功能,当然也包括其他的功能。
**
2.下载与安装:**
进入阿里云官网 下载安装包
https://help.aliyun.com/document_detail/50452.html?spm=a2c4g.11186623.6.1054.KQWN6E
**3
. 安装使用**
根据您的操作系统选择相应的binary或者压缩包下载后,运行相应的binary(如果binary为不可执行文件,请给binary增加可执行权限:chmod 755 ossutil),即:
linux系统下:
./ossutil
windows系统下有两种方法(以64位系统为例):
1) 解压压缩包,双击运行其中的bat文件,再键入:
ossutil64.exe
2)解压压缩包,cmd进入压缩包中binary所在的目录,键入:
ossutil64.exe
mac系统下:
./ossutilmac64
**
4.配置工具config文件**
在使用访问oss的命令时,需要先配置访问AK,关于AK的更多信息见:RAM和STS介绍
配置ossutil由两种方式:交互式和非交互式。
关于配置命令的更多帮助,请使用ossutil help config查看。
交互式配置ossutil
./ossutil config
1. $./ossutil config -L ch
2. 该命令创建将一个配置文件,在其中存储配置信息。
3.
4. 请输入配置文件路径(默认为:/home/admin/.ossutilconfig,回车将使用默认路径。如果用户设置为其它路径,在使用命令时需要将--config-file选项设置为该路径):
非交互式配置ossutil
./ossutil config -e oss.aliyuncs.com -i your_id -k your_key
1. 配置文件格式:
2.
3. [Credentials]
4. language = CH
5. endpoint = oss.aliyuncs.com
6. accessKeyID = your_key_id
7. accessKeySecret = your_key_secret
8. stsToken = your_sts_token
9. outputDir = your_output_dir
10. [Bucket-Endpoint]
11. bucket1 = endpoint1
12. bucket2 = endpoint2
13. ...
14. [Bucket-Cname]
15. bucket1 = cname1
16. bucket2 = cname2
17. ...
18.
19. SAMPLE
20.
21. ossutil config
22. ossutil config -e oss-cn-hangzhou.aliyuncs.com -c ~/.myconfig
23.
24. OPTIONS
25.
26. -c, --config-file
27. ossutil工具的配置文件路径,ossutil启动时从配置文件读取配置,在config命令中,ossutil将配置写入该文件。
28.
29. -e, --endpoint
30. ossutil工具的基本endpoint配置(该选项值会覆盖配置文件中的相应设置),注意其必须为一个二级域名。
31.
32. -i, --access-key-id
33. 访问oss使用的AccessKeyID(该选项值会覆盖配置文件中的相应设置)。
34.
35. -k, --access-key-secret
36. 访问oss使用的AccessKeySecret(该选项值会覆盖配置文件中的相应设置)。
37.
38. -t, --sts-token
39. 访问oss使用的STSToken(该选项值会覆盖配置文件中的相应设置),非必须设置项。
40.
41. --output-dir=ossutil_output
42. 指定输出文件所在的目录,输出文件目前包含:cp命令批量拷贝文件出错时所产生的report文件(关于report文件更多信息,请参考cp命令帮助)。默认值为:当前目录下的ossutil_output目录。
43.
44. -L CH, --language=CH
45. 设置ossutil工具的语言,默认值:CH,取值范围:CH/EN,若设置成"CH",请确保您的系统编码为UTF-8。
5. 使用案例:
使用环境:
Windows 文件 往 OSS上传输
5.1安装工具包,配置config文件
**
5.2**
使用命令行进行传输:
若遇到以下错误,则证明配置文件中AK出现错误,再重新检查一遍
使用过程中可以添加使用选项实现 提高并行数,断点续传等功能
具体选项请用 ./ossutil或 ./ossutil help 查看命令文档
5.3
传输完毕实例
传输过程中可能遇到的问题:
上图中显示传输到一半,提示某个文件找不到,于是人工去排查了一下,发下是如下图中的文件:
该类文件特点,无法删除,名字中有特殊字符,
原因及解决方式:
1、 文件夹带点或者特殊字符。
右键新建-文本文档-写入下列命令:
DEL /F /A /Q \?%1
RD /S /Q \?%1
另存为"delete.bat",不要双击运行。
【把要删除的文件或者目录拖放到这个bat文件的图标上就可以删除了!】
也可以下载类似文件粉碎机类的软件删除。
2、磁盘有错误。
这个比较简单,右键文件所在盘符,属性,工具,开始检测,勾选自动修复文件系统错误。
3、硬盘有坏道或者分区表错误。
这种情况基本无解,想要修复坏道硬盘的东西全的备份出去。
以上就是ossutil传输工具简单的使用方法,具体更多工具使用细节请进入官方文档查询。