1. 某外部用户咨询使用ossutil cp下载下来的文件,有什么办法可以证明和OSS上的源文件完全一致,没有出现数据丢失和更改?
解答:默认情况下,ossutil 进行数据传输时都会打开 crc64 校验,可以在上传/下载/复制时使用 --disable-crc64 选项关闭 crc64 校验。
github地址: https://github.com/aliyun/ossutil
2. 用户咨询./ossutil64 cp ./ oss://arcelonfile/ -r --include COMPLETE_DATA_BACKUP*中 include的含义。
解答:--include 相当于一个正则匹配,会把所有包含这个规则的文件全部过滤出来。过滤参数包括 include/exclude,可以批量操作符合指定条件的文件。
github地址: https://github.com/aliyun/ossutil
3. 客户使用ossimport从本地迁移大文件(112G)不成功,小文件却可以成功。
解答:目前ossimport对单个传输文件的大小限制为5GB。同时ossimport支持multipart方式,配置一下可以支持大文件的。
官网地址:https://help.aliyun.com/document_detail/56990.html?spm=a2c4g.11186623.6.1322.39fd7a29gelnYh
4. 有用户发现使用ossutil(windows)文件下载不全,bucket目录下有N个文件,但是只能下载小于N个的文件。
解答:因为windows平台文件名称是不区分大小,该用户bucket下的有一些文件的文件名相同,只存在大小写差异,下载时会覆盖掉。同样bucket下的所有文件在linux平台下是可以全部下载的。
5. ossfs使用rsync命令拷贝文件会报错。
解答:ossfs 并没有完全实现POSIX的所有文件语义,所以存在一定局限性。目前对cp,mv这些基础文件操作命令时可以支持的,但对于rsync还是有一定概率会出现问题。推荐使用ossutil进行大文件的上传和下载。
6. 客户使用ossfs上传单个500G文件, 在100G左右总是停止不前,试了两次都没有成功,也没有报错 ossfs在后台正常跑
解答:ossfs 上传大文件时,是通过分片来上传的。分片大小默认为 10MB,分片最大数量为1000个。所以在默认参数下,只能上传100G的文件。解决办法是通过修改 -o multipart_size=xxx,以支持更大的size,其中xxx 单位为MB,比如要修改为每个切片为30M,该参数为 -o multipart_size=30