hadoop中从分布式集群下载数据hdfs下载数据的函数的操作意义和源代码分别是什么?
## 功能: 将hadoop上的文件下载到本地并merge到一个文件中
## $1 hadoop叶子目录 或 文件名--支持通配符 (*)
## $2 本地文件名
## $? return 0 if success, none-0 otherwise
function hadoop_getmerge()
{
## check params
if [ $# -ne 2 ]
then
log_info "Unexpected params for hadoop_getmerge() function! Usage: hadoop_getmerge <hadoop_file> <local_file>";
return 1;
fi
if [ -f $2 ]
then
log_info "Can not do hadoop_getmerge because local file $2 already exists!"
return 2;
fi
## do it
${HADOOP_EXEC} --config ${HADOOP_CONF} fs -getmerge $1 $2;
if [ $? -ne 0 ]
then
log_info "Do hadoop_getmerge FAILED! Source: $1, target: $2";
return 3;
else
log_info "Do hadoop_getmerge OK! Source: $1, target: $2";
return 0;
fi
return 0;
}
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。